SSD Nodes Learn Hosting plans →
تعلیمی Matt Connorتحریر: Matt Connor

SearXNG میں 429 اور Rate Limit کیسے ٹھیک کریں

SearXNG میں `Too Many Requests` اور status 429 کی وجہ مقامی limiter یا upstream image request ہو سکتی ہے۔ Log اور API counters سے درست رکاوٹ شناخت کریں۔

SearXNG کی طرف سے 429 errors کیوں آتی ہیں

Self-hosted SearXNG instance کو دو غیر متعلقہ مقامات پر rate limits کا سامنا ہو سکتا ہے، اور عموماً جس rate limit کو ٹھیک کرنا ہوتا ہے وہ وہ نہیں ہوتی جس کا آپ اندازہ لگاتے ہیں۔ مقامی limiting اور upstream image request دونوں 429 پیدا کر سکتے ہیں۔ پہلی صورت مقامی ہے: SearXNG کا اپنا limiter فیصلہ کرتا ہے کہ request کسی bot کی طرف سے آئی ہے اور Too Many Requests کو status 429 کے ساتھ جواب دیتا ہے۔ /image endpoint upstream کے error statuses بھی forward کرتا ہے، جن میں 429 شامل ہے۔ دوسری صورت upstream کی ہے: کوئی search engine آپ کے server کا IP address مسترد کر دیتا ہے۔ SearXNG اس engine کو unresponsive قرار دے کر suspend کر دیتا ہے، اور آپ کے users کو اب بھی معمول کا results page ملتا ہے، لیکن اس میں کچھ نتائج موجود نہیں ہوتے؛ 429 نہیں آتی۔

ان دونوں صورتوں کا حل ایک جیسا نہیں ہے۔ Limiter آپ کے اختیار میں ہے، اس لیے آپ اسے تبدیل کر سکتے ہیں۔ Upstream blocking engine کی طرف سے ہوتی ہے، اس لیے local limiter تبدیل کرنے سے یہ ختم نہیں ہوگی۔ Log تقریباً ایک منٹ میں بتا دیتی ہے کہ آپ کو کون سی صورت درپیش ہے، اس لیے ابتدا وہیں سے کریں۔

یہ guide اپنے VPS پر self-hosted SearXNG instance کے لیے بیان کردہ container install کو فرض کرتی ہے۔ ذیل میں ہر setting name موجودہ upstream documentation اور source سے لیا گیا ہے، جن کی 16 November 2026 کو جانچ کی گئی تھی۔

ترتیب تبدیل کرنے سے پہلے log پڑھیں

log window کھول کر مسئلے کو دوبارہ پیدا کریں۔ upstream compose file میں SearXNG service کا نام core ہے، جبکہ اس کا container searxng-core کہلاتا ہے، اور docker compose commands میں service name استعمال ہوتا ہے:

cd ./searxng/
docker compose logs -f core

Limiter کے messages searx.limiter اور searx.botdetection نامی loggers سے آتے ہیں، اور ان میں client network کا نام درج ہوتا ہے۔ blocklist hit میں BLOCK 203.0.113.10/32: matched BLOCKLIST لکھا ہوتا ہے، جبکہ allowlist hit میں PASS 203.0.113.10/32: matched PASSLIST لکھا ہوتا ہے۔ دونوں کے بعد وہ list entry درج ہوتی ہے جو match ہوئی۔ اگر limiter اپنا counter store initialize نہ کر سکے تو log میں The limiter requires Valkey, please consult the documentation لکھا ہوتا ہے۔ اس کا مطلب ہے کہ limiter install نہیں ہوا۔

ہر bot check الگ سے debug level پر log ہوتا ہے، اس لیے یہ messages بطور default نظر نہیں آئیں گے۔ settings.yml میں ایک test کے لیے debug فعال کریں:

general:
  debug: true

اس کے بعد log میں BLOCK 203.0.113.10/32: missing HTTP header Accept-Language جیسی lines شامل ہوں گی۔ ان میں client network اور ناکام ہونے والے header کا نام درج ہوگا۔ test کے بعد debug دوبارہ بند کر دیں، کیونکہ upstream کی ہدایت ہے کہ deployed instance کو debug کے ساتھ نہ چلایا جائے۔

Engine کی failures اس سے بالکل مختلف نظر آتی ہیں۔ ان میں IP کے بجائے engine کا نام درج ہوتا ہے۔ تفصیلی timeout message debug level پر log ہوتا ہے، جبکہ search thread کا engine timeout message error level پر log ہوتا ہے:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

اس مقصد کے لیے ایک page بھی موجود ہے۔ enable_metrics کو اس کی default value true پر رہنے دینے سے instance engine errors کو /stats/errors پر record کرتا ہے، جبکہ /preferences میں موجودہ طور پر جواب دینے والے engines کی فہرست ہوتی ہے۔ /stats/errors میں موجود entry engine failure کی نشاندہی کرتی ہے، لیکن searx.limiter lines کا نہ ہونا limiter block کو خارج نہیں کرتا، کیونکہ انفرادی bot checks debug level پر searx.botdetection استعمال کرتے ہیں۔

ڈیبگ کرنے سے پہلے ورژن pin کریں

Upstream container setup دو فائلوں پر مشتمل ہے۔

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

Compose file docker.io/searxng/searxng:${SEARXNG_VERSION:-latest} حاصل کرتی ہے۔ Unset variable کا مطلب latest ہے، اور latest کا مطلب ہے کہ اگلے docker compose pull پر instance آپ کی توقع کے بغیر تبدیل ہو جائے گا۔ اس لیے پچھلے ہفتے کام کرنے والی setting اس code سے مطابقت رکھنا بند کر سکتی ہے جو اسے پڑھتا ہے۔ SearXNG tags میں تاریخ اور commit شامل ہوتے ہیں۔ اکتوبر 2026 تک upstream .env.example میں مثال کے طور پر موجود tag 2026.3.25-541c6c3cb ہے، اس لیے .env میں ایک حقیقی tag مقرر کریں:

SEARXNG_VERSION=2026.3.25-541c6c3cb

Published tags دیکھیں اور اس release کو pin کریں جسے آپ نے واقعی test کیا ہے۔ پھر fixed target کے خلاف debug کریں۔ یہی .env file SEARXNG_SECRET کے ذریعے آپ کی secret key محفوظ رکھ سکتی ہے، اس لیے اس directory کو کہیں بھی commit کرنے سے پہلے Docker Compose میں env files اور secrets کے کام کرنے کا طریقہ دیکھیں۔

Limiter کو Valkey درکار ہے، ورنہ یہ نہیں چلتا

Limiter ہر client کی requests گنتا ہے، اور یہ counts worker processes کے درمیان shared ہونی چاہییں۔ یہ store Valkey ہے، جو Redis کا maintained fork ہے۔ پرانی SearXNG guides اس setting کو redis: کہتی ہیں۔ موجودہ releases valkey: پڑھتی ہیں، اس لیے key name کسی پرانی post کے بجائے موجودہ documentation سے copy کریں۔ ان میں سے بعض pages مزید پرانے مواد تک جاتی ہیں اور SearXNG کے بجائے Searx بیان کرتی ہیں۔ یہ مختلف codebase اور مختلف limiter ہے، اس لیے config block copy کرنے سے پہلے معلوم کریں کہ page ان دونوں میں سے کس project کے لیے لکھی گئی ہے۔

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

upstream compose file پہلے ہی valkey service کو docker.io/valkey/valkey:9-alpine image پر چلاتی ہے، اور container کا نام searxng-valkey ہے۔ اس لیے یہ host name compose network کے اندر resolve ہو جاتا ہے۔ یہی value SEARXNG_VALKEY_URL environment variable کے ذریعے بھی set کی جا سکتی ہے۔ جب SearXNG اور Valkey ایک ہی host پر ہوں تو Unix socket URL (unix:///path/to/socket.sock?db=0) بھی کام کرتا ہے۔

Store موجود نہ ہونے پر کیا ہوتا ہے، اس کا انحصار ایک دوسری key پر ہے۔ public_instance: false کے ساتھ limiter Valkey error کو log کر کے رک جاتا ہے، اس لیے instance بغیر کسی rate limiting کے requests serve کرتا رہتا ہے۔ public_instance: true کے ساتھ process اس کے بجائے sys.exit(1) call کرتا ہے، اور bot protection کے بغیر public instance serve نہیں کرتا۔ اگر Valkey initialization error کے بعد container بار بار restart ہو تو اس کی Valkey connection درست کریں۔

Limiter اصل میں کیا شمار کرتا ہے

چارٹSearXNG limiter: requests allowed per client network, defaults in ip_limit.py
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "Burst, link token off",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, link token off",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Non-HTML format in URL query",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

Link-token checking غیر فعال ہونے پر، ایک client کو 20 سیکنڈ کی burst window کے اندر 15 requests اور 10 منٹ کی window کے اندر 150 requests کی اجازت ملتی ہے۔ فعال ہونے پر، link-token check پاس کرنے والا client دونوں counters کو bypass کر دیتا ہے؛ مشتبہ client کو ہر burst window میں 2 request کی اجازت ملتی ہے۔ آخری row سب سے سخت ہے: 30 دن کی window کے اندر 3 flagged requests کے بعد، اس address کو search کے بجائے start page پر redirect کیا جاتا ہے، اور log میں BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) لکھا جاتا ہے۔ Link-token check پاس کرنے سے اس client کا suspicious-request counter صاف ہو جاتا ہے۔

یہ numbers searx/botdetection/ip_limit.py میں constants ہیں۔ یہ settings نہیں ہیں، اور limiter.toml انہیں expose نہیں کرتا؛ اس لیے انہیں تبدیل کرنے کے لیے source میں ترمیم کرنا ہوگی۔ /etc/searxng/limiter.toml جن چیزوں کو control کرتا ہے وہ clients کو group کرنے کے لیے استعمال ہونے والے address prefixes، trusted proxies کی فہرست، optional link token check، اور pass اور block lists ہیں۔

Flagged rows صرف اس وقت لاگو ہوتی ہیں جب link token check فعال ہو، خواہ limiter.toml میں link_token = true کے ذریعے یا اس وجہ سے کہ public_instance: true اسے آپ کے لیے فعال کر دیتا ہے۔ اس کے بعد client اس وقت تک suspicious شمار ہوتا ہے جب تک وہ ایسی stylesheet load نہ کر لے جس کے URL میں random token موجود ہو۔ Link token بند ہونے پر، جو default حالت ہے، ان counters تک پہنچنے والے ہر client پر normal rows لاگو ہوتی ہیں۔

Header checks زیادہ سخت ہیں، کیونکہ وہ کسی چیز کو flag نہیں کرتے: جو request کسی check میں ناکام ہو، اسے اسی وقت 429 کے ساتھ مسترد کر دیا جاتا ہے۔ ہر check searx/botdetection/ میں ایک module ہے، اور debug log line اس header کا نام بتاتی ہے جو ناکام ہوا:

  • http_accept: Accept header میں text/html موجود نہیں۔
  • http_accept_encoding: Accept-Encoding header میں نہ gzip کا نام ہے نہ deflate کا۔
  • http_accept_language: Accept-Language header موجود نہیں۔
  • http_user_agent: User-Agent موجود نہیں یا known bot pattern سے match کرتا ہے۔
  • http_sec_fetch: Sec-Fetch-* headers وہ نہیں ہیں جو browser بھیجتا ہے۔ یہ check صرف ان browser versions سے آنے والی HTTPS requests پر چلتا ہے جن کے بارے میں معلوم ہے کہ وہ یہ headers بھیجتے ہیں، اور 429 جواب دینے کے بجائے start page پر redirect کرتا ہے۔ موجودہ source میں صرف invalid Sec-Fetch-Mode واقعی اس redirect کو trigger کرتا ہے: invalid Sec-Fetch-Site یا Sec-Fetch-Dest کو debug level پر log کیا جاتا ہے، لیکن request آگے بڑھ جاتی ہے۔

Browser یہ تمام headers بھیجتا ہے۔ ایک سادہ curl call ان میں سے تقریباً کوئی header نہیں بھیجتا، اس لیے دستی طور پر لکھی گئی test request پہلی کوشش پر مسترد ہو جاتی ہے، جبکہ اسی browser tab میں وہی search کامیاب ہو جاتی ہے۔ اسی لیے "میرے browser میں کام کرتا ہے، لیکن میری script کو 429 ملتا ہے" معمول کا نتیجہ ہے، کوئی معمہ نہیں۔

ریورس پراکسی کے پیچھے limiter سب کو ایک ساتھ روک دیتا ہے

کام کرتی ہوئی instance کو خراب کرنے کا یہ سب سے عام طریقہ ہے۔ SearXNG کلائنٹ کا address X-Forwarded-For میں موجود پہلے غیر معتبر IP سے لیتا ہے، پھر X-Real-IP پر fallback کرتا ہے، اور آخر میں اس address پر fallback کرتا ہے جس نے connection کھولا تھا۔ ان headers پر اعتبار کرنا ہے یا نہیں، اس کا فیصلہ limiter.toml میں موجود trusted_proxies کرتا ہے۔ botdetection documentation کے مطابق جب صرف X-Real-IP set ہو تو trusted_proxies کو نظر انداز کیا جاتا ہے، لیکن 16 November 2026 کو چیک کیے گئے searx/botdetection/trusted_proxies.py کے code کے مطابق connecting address trusted نہ ہو تو دونوں headers حذف کر دیے جاتے ہیں۔ اس لیے صرف X-Real-IP بھیجنے سے آپ اس فہرست کو bypass نہیں کر سکتے۔

اگر آپ کی proxy کا address اس فہرست میں نہ ہو تو headers نظر انداز کر دیے جاتے ہیں اور ہر visitor proxy کے address کے ساتھ آتا ہے۔ اس کے بعد سب ایک ہی counter استعمال کرتے ہیں۔ چنانچہ link-token checking disabled ہو تو 10 minutes میں requests کی مجموعی تعداد 150 سے بڑھتے ہی پوری site ایک ساتھ block ہو جاتی ہے۔ link-token checking enabled ہو تو مشتبہ clients زیادہ سخت counters share کرتے ہیں، جبکہ check پاس کرنے والا client burst اور long-window counters کو bypass کر دیتا ہے۔

بہت زیادہ addresses کو trusted قرار دینا اس سے بھی زیادہ خطرناک ہے۔ اگر کوئی public range فہرست میں شامل ہو تو اس trusted range سے connect ہونے والا visitor اپنا X-Forwarded-For header بھیج کر ہر request کے لیے نئی identity منتخب کر سکتا ہے۔ صرف وہ address فہرست میں شامل کریں جس سے آپ کی اپنی proxy connect کرتی ہے۔ Docker میں یہ عموماً 172.16.0.0/12 کے اندر ایک bridge network ہوتا ہے، اور یہ line commented out ہوتی ہے۔

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

proxy کو یہ headers بھیجنے ہوں گے۔ Nginx خود X-Forwarded-Proto، X-Real-IP یا X-Forwarded-For شامل نہیں کرتا:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy اور Traefik forwarded headers خود set کر دیتے ہیں، اس لیے ان کے ساتھ آپ کو صرف trusted_proxies والا کام کرنا ہوتا ہے۔ اس کے فوائد اور trade-offs self-hosted service کے لیے reverse proxy کا انتخاب میں بیان کیے گئے ہیں۔ دونوں setups کی تصدیق کے لیے debug on کریں، mobile data استعمال کرتے ہوئے اپنے phone سے ایک بار search کریں، اور log line میں network کی تصدیق کریں کہ وہاں proxy کے بجائے آپ کے phone کا address موجود ہے۔

آپ کے agent کی API حد درخواست پر منحصر ہے

JSON output بطور ڈیفالٹ disabled ہوتا ہے، اس لیے agent کو اسے شامل کرنا پڑتا ہے:

search:
  formats:
    - html
    - json

اب chart row دوبارہ دیکھیں۔ /search درخواست جس میں URL query parameter format کی قدر html کے علاوہ ہو، اپنی الگ window میں شمار ہوتی ہے: ہر 1 hour، فی client network، 4 requests۔ API POST form parameters کو support کرتی ہے، لیکن صرف POST form data میں فراہم کیا گیا non-HTML format اس API counter میں اضافہ نہیں کرتا؛ limiter کی دوسری جانچیں پھر بھی لاگو ہوتی ہیں۔ link-token check پاس کرنے سے API counter bypass نہیں ہوتا، کیونکہ یہ counter پہلے چلتا ہے۔ ?format=json استعمال کرنے والا research agent ایک ہی task میں یہ حد پوری کر دیتا ہے، اور اس کے بعد ہر call 429 واپس کرتی ہے۔ یہ تعداد source میں constant ہے، اس لیے اسے config سے بڑھایا نہیں جا سکتا، لیکن اس کی ضرورت بھی نہیں: آپ agent کے address کو اس count سے مکمل طور پر خارج کر سکتے ہیں۔

درست حل یہ ہے کہ limiter کو بتایا جائے کہ یہ client اجنبی نہیں ہے۔ اس کا address limiter.toml میں pass list میں شامل کریں:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip کو ہر دوسرے طریقے پر ترجیح حاصل ہے، اور limiter.toml میں upstream کا اپنا comment کہتا ہے کہ اس list میں شامل address کو unrestricted access حاصل ہے۔ اس لیے allowlisted client چار درخواستوں والی window کا پابند نہیں رہتا، header checks بھی skip کرتا ہے، اور سادہ curl call کام کرتی ہے۔ range کو جتنا ممکن ہو محدود رکھیں، اور routable network کے بجائے VPN subnet یا container network کو ترجیح دیں۔ agent کو internal network پر براہ راست container کی طرف بھیجنے سے SearXNG کا اپنا limiter bypass نہیں ہوتا؛ client کا وہ address allowlist کریں جو SearXNG کو حقیقتاً نظر آتا ہے۔ اس کی مکمل ترتیب AI agent کو SearXNG search skill دینا میں بیان کی گئی ہے۔

جس طریقے سے بچنا چاہیے، وہ یہ ہے کہ agent کو کسی دوسرے شخص کے چلائے ہوئے public instance کی طرف بھیجا جائے۔ SearXNG کے ذریعے خودکار traffic آنے سے upstream engines اس instance کو block کر سکتے ہیں۔

اس کے بجائے جب engines آپ کو روک دیں

چارٹHow long SearXNG suspends an engine, search.suspended_times defaults
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

جب کوئی engine اپنے 429 جواب یا CAPTCHA صفحہ کے ساتھ جواب دیتا ہے تو SearXNG ایک نامزد exception پیدا کرتا ہے اور کچھ دیر کے لیے اس engine کو مزید درخواستیں بھیجنا روک دیتا ہے۔ آپ کے visitors کو اس engine-search کا 429 نظر نہیں آتا: search پھر بھی معمول کا results page واپس کرتی ہے، صرف اس engine کے نتائج شامل نہیں ہوتے۔ too-many-requests جواب اسے 180 seconds کے لیے suspend کرتا ہے، جبکہ access-denied جواب تقریباً 3 minutes کے لیے۔ سادہ CAPTCHA اسے تقریباً 1 hour کے لیے suspend کرتا ہے۔ Cloudflare کے ذریعے فراہم کردہ CAPTCHA اسے تقریباً 15 days کے لیے suspend کرتا ہے، جو فہرست میں سب سے طویل default ہے۔ آپ کو CAPTCHA کی ان تین rows میں سے کون سی row ملی، اس سے طے ہوتا ہے کہ اگلا قدم کیا ہونا چاہیے، اور CAPTCHA errors کے لیے اپنی الگ fixes موجود ہیں، جب آپ جان لیں کہ آپ کی instance نے کون سا exception record کیا ہے۔

یہ وہ values ہیں جو SearXNG کے ساتھ آنے والی searx/settings.yml میں موجود ہیں، اور انہیں 16 November 2026 کو چیک کیا گیا تھا۔ settings documentation اب بھی پرانی اور زیادہ طویل values دکھاتی ہے (too many requests کے لیے one hour، اور access denied اور سادہ CAPTCHA کے لیے one day)، اس لیے اس page کے بجائے وہ file معتبر سمجھیں جسے آپ کی instance حقیقت میں load کرتی ہے۔

عام failures کے لیے مختلف settings استعمال ہوتی ہیں۔ timeout یا failed connection engine کو search.ban_time_on_fail seconds کے لیے suspend کرتا ہے، جس کی default value 5 ہے، اور یہ مدت search.max_ban_time_on_fail سے زیادہ نہیں ہوتی، جس کی default value 120 ہے۔ parse error کو /stats/errors میں record کیا جاتا ہے، لیکن engine کو بالکل suspend نہیں کیا جاتا۔ اس لیے slow engine چند seconds میں خود بحال ہو جاتا ہے، جبکہ CAPTCHA فراہم کرنے والا engine ایک hour یا اس سے زیادہ عرصے کے لیے unavailable رہتا ہے۔ یہی فرق اس علامت کی وضاحت کرتا ہے جسے لوگ random سمجھتے ہیں: results درست آتے ہیں، پھر ایک engine کے results ہر بار ایک hour کے لیے غائب ہو جاتے ہیں۔

کسی کو ذمہ دار ٹھہرانے سے پہلے timeouts درست کرنا مفید ہے۔ default request_timeout، 3.0 seconds ہے، جو کسی ایسے چھوٹے VPS کے لیے کم پڑ سکتا ہے جو engine کے قریب ترین edge server سے کافی دور ہو۔

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout ہر engine کے لیے default ہے، max_request_timeout زیادہ سے زیادہ حد ہے، اور کسی ایک engine کے لیے اپنا timeout بھی مقرر کیا جا سکتا ہے۔ ان values کو بڑھانے سے page latency زیادہ اور failures کم ہوتے ہیں، اس لیے براہ راست 10 پر جانے کے بجائے half seconds کے increments میں اضافہ کریں اور /stats/errors کو monitor کریں۔

جس engine نے واقعی آپ کے address کو block کیا ہو، اسے remove کر دیں۔ Suspended engines کو suspension ختم ہونے تک skip کیا جاتا ہے؛ جو engine بار بار آپ کو block کرتا ہو اسے برقرار رکھنے سے اس کے دوبارہ eligible ہونے پر failed retries بڑھ جاتی ہیں۔

use_default_settings:
  engines:
    remove:
      - google

docker compose restart core کے ذریعے changes apply کریں، پھر چند searches چلائیں اور /stats/errors کو reload کریں۔ صرف recorded errors چیک نہ کریں، بلکہ یہ بھی یقینی بنائیں کہ searches results واپس کر رہی ہیں۔

ڈیٹا سینٹر کے IP کو bot سمجھا جا سکتا ہے

Google ان networks کو block کرتا ہے جن سے اسے automated traffic بھیجا جانا معلوم ہو، جن میں shared VPN networks بھی شامل ہیں۔ کوئی بھی local limiter setting اس upstream block کو ختم نہیں کر سکتی۔ آپ کے server کو query لکھنے والے شخص کے بجائے search engines کا دیکھنا بھی self-hosting کے ذریعے اختیار کیے گئے privacy trade-off کا بنیادی حصہ ہے، اور SearXNG دراصل کتنا data چھپاتا ہے یہ فرض کرنے سے پہلے پڑھنا مفید ہے کہ یہ اس سے زیادہ تحفظ فراہم کرتا ہے۔

آپ یہ تبدیل کر سکتے ہیں کہ کن engines سے درخواست کی جائے اور آپ کی instance عوامی طور پر listed ہو یا نہ ہو۔ SearXNG، outgoing.proxies یا outgoing.using_tor_proxy کے ذریعے engine requests کو proxy سے route کر سکتا ہے، جس سے traffic ایک مختلف address پر منتقل ہو جاتا ہے۔ مختلف exit address سے access کی ضمانت نہیں ملتی: Google کچھ shared VPN اور tunnel services کو بھی block کرتا ہے، کیونکہ ان کے users کی طرف سے automated traffic آتا ہے۔

مثالے کی نگرانی کریں تاکہ مسئلہ سب سے پہلے آپ کے علم میں آئے

SearXNG اس وقت بھی اپنے port پر جواب دیتا ہے جب تمام engines معطل ہوں۔ اس لیے صرف status code کی نگرانی کرنے والا uptime check سبز رہتا ہے، جبکہ instance کوئی نتیجہ واپس نہیں کرتا۔ اس کے بجائے content چیک کریں: حقیقی search request بھیجیں اور response body میں متوقع لفظ تلاش کریں۔ Uptime Kuma میں keyword monitoring اضافی tooling کے بغیر یہی کام کرتا ہے۔ ہر version bump کے بعد بھی /stats/errors کی نگرانی کریں، کیونکہ engines کا HTML تبدیل ہو سکتا ہے اور parser ٹوٹ سکتا ہے، جبکہ اس میں rate limit کا کوئی تعلق نہیں ہوتا۔

FAQ

ہر وزیٹر کو reverse proxy کے پیچھے رکھنے کے بعد SearXNG ہر بار 429 کیوں واپس کرتا ہے؟

کیونکہ limiter، proxy کو client شمار کر رہا ہے۔ SearXNG صرف X-Forwarded-For اسی وقت پڑھتا ہے جب connecting address، /etc/searxng/limiter.toml میں موجود trusted_proxies میں درج ہو۔ اگر یہ درج نہ ہو تو تمام وزیٹر ایک ہی counter استعمال کرتے ہیں؛ link-token checking غیر فعال ہونے کی صورت میں وہ سب مل کر 10 منٹ میں 150 requests کی حد عبور کر دیتے ہیں۔ link-token checking فعال ہو تو مشتبہ clients زیادہ سخت counters استعمال کرتے ہیں، جبکہ check پاس کرنے والے clients burst اور long-window counters سے مستثنیٰ رہتے ہیں۔ وہ address شامل کریں جہاں سے proxy connect کرتا ہے۔ Docker میں یہ عموماً bridge range 172.16.0.0/12 ہوتی ہے۔ یہ بھی یقینی بنائیں کہ proxy X-Real-IP اور X-Forwarded-For بھیجتا ہو۔ ایسی range کبھی درج نہ کریں جس پر آپ کا اختیار نہ ہو، کیونکہ trusted range سے connect کرنے والا client یہ header مقرر کر کے ہر request کے لیے نئی شناخت منتخب کر سکتا ہے۔

SearXNG کا limiter فی گھنٹہ کتنی API requests کی اجازت دیتا ہے؟

ہر client network کے لیے چار requests۔ یہ حد ان /search requests پر لاگو ہوتی ہے جن کے URL query parameter format کی قدر html نہ ہو۔ صرف POST form data میں دیا گیا non-HTML format اس API counter میں اضافہ نہیں کرتا، اگرچہ limiter کی دیگر جانچیں پھر بھی لاگو رہتی ہیں۔ یہ تعداد searx/botdetection/ip_limit.py میں مقرر ہے، limiter.toml میں نہیں، اس لیے اسے config سے بڑھایا نہیں جا سکتا۔ ?format=json استعمال کرنے والا agent یا script اسے ایک task میں پاس کرتا ہے۔ limiter.toml میں pass_ip پر درج address کو غیر محدود access ملتا ہے اور اسے بالکل شمار نہیں کیا جاتا، اس لیے client کا address وہاں شامل کریں۔ صرف internal network کے ذریعے connect ہونے سے SearXNG کا limiter bypass نہیں ہوتا۔

میرے search results 429 error کے بغیر خالی کیوں واپس آتے ہیں؟

Engines آپ کے users کو نہیں بلکہ آپ کے server کو مسترد کر رہے ہیں۔ اپنی instance پر /stats/errors کھولیں۔ یہ ہر ناکام engine اور ناکامی کی وجہ دکھاتا ہے۔ CAPTCHA یا access-denied entry کا مطلب ہے کہ اس engine نے آپ کے server کا IP address block کر دیا ہے۔ اس کے بعد SearXNG engine کو عارضی طور پر suspend کرتا ہے: too-many-requests یا access-denied جواب کے بعد 3 منٹ کے لیے، plain CAPTCHA کے بعد 1 گھنٹے کے لیے، اور reCAPTCHA یا Cloudflare CAPTCHA کے بعد 1 ہفتے یا اس سے زیادہ کے لیے۔ کوئی local limiter setting upstream block ختم نہیں کرتی۔ اس لیے وہ engines ہٹا دیں جو آپ کے address کو block کرتے ہیں، اور وہ engines برقرار رکھیں جو جواب دیتے ہیں۔

کیا مجھے private instance پر limiter فعال کرنا چاہیے؟

اگر instance تک آپ کے علاوہ کوئی نہیں پہنچتا تو limiter: false کو برقرار رکھیں۔ اس سے Valkey dependency شامل ہوتی ہے اور آپ کی اپنی scripts block ہو جاتی ہیں، جبکہ یہ ایسے traffic سے تحفظ فراہم کرتا ہے جو آپ کے پاس موجود ہی نہیں۔ Instance کو public address ملتے ہی اسے public_instance: true کے ساتھ فعال کریں۔ یہ جوڑا جان بوجھ کر اس طرح مقرر کیا گیا ہے: public_instance: true فعال ہو اور initialization کے وقت Valkey کام نہ کر رہی ہو تو process status 1 کے ساتھ exit ہو جاتا ہے، بجائے اس کے کہ غیر محفوظ حالت میں چلتا رہے۔

کیا یہ مضمون مفید تھا؟