SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor

رفع خطای 429 و محدودیت نرخ در SearXNG

خطای 429 در SearXNG ممکن است از محدودکنندهٔ محلی یا درخواست تصویر به upstream باشد. لاگ، شمارنده‌های API و منبع واقعی مسدودی را بررسی و اصلاح کنید.

چرا SearXNG خطای 429 برمی‌گرداند

یک نمونه SearXNG که خودتان میزبانی می‌کنید، در 2 نقطهٔ مستقل با محدودیت نرخ مواجه می‌شود و محدودیتی که باید برطرف کنید، معمولاً همان موردی نیست که تصور می‌کنید. هم محدودسازی محلی و هم درخواست تصویر به upstream می‌توانند خطای 429 ایجاد کنند. مورد اول محلی است: محدودکنندهٔ داخلی SearXNG تشخیص داده است که درخواست از یک bot آمده و به Too Many Requests با وضعیت 429 پاسخ داده است. endpoint مربوط به /image نیز وضعیت‌های خطای upstream، از جمله 429، را forward می‌کند. مورد دوم در upstream رخ می‌دهد: یک موتور جست‌وجو آدرس IP سرور شما را رد کرده است. SearXNG آن موتور را بدون پاسخ تشخیص می‌دهد و موقتاً متوقفش می‌کند؛ در نتیجه کاربران شما همچنان یک صفحهٔ نتایج عادی دریافت می‌کنند، اما برخی موارد در آن وجود ندارند و خطای 429 نمایش داده نمی‌شود.

این 2 مورد راه‌حل مشترکی ندارند. محدودکننده متعلق به شماست، بنابراین می‌توانید آن را تغییر دهید. مسدودسازی در upstream در سمت موتور جست‌وجو رخ می‌دهد؛ بنابراین تغییر محدودکنندهٔ محلی آن را برطرف نمی‌کند. لاگ در حدود 1 دقیقه مشخص می‌کند با کدام مورد مواجه هستید، پس از همان‌جا شروع کنید.

این راهنما فرض می‌کند نصب container مطابق توضیحات یک نمونه SearXNG که روی VPS شخصی خود میزبانی می‌کنید انجام شده است. نام تمام تنظیمات زیر از مستندات و source فعلی upstream گرفته شده و در 16 November 2026 بررسی شده‌اند.

پیش از تغییر تنظیمات، لاگ را بخوانید

مشکل را در حالی بازتولید کنید که یک پنجرهٔ لاگ باز است. در فایل compose بالادستی، نام سرویس SearXNG برابر با core است (نام container آن searxng-core است) و دستورهای docker compose نام سرویس را دریافت می‌کنند:

cd ./searxng/
docker compose logs -f core

پیام‌های limiter از loggerهایی با نام‌های searx.limiter و searx.botdetection می‌آیند و شبکهٔ client را مشخص می‌کنند. برخورد با blocklist به‌صورت BLOCK 203.0.113.10/32: matched BLOCKLIST و برخورد با allowlist به‌صورت PASS 203.0.113.10/32: matched PASSLIST ثبت می‌شود؛ پس از هرکدام، entry مربوط به مورد تطبیق‌یافته می‌آید. اگر limiter نتواند counter store خود را مقداردهی اولیه کند، لاگ پیام The limiter requires Valkey, please consult the documentation را نشان می‌دهد؛ یعنی limiter نصب نشده است.

هر بررسی جداگانهٔ bot در سطح debug ثبت می‌شود؛ بنابراین به‌صورت پیش‌فرض آن را نمی‌بینید. برای یک آزمایش، debug را در settings.yml فعال کنید:

general:
  debug: true

سپس لاگ خط‌هایی با قالب BLOCK 203.0.113.10/32: missing HTTP header Accept-Language اضافه می‌کند که شبکهٔ client و header نامعتبر را مشخص می‌کنند. پس از آزمایش، debug را دوباره خاموش کنید، زیرا upstream توصیه می‌کند instance مستقر را با debug فعال اجرا نکنید.

خطاهای engine کاملاً متفاوت‌اند. این خطاها به‌جای IP، نام engine را مشخص می‌کنند؛ پیام جزئی timeout در سطح debug ثبت می‌شود، در حالی که پیام engine timeout مربوط به search thread در سطح error ثبت می‌شود:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

برای این موضوع یک صفحه نیز وجود دارد. اگر enable_metrics روی مقدار پیش‌فرض true باقی بماند، instance شما خطاهای engine را در /stats/errors ثبت می‌کند و /preferences فهرست engineهایی را نشان می‌دهد که در حال حاضر پاسخ می‌دهند. وجود entry در /stats/errors نشان‌دهندهٔ خطای engine است، اما نبودن خط‌های searx.limiter، احتمال block شدن توسط limiter را رد نمی‌کند؛ زیرا بررسی‌های جداگانهٔ bot در سطح searx.botdetection ثبت می‌شوند.

نسخه را پیش از هرگونه عیب‌یابی ثابت کنید

تنظیمات container در upstream از دو فایل تشکیل می‌شود.

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

فایل compose مقدار docker.io/searxng/searxng:${SEARXNG_VERSION:-latest} را دریافت می‌کند. متغیر unset به این معناست که latest، و latest یعنی instance در docker compose pull بعدی بدون اطلاع شما تغییر می‌کند؛ بنابراین تنظیمی که هفتهٔ گذشته کار می‌کرد، ممکن است دیگر با کدی که آن را می‌خواند سازگار نباشد. tagهای SearXNG شامل تاریخ و commit هستند. tag نمونه در upstream .env.example تا اکتبر 2026 برابر با 2026.3.25-541c6c3cb است؛ بنابراین یک مقدار واقعی را در .env تنظیم کنید:

SEARXNG_VERSION=2026.3.25-541c6c3cb

tagهای منتشرشده را بررسی کنید و releaseای را که واقعاً آزمایش کرده‌اید pin کنید، سپس عیب‌یابی را با یک هدف ثابت انجام دهید. همان فایل .env می‌تواند secret key شما را از طریق SEARXNG_SECRET نگه دارد؛ بنابراین پیش از آن‌که این directory را در جایی commit کنید، نحوهٔ کار env fileها و secretها در Docker Compose را بخوانید.

محدودکننده به Valkey نیاز دارد؛ در غیر این صورت اجرا نمی‌شود

محدودکننده تعداد درخواست‌های هر client را می‌شمارد و این شمارش‌ها باید بین processهای worker به‌اشتراک گذاشته شوند. این store همان Valkey است؛ fork نگه‌داری‌شدهٔ Redis. راهنماهای قدیمی‌تر SearXNG این تنظیم را redis: می‌نامند. releaseهای فعلی valkey: را می‌خوانند؛ بنابراین نام key را از مستندات فعلی کپی کنید، نه از یک پست قدیمی. برخی از این صفحه‌ها حتی قدیمی‌ترند و Searx را توضیح می‌دهند، نه SearXNG را. Searx یک codebase متفاوت با limiter متفاوت است؛ بنابراین پیش از کپی‌کردن یک بلوک configuration، مشخص کنید صفحه برای کدام‌یک از این دو پروژه نوشته شده است.

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

فایل compose upstream از قبل یک سرویس valkey را بر پایهٔ image docker.io/valkey/valkey:9-alpine اجرا می‌کند. نام container آن searxng-valkey است؛ بنابراین این نام میزبان داخل شبکهٔ compose resolve می‌شود. همین مقدار را می‌توان با متغیر محیطی SEARXNG_VALKEY_URL نیز تنظیم کرد. هنگامی که SearXNG و Valkey روی یک host باشند، URL مربوط به Unix socket یعنی unix:///path/to/socket.sock?db=0 نیز کار می‌کند.

رفتار هنگام نبودن store به یک key دیگر بستگی دارد. با public_instance: false، limiter خطای Valkey را در log ثبت می‌کند و متوقف می‌شود؛ در نتیجه instance بدون هیچ rate limiting به ارائهٔ سرویس ادامه می‌دهد. با public_instance: true، process به‌جای آن sys.exit(1) را فراخوانی می‌کند و instance عمومی را بدون محافظت در برابر botها ارائه نمی‌دهد. اگر container پس از این خطای initialization مربوط به Valkey به‌صورت حلقه‌ای restart می‌شود، باید اتصال آن به Valkey را اصلاح کنید.

آنچه limiter واقعاً شمارش می‌کند

نمودارSearXNG limiter: requests allowed per client network, defaults in ip_limit.py
داده‌های پشت این نمودار
[
  {
    "label": "Burst, link token off",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, link token off",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Non-HTML format in URL query",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

وقتی بررسی link-token غیرفعال باشد، یک client در پنجرهٔ burst بیست‌ثانیه‌ای 15 درخواست و در پنجرهٔ 10 دقیقه‌ای 150 درخواست دریافت می‌کند. وقتی این بررسی فعال باشد، clientای که بررسی link-token را با موفقیت پشت سر بگذارد، هر دو شمارنده را دور می‌زند؛ client مشکوک در هر پنجرهٔ burst فقط 2 درخواست مجاز دارد. ردیف آخر سخت‌گیرانه‌ترین حالت است: پس از 3 درخواست علامت‌گذاری‌شده در یک پنجرهٔ 30 روزه، آن address به‌جای جست‌وجو به صفحهٔ شروع redirect می‌شود و در log عبارت BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) ثبت می‌شود. عبور موفق از بررسی link-token شمارندهٔ درخواست‌های مشکوک همان client را پاک می‌کند.

این اعداد در searx/botdetection/ip_limit.py به‌صورت constant تعریف شده‌اند. آن‌ها setting نیستند و limiter.toml نیز آن‌ها را در اختیار شما نمی‌گذارد؛ بنابراین تغییرشان مستلزم ویرایش source است. چیزی که /etc/searxng/limiter.toml کنترل می‌کند، prefixهای address برای گروه‌بندی clientها، فهرست trusted proxyها، بررسی اختیاری link token و فهرست‌های مجاز و مسدودشده است.

ردیف‌های علامت‌گذاری‌شده فقط زمانی اعمال می‌شوند که بررسی link token فعال باشد؛ این بررسی یا از طریق link_token = true در limiter.toml فعال می‌شود، یا public_instance: true آن را برای شما فعال می‌کند. سپس client تا زمانی مشکوک محسوب می‌شود که stylesheetای را بارگذاری کند که URL آن یک token تصادفی داشته باشد. وقتی link token خاموش باشد، که حالت پیش‌فرض است، هر clientای که به این شمارنده‌ها برسد، ردیف‌های عادی را دریافت می‌کند.

بررسی‌های header سخت‌گیرانه‌ترند، چون چیزی را علامت‌گذاری نمی‌کنند: درخواستی که در یکی از آن‌ها شکست بخورد، همان لحظه با کد 429 رد می‌شود. هر بررسی یک module در searx/botdetection/ است و خط log مربوط به debug، header ناموفق را مشخص می‌کند:

  • http_accept: header مربوط به Accept شامل text/html نیست.
  • http_accept_encoding: header مربوط به Accept-Encoding نه gzip را مشخص می‌کند و نه deflate را.
  • http_accept_language: هیچ header مربوط به Accept-Language وجود ندارد.
  • http_user_agent: مقدار User-Agent وجود ندارد یا با یک الگوی شناخته‌شدهٔ bot مطابقت دارد.
  • http_sec_fetch: headerهای Sec-Fetch-* با چیزی که یک browser ارسال می‌کند مطابقت ندارند. این بررسی فقط روی درخواست‌های HTTPS از نسخه‌های browserای اجرا می‌شود که مشخص است این headerها را ارسال می‌کنند و به‌جای پاسخ 429، درخواست را به صفحهٔ شروع redirect می‌کند. در source فعلی، فقط Sec-Fetch-Mode نامعتبر واقعاً این redirect را ایجاد می‌کند؛ Sec-Fetch-Site یا Sec-Fetch-Dest نامعتبر در سطح debug در log ثبت می‌شوند، اما درخواست ادامه پیدا می‌کند.

یک browser همهٔ این موارد را ارسال می‌کند. یک فراخوانی سادهٔ curl تقریباً هیچ‌کدام از آن‌ها را ارسال نمی‌کند؛ بنابراین یک درخواست آزمایشی دست‌نویس در همان تلاش اول رد می‌شود، درحالی‌که همان جست‌وجو در یک tab مرورگر موفق است. به همین دلیل، پیام «در browser من کار می‌کند، اما script من 429 می‌گیرد» نتیجه‌ای عادی است، نه یک مسئلهٔ ناشناخته.

محدودکننده پشت reverse proxy همه را هم‌زمان مسدود می‌کند

این رایج‌ترین روش برای خراب‌کردن یک نمونهٔ فعال است. SearXNG نشانی کلاینت را از نخستین IP غیرقابل‌اعتماد در X-Forwarded-For می‌گیرد، سپس به X-Real-IP برمی‌گردد و در نهایت از نشانی‌ای استفاده می‌کند که اتصال را باز کرده است. این‌که اصلاً این headerها قابل‌اعتماد باشند یا نه، توسط trusted_proxies در limiter.toml تعیین می‌شود. مستندات botdetection می‌گوید وقتی فقط X-Real-IP تنظیم شده باشد، trusted_proxies نادیده گرفته می‌شود؛ اما کد موجود در searx/botdetection/trusted_proxies.py که در 16 November 2026 بررسی شده است، هر دو header را هرگاه نشانی اتصال‌دهنده قابل‌اعتماد نباشد حذف می‌کند. بنابراین ارسال فقط X-Real-IP راهی برای دورزدن این فهرست نیست.

اگر نشانی proxy شما در آن فهرست نباشد، headerها نادیده گرفته می‌شوند و هر بازدیدکننده با نشانی proxy وارد می‌شود. در نتیجه همه یک شمارنده را به اشتراک می‌گذارند. بنابراین وقتی بررسی link-token غیرفعال باشد، پس از عبور مجموع درخواست‌ها از 150 درخواست در 10 دقیقه، کل سایت هم‌زمان مسدود می‌شود. وقتی بررسی link-token فعال باشد، کلاینت‌های مشکوک شمارنده‌های سخت‌گیرانه‌تر را به‌صورت مشترک استفاده می‌کنند؛ اما کلاینتی که بررسی را با موفقیت پشت سر بگذارد، شمارنده‌های burst و long-window را دور می‌زند.

اعتماد بیش‌ازحد وضعیت بدتری ایجاد می‌کند. اگر یک محدودهٔ عمومی در فهرست قرار گیرد، بازدیدکننده‌ای که از آن محدودهٔ مورداعتماد متصل می‌شود می‌تواند header X-Forwarded-For خود را ارسال کند و برای هر درخواست هویت تازه‌ای انتخاب کند. فقط نشانی‌ای را در فهرست قرار دهید که proxy خودتان از آن متصل می‌شود. در Docker، این نشانی معمولاً یک شبکهٔ bridge داخل 172.16.0.0/12 است و آن خط به‌صورت پیش‌فرض comment شده است.

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

proxy باید headerها را نیز ارسال کند. Nginx به‌تنهایی X-Forwarded-Proto، X-Real-IP یا X-Forwarded-For را اضافه نمی‌کند:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy و Traefik headerهای forwarded را برای شما تنظیم می‌کنند؛ بنابراین با این دو فقط باید بخش trusted_proxies کار را انجام دهید. trade-offها در انتخاب reverse proxy برای یک سرویس self-hosted توضیح داده شده‌اند. برای بررسی هر دو تنظیم، debug را فعال کنید، یک‌بار با تلفن خود و از طریق mobile data جست‌وجو کنید و در خط لاگ تأیید کنید که network، نشانی تلفن شماست نه نشانی proxy.

محدودیت API عامل به درخواست بستگی دارد

خروجی JSON به‌طور پیش‌فرض غیرفعال است؛ بنابراین باید آن را به عامل اضافه کنید:

search:
  formats:
    - html
    - json

اکنون ردیف نمودار را دوباره بخوانید. یک درخواست /search که پارامتر query در URL آن، یعنی format، مقداری غیر از html داشته باشد، در پنجرهٔ مستقل خود شمرده می‌شود: 4 درخواست در هر 1 hour، به‌ازای هر شبکهٔ کاربر. API از پارامترهای فرم POST پشتیبانی می‌کند، اما قالبی غیر از HTML که فقط در دادهٔ فرم POST ارائه شود، این شمارندهٔ API را افزایش نمی‌دهد؛ سایر بررسی‌های limiter همچنان اعمال می‌شوند. عبور از بررسی link-token، شمارندهٔ API را دور نمی‌زند، چون این شمارنده ابتدا اجرا می‌شود. یک عامل پژوهشی که از ?format=json استفاده کند، کل سهمیه را در یک کار مصرف می‌کند و هر فراخوانی بعدی پاسخ 429 برمی‌گرداند. این عدد به‌صورت ثابت در source تعریف شده است؛ بنابراین نمی‌توانید آن را از config افزایش دهید، اما لازم نیست چنین کاری کنید: می‌توانید آدرس عامل را به‌طور کامل از این شمارش خارج کنید.

راه‌حل درست این است که به limiter اعلام کنید این client ناشناس نیست. آدرس آن را در pass list موجود در limiter.toml اضافه کنید:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip بر تمام روش‌های دیگر اولویت دارد و comment خود upstream در limiter.toml می‌گوید آدرسی که در آن فهرست باشد، دسترسی بدون محدودیت دارد. بنابراین client موجود در allowlist مشمول پنجرهٔ چهاردرخواستی نمی‌شود، بررسی‌های header را نیز رد می‌کند و یک فراخوانی سادهٔ curl کار می‌کند. محدوده را تا حد امکان کوچک نگه دارید و به‌جای هر چیزی که از طریق routing قابل دسترسی است، subnet مربوط به VPN یا شبکهٔ container را ترجیح دهید. هدایت مستقیم عامل به container در یک شبکهٔ داخلی، limiter داخلی SearXNG را دور نمی‌زند؛ آدرس clientای را در allowlist قرار دهید که SearXNG واقعاً آن را می‌بیند. نحوهٔ تنظیم این مورد در دادن قابلیت جست‌وجوی SearXNG به یک عامل هوش مصنوعی توضیح داده شده است.

گزینه‌ای که باید از آن اجتناب کنید، هدایت عامل به یک instance عمومی است که شخص دیگری آن را اجرا می‌کند. ترافیک خودکار از طریق SearXNG ممکن است باعث شود engineهای upstream آن instance را مسدود کنند.

وقتی موتورهای جست‌وجو به‌جای آن شما را مسدود می‌کنند

نمودارHow long SearXNG suspends an engine, search.suspended_times defaults
داده‌های پشت این نمودار
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

وقتی یک موتور جست‌وجو با خطای 429 مخصوص خود یا یک صفحهٔ CAPTCHA پاسخ می‌دهد، SearXNG یک استثنای نام‌گذاری‌شده ایجاد می‌کند و برای مدتی دیگر از آن موتور درخواست نمی‌فرستد. بازدیدکنندگان شما خطای 429 مربوط به جست‌وجوی آن موتور را نمی‌بینند: صفحهٔ نتایج همچنان به‌صورت عادی نمایش داده می‌شود، اما نتایج آن موتور در آن وجود ندارد. پاسخ too-many-requests آن را برای 180 ثانیه تعلیق می‌کند و پاسخ access-denied نیز برای 3 minutes تعلیق ایجاد می‌کند. CAPTCHA ساده آن را برای 1 hour تعلیق می‌کند. CAPTCHA ارائه‌شده از طریق Cloudflare آن را برای 15 days تعلیق می‌کند که طولانی‌ترین مقدار پیش‌فرض در این فهرست است. این‌که به کدام‌یک از 3 ردیف CAPTCHA رسیده‌اید، مشخص می‌کند چه اقدامی ارزش امتحان‌کردن دارد، و خطاهای CAPTCHA مجموعهٔ جداگانه‌ای از راه‌حل‌ها دارند؛ البته پس از آن‌که بدانید نمونهٔ شما کدام استثنا را ثبت کرده است.

این‌ها مقادیری هستند که در searx/settings.yml ارائه‌شده همراه با SearXNG وجود دارند و در 16 November 2026 بررسی شده‌اند. مستندات تنظیمات هنوز مقادیر قدیمی‌تر و طولانی‌تر را نشان می‌دهند: 1 ساعت برای too many requests، و 1 روز برای access denied و CAPTCHA ساده. بنابراین به فایلی اعتماد کنید که نمونهٔ شما واقعاً بارگذاری می‌کند، نه صفحه‌ای که این مقادیر را نقل کرده است.

خطاهای معمولی از تنظیمات دیگری استفاده می‌کنند. timeout یا شکست اتصال، موتور را برای search.ban_time_on_fail ثانیه تعلیق می‌کند؛ مقدار پیش‌فرض 5 است و این مدت هرگز از search.max_ban_time_on_fail بیشتر نمی‌شود؛ مقدار پیش‌فرض آن 120 است. خطای parse در /stats/errors ثبت می‌شود، اما موتور را اصلاً تعلیق نمی‌کند. بنابراین یک موتور کند ظرف چند ثانیه خودکار به وضعیت عادی برمی‌گردد، درحالی‌که موتوری که CAPTCHA ارائه کرده است، برای 1 ساعت یا بیشتر از دسترس خارج می‌شود. این تفاوت، علامتی را توضیح می‌دهد که کاربران آن را تصادفی می‌دانند: نتایج ابتدا عادی هستند، سپس نتایج یکی از موتورها هر بار برای 1 ساعت ناپدید می‌شوند.

پیش از آن‌که کسی را مقصر بدانید، timeoutها را اصلاح کنید. مقدار پیش‌فرض request_timeout برابر 3.0 ثانیه است و ممکن است برای یک VPS کوچک که از نزدیک‌ترین edge server موتور فاصلهٔ زیادی دارد، همچنان کم باشد.

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout مقدار پیش‌فرض برای همهٔ موتورها است، max_request_timeout سقف آن است و هر موتور می‌تواند timeout مخصوص خود را داشته باشد. افزایش این مقدار، تأخیر صفحه را با کاهش خطاها معاوضه می‌کند؛ بنابراین مقدار را در گام‌های نیم‌ثانیه افزایش دهید و /stats/errors را زیر نظر بگیرید، نه این‌که مستقیماً آن را به 10 برسانید.

اگر یک موتور واقعاً نشانی شما را مسدود می‌کند، آن را حذف کنید. موتورهای تعلیق‌شده تا پایان مدت تعلیق نادیده گرفته می‌شوند؛ نگه‌داشتن موتوری که مرتباً شما را مسدود می‌کند، پس از آن‌که دوباره واجد شرایط استفاده شد، retryهای ناموفق بیشتری ایجاد می‌کند.

use_default_settings:
  engines:
    remove:
      - google

تغییرات را با docker compose restart core اعمال کنید، سپس چند جست‌وجو اجرا کنید و /stats/errors را دوباره بارگذاری کنید. بررسی کنید که جست‌وجوها علاوه بر نداشتن خطاهای ثبت‌شده، واقعاً نتایج را نیز برمی‌گردانند.

یک IP مربوط به datacentre را می‌توان bot در نظر گرفت

Google شبکه‌هایی را که شناسایی می‌کند ترافیک خودکار ارسال می‌کنند مسدود می‌کند؛ شبکه‌های VPN اشتراکی نیز شامل این موارد هستند. هیچ تنظیمی در limiter محلی نمی‌تواند این مسدودسازی upstream را برطرف کند. این‌که engineها به‌جای فردی که query را وارد می‌کند، server شما را می‌بینند نیز بخش اصلی trade-off حریم خصوصی در self-hosting است. پیش از آن‌که فرض کنید SearXNG پوشش بیشتری فراهم می‌کند، مطالعهٔ میزان واقعی پنهان‌سازی در SearXNG ارزش دارد.

چیزی که می‌توانید تغییر دهید، engineهایی است که از آن‌ها query می‌فرستید و این‌که instance شما به‌صورت عمومی فهرست شده باشد یا نه. SearXNG می‌تواند درخواست‌های engine را با outgoing.proxies یا outgoing.using_tor_proxy از طریق proxy مسیریابی کند؛ در این حالت، ترافیک از یک address متفاوت عبور می‌کند. متفاوت بودن exit address دسترسی را تضمین نمی‌کند؛ Google برخی سرویس‌های VPN اشتراکی و tunnel را نیز به‌دلیل ترافیک خودکار کاربرانشان مسدود می‌کند.

نظارت بر نمونه برای اطلاع سریع از وضعیت

سرویس SearXNG حتی زمانی که تمام موتورهای جستجو معلق هستند، روی پورت خود پاسخ می‌دهد؛ بنابراین بررسی uptime که فقط وضعیت کد پاسخ (status code) را چک می‌کند، همچنان سبز باقی می‌ماند در حالی که نمونه هیچ نتیجه‌ای برنمی‌گرداند. محتوا را بررسی کنید: یک جستجوی واقعی انجام دهید و وجود کلمه‌ای که انتظار دارید در بدنه پاسخ باشد را مطابقت دهید. نظارت بر کلمات کلیدی در Uptime Kuma دقیقاً همین کار را بدون نیاز به ابزار اضافی انجام می‌دهد. پس از هر بار ارتقای نسخه، /stats/errors را نیز زیر نظر بگیرید، زیرا موتورها ساختار HTML خود را تغییر می‌دهند و این موضوع باعث از کار افتادن parser می‌شود، بدون اینکه محدودیت نرخ (rate limit) در میان باشد.

FAQ

چرا پس از قرار دادن SearXNG پشت یک reverse proxy، SearXNG به همهٔ بازدیدکنندگان پاسخ 429 می‌دهد؟

زیرا limiter، proxy را به‌عنوان client شمارش می‌کند. SearXNG فقط زمانی X-Forwarded-For را می‌خواند که آدرس متصل‌شونده در /etc/searxng/limiter.toml و در بخش trusted_proxies فهرست شده باشد. اگر این آدرس فهرست نشده باشد، همهٔ بازدیدکنندگان یک شمارندهٔ مشترک دارند؛ در حالت غیرفعال بودن link-token checking، همهٔ آن‌ها مجموعاً از حد 150 درخواست در 10 دقیقه عبور می‌کنند. در حالت فعال بودن link-token checking، clientهای مشکوک شمارنده‌های سخت‌گیرانه‌تری دارند، درحالی‌که clientهایی که بررسی را با موفقیت پشت سر می‌گذارند، از شمارنده‌های burst و بازهٔ طولانی عبور می‌کنند. آدرسی را که proxy از آن متصل می‌شود اضافه کنید. در Docker، این آدرس معمولاً بازهٔ bridge یعنی 172.16.0.0/12 است. همچنین مطمئن شوید proxy، X-Real-IP و X-Forwarded-For را ارسال می‌کند. هرگز بازه‌ای را که کنترل نمی‌کنید در فهرست قرار ندهید، زیرا clientی که از یک بازهٔ مورداعتماد متصل می‌شود می‌تواند آن header را تنظیم کند و برای هر درخواست یک هویت جدید انتخاب کند.

limiter مربوط به SearXNG در هر ساعت چند درخواست API را مجاز می‌کند؟

برای هر client network، چهار درخواست در هر ساعت برای درخواست‌های /search مجاز است؛ در این درخواست‌ها، پارامتر query مربوط به URL یعنی format نباید html باشد. قالب غیر-HTML که فقط در دادهٔ فرم POST ارائه شود، این شمارندهٔ API را افزایش نمی‌دهد؛ هرچند سایر بررسی‌های limiter همچنان اعمال می‌شوند. این عدد در searx/botdetection/ip_limit.py تنظیم می‌شود، نه در limiter.toml؛ بنابراین از config قابل افزایش نیست. یک agent یا script که از ?format=json استفاده می‌کند، این محدودیت را در یک task دور می‌زند. آدرسی که در pass_ip درون limiter.toml فهرست شده باشد، دسترسی نامحدود دارد و اصلاً شمارش نمی‌شود؛ بنابراین آدرس client را در آنجا اضافه کنید. اتصال از طریق یک شبکهٔ داخلی به‌تنهایی limiter مربوط به SearXNG را دور نمی‌زند.

چرا نتایج جست‌وجوی من بدون خطای 429 خالی برمی‌گردند؟

engineها server شما را رد می‌کنند، نه userهای شما را. در instance خود، /stats/errors را باز کنید. این فایل هر engine ناموفق و علت شکست آن را مشخص می‌کند. وجود CAPTCHA یا ورودی access-denied یعنی آن engine آدرس IP server شما را مسدود کرده است. سپس SearXNG آن engine را تعلیق می‌کند: پس از پاسخ too-many-requests یا access-denied به‌مدت 3 دقیقه، پس از CAPTCHA معمولی به‌مدت 1 ساعت، و پس از reCAPTCHA یا Cloudflare CAPTCHA به‌مدت 1 هفته یا بیشتر. هیچ تنظیم محلی limiter، انسداد upstream را رفع نمی‌کند. بنابراین engineهایی را که آدرس شما را مسدود می‌کنند حذف کنید و engineهایی را نگه دارید که پاسخ می‌دهند.

آیا باید limiter را در یک instance خصوصی فعال کنم؟

اگر هیچ‌کس جز شما به instance دسترسی ندارد، limiter: false را فعال نکنید. این قابلیت به Valkey وابستگی اضافه می‌کند و scriptهای خودتان را مسدود می‌کند، درحالی‌که از شما در برابر ترافیکی محافظت می‌کند که وجود ندارد. به‌محض آن‌که instance یک آدرس عمومی دریافت کرد، آن را همراه با public_instance: true فعال کنید. این دو گزینه عمداً با هم استفاده می‌شوند: اگر public_instance: true فعال باشد و هنگام initialization، Valkey قابل‌استفاده نباشد، process با status 1 خارج می‌شود و بدون محافظت اجرا نمی‌شود.

آیا این مقاله مفید بود؟