SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor

رفع خطای 429 و محدودیت نرخ در SearXNG

خطای `429 Too Many Requests` در SearXNG از limiter داخلی می‌آید؛ مسدودسازی IP توسط engine فقط نتایج را کم می‌کند. لاگ را بخوانید و تنظیم درست را تغییر دهید.

چرا SearXNG خطای 429 برمی‌گرداند

یک نمونه SearXNG که به‌صورت self-hosted اجرا شده، ممکن است با محدودیت نرخ (rate limit) در دو جای نامرتبط مواجه شود؛ محدودیت نرخی که باید رفع کنید معمولاً آن چیزی نیست که تصور می‌کنید. تنها یکی از این دو مورد منجر به خطای 429 می‌شود. مورد اول محلی است: محدودکننده (limiter) خودِ SearXNG تشخیص داده که یک درخواست از طرف ربات ارسال شده و با وضعیت 429 به آن پاسخ داده است. Too Many Requests این محدودکننده تنها بخشی از SearXNG است که خطای 429 را برای کلاینت ارسال می‌کند. مورد دوم مربوط به بالادست (upstream) است: یک موتور جستجو آدرس IP سرور شما را مسدود کرده است. SearXNG آن موتور را به‌عنوان غیرپاسخگو علامت‌گذاری و تعلیق می‌کند، اما کاربران شما همچنان یک صفحه نتایج عادی دریافت می‌کنند که برخی موارد در آن ناقص است، نه یک خطای 429.

این دو مورد هیچ راه حل مشترکی ندارند. محدودکننده متعلق به شماست، بنابراین می‌توانید آن را تغییر دهید. مسدودسازی بالادست در سمت Google رخ می‌دهد، بنابراین هیچ تغییری در settings.yml شما نمی‌تواند آن را رفع کند. لاگ‌ها در عرض حدود یک دقیقه به شما می‌گویند با کدام مورد مواجه هستید، پس از آنجا شروع کنید.

این راهنما فرض را بر نصب کانتینریِ شرح داده شده در یک نمونه SearXNG خودمیزبان روی VPS شخصی می‌گذارد. تمام نام تنظیمات در ادامه، از مستندات و سورس فعلی بالادست گرفته شده و در تاریخ 23 October 2026 بررسی شده‌اند.

پیش از تغییر تنظیمات، لاگ را بخوانید

مشکل را در حالی بازتولید کنید که یک پنجرهٔ لاگ باز است. در فایل compose بالادستی، نام سرویس SearXNG برابر با core است و نام container آن searxng-core است. فرمان‌های docker compose نام سرویس را دریافت می‌کنند:

cd ./searxng/
docker compose logs -f core

پیام‌های limiter از logger با نام searx.limiter می‌آیند و network کلاینت را مشخص می‌کنند. برخورد با blocklist به‌صورت BLOCK 203.0.113.10/32: matched BLOCKLIST ثبت می‌شود و برخورد با allowlist به‌صورت PASS 203.0.113.10/32: matched PASSLIST؛ پس از هرکدام، entry فهرستی که match شده است می‌آید. اگر limiter نتواند به counter store دسترسی پیدا کند، لاگ پیام The limiter requires Valkey, please consult the documentation را نشان می‌دهد. این پیام یعنی هیچ چیزی شمارش نمی‌شود.

هر بررسی جداگانهٔ bot در سطح debug لاگ می‌شود؛ بنابراین به‌طور پیش‌فرض آن را نمی‌بینید. برای یک آزمون، در settings.yml حالت debug را فعال کنید:

general:
  debug: true

سپس لاگ خطوطی با ساختار BLOCK 203.0.113.10/32: missing HTTP header Accept-Language اضافه می‌کند و network کلاینت و header نامعتبر را مشخص می‌سازد. پس از آزمون، debug را دوباره غیرفعال کنید، زیرا upstream توصیه می‌کند یک instance مستقر را با debug فعال اجرا نکنید.

خطاهای engine کاملاً متفاوت‌اند. در این خطاها به‌جای IP نام یک engine ثبت می‌شود. در نسخهٔ فعلی، این خطاها نیز در سطح debug ثبت می‌شوند و رایج‌ترین مورد timeout است که نام exception پس از آن می‌آید:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

برای این مورد صفحه‌ای نیز وجود دارد. اگر enable_metrics روی مقدار پیش‌فرض true باقی بماند، instance شما خطاهای engine را در /stats/errors ثبت می‌کند و /preferences نشان می‌دهد کدام engineها در حال حاضر پاسخ می‌دهند. اگر /stats/errors پر باشد و لاگ هیچ خط searx.limiter نداشته باشد، مشکل از limiter نیست.

نسخه را پیش از هرگونه عیب‌یابی ثابت کنید

تنظیمات container بالادستی از 2 فایل تشکیل می‌شود.

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

فایل compose، docker.io/searxng/searxng:${SEARXNG_VERSION:-latest} را دریافت می‌کند. متغیر unset به معنی latest است و latest یعنی نمونه در docker compose pull بعدی تغییر می‌کند؛ بنابراین تنظیمی که هفته گذشته کار می‌کرد، ممکن است دیگر با کدی که آن را می‌خواند سازگار نباشد. tagهای SearXNG شامل تاریخ و commit هستند. tag نمونه در .env.example بالادستی در October 2026 برابر با 2026.3.25-541c6c3cb است؛ بنابراین یک مقدار واقعی را در .env تنظیم کنید:

SEARXNG_VERSION=2026.3.25-541c6c3cb

tagهای منتشرشده را بررسی کنید و releaseای را که واقعاً آزمایش کرده‌اید pin کنید، سپس عیب‌یابی را در برابر یک هدف ثابت انجام دهید. همان فایل .env کلید محرمانه شما را نگه می‌دارد؛ بنابراین پیش از آن‌که آن directory را در هر مکانی commit کنید، نحوه کار فایل‌های env و secretها در Docker Compose را بخوانید.

محدودکننده به Valkey نیاز دارد؛ در غیر این صورت اجرا نمی‌شود

محدودکننده تعداد درخواست‌های هر client را می‌شمارد و این شمارش‌ها باید میان فرایندهای worker به‌اشتراک گذاشته شوند. این ذخیره‌ساز Valkey است؛ fork نگه‌داری‌شده Redis. راهنماهای قدیمی‌تر SearXNG این تنظیم را با نام redis: می‌نامند. نسخه‌های فعلی valkey: را می‌خوانند؛ بنابراین نام کلید را از مستندات فعلی کپی کنید، نه از یک پست قدیمی. برخی از این صفحات حتی قدیمی‌تر هستند و Searx را توضیح می‌دهند، نه SearXNG را. این دو، codebaseهای متفاوتی با limiterهای متفاوت هستند. بنابراین پیش از کپی‌کردن یک بلوک config از صفحه، مشخص کنید صفحه برای کدام‌یک از این دو پروژه نوشته شده است.

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

فایل compose upstream از قبل یک سرویس valkey را با image docker.io/valkey/valkey:9-alpine و در containerای با نام searxng-valkey اجرا می‌کند؛ بنابراین این نام میزبان درون compose network resolve می‌شود. همین مقدار را می‌توان با environment variable یعنی SEARXNG_VALKEY_URL تنظیم کرد. هنگام اشتراک‌گذاری یک میزبان میان SearXNG و Valkey، URL مربوط به Unix socket یعنی unix:///path/to/socket.sock?db=0 نیز کار می‌کند.

رفتار هنگام نبودن store به یک کلید دیگر بستگی دارد. با public_instance: false، limiter خطای Valkey را در log ثبت می‌کند و کار را رها می‌کند؛ در نتیجه instance بدون هیچ rate limiting به ارائه سرویس ادامه می‌دهد. با public_instance: true، فرایند به‌جای آن sys.exit(1) را فراخوانی می‌کند، زیرا یک instance باز با bot protection خراب، ظرف یک روز از هر engine درخواست‌های CAPTCHA (آزمون عمومی کاملاً خودکار تورینگ برای تشخیص رایانه‌ها از انسان‌ها) جمع‌آوری می‌کند. اگر container بلافاصله پس از تنظیم public_instance: true وارد چرخه restart شود، علت همین است و آخرین خط پیش از هر خروج، Valkey را نام می‌برد.

شمارش واقعی محدودکننده

نمودارSearXNG limiter: requests allowed per client IP, defaults in ip_limit.py
داده‌های پشت این نمودار
[
  {
    "label": "Burst, normal client",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, normal client",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Any non-HTML format",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

یک کلاینت عادی در یک بازه زمانی 20 ثانیه‌ای مجاز به ارسال 15 درخواست و در یک بازه 10 دقیقه‌ای مجاز به ارسال 150 درخواست است. هنگامی که یک کلاینت مشکوک تشخیص داده شود، سهمیه آن به 2 در هر بازه زمانی کاهش می‌یابد. ردیف آخر سخت‌گیرانه‌ترین حالت است: پس از 3 درخواست مشکوک در یک بازه 30 روزه، آن آدرس به‌جای جستجو به صفحه شروع هدایت می‌شود و لاگ پیام BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) را ثبت می‌کند.

این اعداد در searx/botdetection/ip_limit.py ثابت هستند. این‌ها تنظیمات قابل تغییر نیستند و limiter.toml نیز گزینه‌ای برای تغییر آن‌ها ارائه نمی‌دهد، بنابراین تغییر آن‌ها مستلزم ویرایش سورس‌کد است. آنچه /etc/searxng/limiter.toml کنترل می‌کند، پیشوندهای آدرسی است که برای گروه‌بندی کلاینت‌ها استفاده می‌شوند، لیست پروکسی‌های مورد اعتماد، بررسی اختیاری توکن لینک، و لیست‌های مجاز و مسدود.

ردیف‌های مربوط به کلاینت‌های مشکوک تنها زمانی اعمال می‌شوند که بررسی توکن لینک فعال باشد؛ این کار یا از طریق link_token = true در limiter.toml انجام می‌شود یا به این دلیل که public_instance: true آن را برای شما فعال می‌کند. در این حالت، یک کلاینت تا زمانی که مرورگرش یک استایل‌شیت (stylesheet) را بارگذاری نکند که URL آن حاوی یک توکن تصادفی باشد، مشکوک تلقی می‌شود؛ کاری که اسکریپت‌ها هرگز انجام نمی‌دهند. در حالت پیش‌فرض که توکن لینک غیرفعال است، همه کلاینت‌ها از ردیف‌های عادی پیروی می‌کنند.

بررسی‌های هدر سخت‌گیرانه‌تر هستند، زیرا هیچ وضعیتی را علامت‌گذاری نمی‌کنند: درخواستی که در یکی از آن‌ها شکست بخورد، بلافاصله با کد 429 رد می‌شود. هر بررسی یک ماژول در searx/botdetection/ است و خط لاگ دیباگ، نام هدری که باعث شکست شده را مشخص می‌کند:

  • http_accept: هدر Accept حاوی text/html نیست.
  • http_accept_encoding: هدر Accept-Encoding نه gzip و نه deflate را نام می‌برد.
  • http_accept_language: هدر Accept-Language وجود ندارد.
  • http_user_agent: هدر User-Agent موجود نیست یا با الگوی ربات‌های شناخته‌شده مطابقت دارد.
  • http_sec_fetch: هدرهای Sec-Fetch-* با آنچه مرورگر ارسال می‌کند مطابقت ندارند. این مورد فقط روی درخواست‌های HTTPS از نسخه‌های مرورگری اجرا می‌شود که ارسال آن‌ها را انجام می‌دهند و به‌جای پاسخ 429، به صفحه شروع هدایت می‌کند. در سورس‌کد فعلی، تنها یک Sec-Fetch-Mode نامعتبر باعث این هدایت می‌شود: یک Sec-Fetch-Site یا Sec-Fetch-Dest نامعتبر در سطح دیباگ لاگ می‌شود، اما درخواست پردازش می‌گردد.

یک مرورگر همه این موارد را ارسال می‌کند. یک فراخوانی ساده curl تقریباً هیچ‌کدام را ارسال نمی‌کند، بنابراین یک درخواست تست که به‌صورت دستی نوشته شده در همان تلاش اول رد می‌شود، در حالی که همان جستجو در تب مرورگر کار می‌کند. به همین دلیل است که "در مرورگر من کار می‌کند، اما اسکریپتم 429 می‌گیرد" یک نتیجه عادی است و نه یک معما.

مسدود شدن همگانی کاربران توسط محدودکننده در پشت reverse proxy

این رایج‌ترین روش برای از کار انداختن یک نمونه (instance) فعال است. SearXNG آدرس کلاینت را از اولین IP غیرقابل‌اعتماد در X-Forwarded-For دریافت می‌کند، سپس به X-Real-IP بازمی‌گردد و در نهایت از آدرسی استفاده می‌کند که اتصال را برقرار کرده است. اینکه آیا به این هدرها اعتماد شود یا خیر، توسط trusted_proxies در limiter.toml تعیین می‌شود. مستندات botdetection بیان می‌کند که trusted_proxies هنگام تنظیم تنها X-Real-IP نادیده گرفته می‌شود، اما کد موجود در searx/botdetection/trusted_proxies.py که در تاریخ 23 اکتبر 2026 بررسی شد، هر زمان که آدرس متصل‌شونده قابل‌اعتماد نباشد، هر دو هدر را حذف می‌کند؛ بنابراین ارسال تنها X-Real-IP شما را از این لیست نجات نمی‌دهد.

اگر آدرس پروکسی شما در آن لیست نباشد، هدرها نادیده گرفته می‌شوند و همه بازدیدکنندگان با آدرس پروکسی وارد می‌شوند. در نتیجه، آن‌ها یک شمارنده مشترک خواهند داشت و کل سایت به محض اینکه مجموع درخواست‌ها از 150 درخواست در 10 دقیقه فراتر رود، مسدود می‌شود. یک کاربر که صفحه نتایج را چند بار بازخوانی می‌کند، باعث مسدود شدن همه کاربران می‌شود.

اعتماد بیش‌ازحد بدتر است. اگر یک محدوده عمومی (public range) در لیست باشد، هر بازدیدکننده می‌تواند هدر X-Forwarded-For خود را ارسال کند و برای هر درخواست یک هویت جدید انتخاب کند؛ این کار محدودکننده را برای هر کسی که بداند چگونه آن را امتحان کند، غیرفعال می‌کند. فقط آدرسی را لیست کنید که پروکسی شما از آن متصل می‌شود. در Docker، این معمولاً یک شبکه bridge در داخل 172.16.0.0/12 است و آن خط به‌صورت کامنت‌شده ارائه می‌شود.

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

پروکسی نیز باید هدرها را ارسال کند. Nginx به‌تنهایی هیچ‌کدام از آن‌ها را اضافه نمی‌کند:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy و Traefik هدرهای forwarded را به‌صورت خودکار تنظیم می‌کنند، بنابراین با آن‌ها فقط به بخش trusted_proxies از کار نیاز دارید. مزایا و معایب این روش‌ها در انتخاب یک reverse proxy برای سرویس‌های self-hosted پوشش داده شده است. برای تأیید هر یک از تنظیمات، debug را روشن کنید، یک بار با گوشی خود از طریق اینترنت موبایل جستجو کنید و تأیید کنید که شبکه در خط لاگ، آدرس گوشی شماست و نه آدرس پروکسی.

عامل شما در هر ساعت 4 درخواست API دریافت می‌کند

خروجی JSON به‌صورت پیش‌فرض غیرفعال است، بنابراین عامل باید آن را اضافه کند:

search:
  formats:
    - html
    - json

حالا دوباره ردیف جدول را بخوانید. هر درخواستی که فرمتی غیر از HTML بخواهد، در پنجرهٔ اختصاصی خود شمارش می‌شود: 4 درخواست در هر 1 hour، برای هر آدرس. یک عامل پژوهشی این سهمیه را در یک تسک مصرف می‌کند و هر فراخوانی پس از آن، خطای 429 برمی‌گرداند. خود این عدد در سورس‌کد یک ثابت است، بنابراین نمی‌توانید آن را از طریق فایل پیکربندی افزایش دهید، اما نیازی هم به این کار نیست: می‌توانید آدرس عامل را به‌طور کامل از شمارش خارج کنید.

راهکار تمیز این است که به محدودکننده (limiter) بگویید این کلاینت یک غریبه نیست. آدرس آن را به لیست مجاز (pass list) در limiter.toml اضافه کنید:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip نسبت به هر روش دیگری اولویت دارد و کامنت خودِ upstream در limiter.toml می‌گوید آدرسی که در آن لیست باشد، دسترسی نامحدود دارد. بنابراین کلاینتی که در لیست مجاز قرار گرفته، مشمول محدودیت 4 درخواست در هر پنجره نمی‌شود، بررسی هدرها را نیز دور می‌زند و یک فراخوانی ساده curl کار می‌کند. محدوده را تا حد ممکن کوچک نگه دارید و یک زیرشبکه VPN یا شبکه کانتینری را به هر چیزی که قابل مسیریابی (routable) است ترجیح دهید. راهکار تمیز دیگر این است که عامل را به‌طور کامل از مسیر عمومی دور نگه دارید: آن را به آدرس کانتینر در شبکه داخلی هدایت کنید، جایی که پروکسی و محدودکننده‌اش هرگز ترافیک را نمی‌بینند. نحوهٔ پیاده‌سازی این مورد در دادن مهارت جستجوی SearXNG به یک عامل هوش مصنوعی پوشش داده شده است.

گزینه‌ای که باید از آن اجتناب کنید، هدایت عامل به یک نمونه (instance) عمومی است که شخص دیگری آن را اجرا می‌کند. این سریع‌ترین راه برای مسدود شدن آدرس IP یک داوطلب توسط موتورهای بالادستی (upstream) است و به همین دلیل است که فرمت JSON به‌صورت پیش‌فرض غیرفعال است.

زمانی که موتورهای جستجو شما را مسدود می‌کنند

نمودارHow long SearXNG suspends an engine, search.suspended_times defaults
داده‌های پشت این نمودار
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

هنگامی که یک موتور جستجو با کد 429 یا صفحه CAPTCHA پاسخ می‌دهد، SearXNG یک استثنای نام‌گذاری‌شده ایجاد کرده و برای مدتی از پرس‌وجو از آن موتور خودداری می‌کند. بازدیدکنندگان شما هرگز کد 429 را نمی‌بینند: نتایج جستجو همچنان به صورت عادی نمایش داده می‌شوند، فقط بدون نتایج آن موتور خاص. پاسخ «درخواست‌های بیش از حد» (too-many-requests)، موتور را به مدت 180 ثانیه و پاسخ «دسترسی رد شد» (access-denied) را به مدت 3 minutes ثانیه معلق می‌کند. یک CAPTCHA ساده، موتور را به مدت 1 hour ثانیه معلق می‌سازد. CAPTCHAای که از طریق Cloudflare ارائه شود، موتور را به مدت 15 days ثانیه معلق می‌کند که طولانی‌ترین مقدار پیش‌فرض در لیست است، زیرا این پاسخ به معنای مسدود شدن در لبه شبکه (edge) است و تلاش مجدد کمکی نخواهد کرد. اینکه با کدام‌یک از سه نوع CAPTCHA مواجه شده‌اید، تعیین می‌کند که گام بعدی چیست و خطاهای CAPTCHA راه‌حل‌های خاص خود را دارند؛ به شرطی که بدانید نمونه (instance) شما چه استثنایی را ثبت کرده است.

این‌ها مقادیری هستند که در searx/settings.yml همراه با SearXNG ارائه می‌شوند و در تاریخ 23 اکتبر 2026 بررسی شده‌اند. مستندات تنظیمات همچنان مقادیر قدیمی‌تر و طولانی‌تری را نمایش می‌دهند (یک ساعت برای درخواست‌های بیش از حد، یک روز برای دسترسی رد شده و CAPTCHA ساده)، بنابراین به فایلی که نمونه شما واقعاً بارگذاری می‌کند، بیش از صفحه‌ای که آن را نقل‌قول کرده است، اعتماد کنید.

خطاهای معمولی از تنظیمات متفاوتی استفاده می‌کنند. وقفه (timeout) یا اتصال ناموفق، موتور را به مدت search.ban_time_on_fail ثانیه معلق می‌کند که به صورت پیش‌فرض 5 ثانیه است و هرگز از search.max_ban_time_on_fail که به صورت پیش‌فرض 120 ثانیه است، فراتر نمی‌رود. خطای تجزیه (parse error) در /stats/errors ثبت می‌شود اما موتور را به هیچ وجه معلق نمی‌کند. بنابراین، یک موتور کند خودبه‌خود در عرض چند ثانیه بازیابی می‌شود، در حالی که موتوری که CAPTCHA ارائه داده است برای یک ساعت یا بیشتر از دسترس خارج می‌ماند. این تفاوت، دلیلی بر علامتی است که کاربران آن را تصادفی گزارش می‌کنند: نتایج خوب هستند، سپس نتایج یک موتور برای یک ساعت ناپدید می‌شوند.

پیش از مقصر دانستن دیگران، ارزش دارد که وقفه‌ها (timeouts) را اصلاح کنید. مقدار پیش‌فرض request_timeout برابر با 3.0 ثانیه است که ممکن است برای یک VPS کوچک که از نزدیک‌ترین سرور لبه (edge server) یک موتور فاصله زیادی دارد، همچنان محدود باشد.

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout مقدار پیش‌فرض برای هر موتور، max_request_timeout سقف مجاز، و هر موتور می‌تواند timeout اختصاصی خود را داشته باشد. افزایش این مقادیر، تأخیر صفحه را در ازای خطاهای کمتر معامله می‌کند، بنابراین با گام‌های نیم‌ثانیه‌ای پیش بروید و به جای پرش مستقیم به 10، /stats/errors را زیر نظر بگیرید.

برای موتوری که واقعاً آدرس شما را مسدود کرده است، آن را حذف کنید. هر جستجو منتظر کندترین موتور خود می‌ماند، بنابراین نگه داشتن موتوری که دائماً معلق است، باعث افزایش تأخیر شده و هیچ نتیجه‌ای هم برنمی‌گرداند.

use_default_settings:
  engines:
    remove:
      - google

تغییرات را با docker compose restart core اعمال کنید، سپس چند جستجو انجام دهید و /stats/errors را دوباره بارگذاری کنید. مشاهده یک صفحه خالی پس از پنج دقیقه استفاده واقعی، به این معناست که تغییرات اعمال شده‌اند.

آی‌پی دیتاسنتر به عنوان ربات شناسایی می‌شود

آدرس VPS شما متعلق به یک محدوده میزبانی (hosting range) است و موتورهای جستجوی بزرگ، این محدوده‌ها را به عنوان منبع اتوماسیون امتیازدهی می‌کنند. برخی از آن‌ها برای هر درخواستی که از چنین آدرسی ارسال شود، بدون توجه به مودبانه بودن هدرها یا کند بودن سرعت ارسال، CAPTCHA نمایش می‌دهند. هیچ تنظیمی در settings.yml این قضاوت را تغییر نمی‌دهد. این‌که موتورهای جستجو به جای فرد تایپ‌کننده، سرور شما را می‌بینند، تمامِ بهای حریم خصوصی است که با self-hosting پرداخته‌اید؛ مطالعه میزان واقعی پنهان‌سازی در SearXNG پیش از آن‌که تصور کنید این ابزار فراتر از این عمل می‌کند، ضروری است.

آنچه می‌توانید تغییر دهید، انتخاب موتورهایی است که از آن‌ها پرس‌وجو می‌کنید و این‌که آیا instance شما به صورت عمومی فهرست شده است یا خیر. یک instance خصوصی که توسط یک خانوار استفاده می‌شود، به‌ندرت باعث فعال شدن محدودیت‌ها می‌شود. یک instance عمومی روی آی‌پی میزبانی، در سخت‌گیرترین موتورها با تعلیق مواجه خواهد شد و این وضعیت عادی نرم‌افزار است، نه نقصی در پیکربندی شما. SearXNG می‌تواند درخواست‌های موتورها را از طریق یک پروکسی با outgoing.proxies یا outgoing.using_tor_proxy هدایت کند که ترافیک را به آدرس دیگری منتقل می‌کند. نودهای خروجی (Exit nodes) و استخرهای پروکسی ارزان، امتیاز بدتری نسبت به محدوده‌های میزبانی دارند، بنابراین انتظار داشته باشید که این تغییر، کیفیت نتایج را کاهش دهد.

نظارت بر نمونه برای اطلاع سریع از وضعیت

سرویس SearXNG حتی زمانی که تمام موتورهای جستجو معلق هستند، روی پورت خود پاسخ می‌دهد؛ بنابراین بررسی uptime که فقط وضعیت کد پاسخ (status code) را چک می‌کند، همچنان سبز باقی می‌ماند در حالی که نمونه هیچ نتیجه‌ای برنمی‌گرداند. محتوا را بررسی کنید: یک جستجوی واقعی انجام دهید و وجود کلمه‌ای که انتظار دارید در بدنه پاسخ باشد را مطابقت دهید. نظارت بر کلمات کلیدی در Uptime Kuma دقیقاً همین کار را بدون نیاز به ابزار اضافی انجام می‌دهد. پس از هر بار ارتقای نسخه، /stats/errors را نیز زیر نظر بگیرید، زیرا موتورها ساختار HTML خود را تغییر می‌دهند و این موضوع باعث از کار افتادن parser می‌شود، بدون اینکه محدودیت نرخ (rate limit) در میان باشد.

FAQ

چرا SearXNG پس از قرار گرفتن پشت یک reverse proxy، به همه بازدیدکنندگان خطای 429 می‌دهد؟

زیرا محدودکننده (limiter)، پروکسی را به عنوان کلاینت در نظر می‌گیرد. SearXNG تنها زمانی X-Forwarded-For را می‌خواند که آدرس متصل‌شونده در trusted_proxies در فایل /etc/searxng/limiter.toml لیست شده باشد. اگر این آدرس لیست نشده باشد، همه بازدیدکنندگان از یک شمارنده مشترک استفاده می‌کنند و همگی با هم از حد مجاز 150 درخواست در 10 دقیقه عبور می‌کنند. آدرسی که پروکسی شما از آن متصل می‌شود (که در Docker معمولاً محدوده bridge یعنی 172.16.0.0/12 است) را اضافه کنید و مطمئن شوید که پروکسی، هدرهای X-Real-IP و X-Forwarded-For را ارسال می‌کند. هرگز محدوده‌ای را که کنترل نمی‌کنید در این لیست قرار ندهید، زیرا یک شبکه مورد اعتماد به هر بازدیدکننده‌ای اجازه می‌دهد آن هدر را تنظیم کرده و برای هر درخواست یک هویت جدید انتخاب کند.

محدودکننده SearXNG در هر ساعت اجازه چند درخواست API را می‌دهد؟

چهار درخواست به ازای هر آدرس IP در هر ساعت. هر درخواستی که فرمتی غیر از HTML بخواهد، در یک بازه زمانی یک‌ساعته جداگانه محاسبه می‌شود و آن عدد در searx/botdetection/ip_limit.py تنظیم شده است (نه در limiter.toml)، بنابراین از طریق فایل پیکربندی قابل افزایش نیست. یک عامل (agent) یا اسکریپت، آن را در یک تسک ارسال می‌کند. آدرسی که در pass_ip در limiter.toml لیست شده باشد، دسترسی نامحدود دریافت می‌کند و اصلاً شمرده نمی‌شود؛ بنابراین آدرس کلاینت را در آنجا اضافه کنید یا از طریق یک شبکه داخلی که محدودکننده در آن درخواست را نمی‌بیند، به instance متصل شوید.

چرا نتایج جستجوی من بدون خطای 429، خالی برمی‌گردند؟

موتورهای جستجو سرور شما را رد می‌کنند، نه کاربران شما را. فایل /stats/errors را در instance خود باز کنید: این فایل نام هر موتوری که شکست خورده و دلیل آن را ذکر می‌کند. وجود CAPTCHA یا خطای access-denied به این معنی است که آن موتور، آدرس IP سرور شما را مسدود کرده است. SearXNG سپس آن موتور را تعلیق می‌کند: برای سه دقیقه پس از پاسخ‌های too-many-requests یا access-denied، برای یک ساعت پس از یک CAPTCHA ساده، و برای یک هفته یا بیشتر پس از CAPTCHA گوگل یا Cloudflare. هیچ تنظیمات محلی نمی‌تواند مسدودسازی بالادستی (upstream) را رفع کند، بنابراین موتورهایی که آدرس شما را مسدود می‌کنند حذف کرده و فقط آن‌هایی را نگه دارید که پاسخ می‌دهند.

آیا باید محدودکننده را روی یک instance خصوصی فعال کنم؟

اگر هیچ چیزی جز خودتان به instance دسترسی ندارد، limiter: false را غیرفعال بگذارید. این کار یک وابستگی به Valkey اضافه می‌کند، اسکریپت‌های خودتان را مسدود می‌کند و از ترافیکی محافظت می‌کند که شما اصلاً ندارید. به محض اینکه instance دارای یک آدرس عمومی شد، آن را به همراه public_instance: true فعال کنید. این جفت‌سازی عمدی است: با public_instance: true و بدون وجود یک Valkey فعال، پروسه به جای اجرا شدن در حالت محافظت‌نشده، با وضعیت 1 خارج می‌شود.

آیا این مقاله مفید بود؟