SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor

SearXNG मधील 429 त्रुटी आणि rate limit कशी दुरुस्त करावी

SearXNG मधील 429 त्रुटी local limiter किंवा upstream image request मुळे येते. log आणि API counters तपासून block चे योग्य कारण ओळखा व उपाय करा.

SearXNG 429 त्रुटी का परत करतो

Self-hosted SearXNG instance ला दोन असंबंधित ठिकाणी rate limit लागू होऊ शकते. तुम्हाला दुरुस्त करावी लागणारी rate limit सहसा तुम्ही गृहीत धरलेली नसते. स्थानिक limiting आणि upstream image request या दोन्हींमुळे 429 येऊ शकतो. पहिला प्रकार स्थानिक असतो: SearXNG च्या स्वतःच्या limiter ला विनंती bot कडून आल्याचे वाटते आणि तो Too Many Requests ला status 429 सह उत्तर देतो. /image endpoint upstream error statuses, त्यात 429 देखील, पुढे पाठवतो. दुसरा प्रकार upstream असतो: एखादे search engine तुमच्या server चा IP address नाकारते. SearXNG त्या engine ला प्रतिसाद न देणारे म्हणून चिन्हांकित करून ते suspend करतो. त्यामुळे वापरकर्त्यांना 429 न मिळता काही परिणाम नसलेले सामान्य results page दिसते.

या दोन प्रकारांसाठी उपाय पूर्णपणे वेगळे आहेत. Limiter तुमच्या नियंत्रणात आहे, त्यामुळे तुम्ही त्याची settings बदलू शकता. Upstream blocking search engine च्या बाजूने होते, त्यामुळे local limiter बदलल्याने ते दूर होणार नाही. सुमारे एका मिनिटात log वरून कोणता प्रकार आहे ते समजते. त्यामुळे प्रथम log तपासा.

या मार्गदर्शकात तुमच्या स्वतःच्या VPS वर self-hosted SearXNG instance साठी वर्णन केलेली container install गृहीत धरली आहे. खालील प्रत्येक setting name सध्याच्या upstream documentation आणि source मधून घेतलेला आहे. त्याची 16 November 2026 रोजी पडताळणी केली आहे.

सेटिंग बदलण्यापूर्वी log वाचा

log window उघडी ठेवून समस्या पुन्हा निर्माण करा. upstream compose file मध्ये SearXNG सेवेचे नाव core आहे आणि तिच्या container चे नाव searxng-core आहे. docker compose commands मध्ये service name वापरले जाते:

cd ./searxng/
docker compose logs -f core

Limiter चे messages searx.limiter आणि searx.botdetection नावाच्या loggers कडून येतात आणि त्यात client network चे नाव असते. blocklist match झाल्यास BLOCK 203.0.113.10/32: matched BLOCKLIST असे दिसते, तर allowlist match झाल्यास PASS 203.0.113.10/32: matched PASSLIST असे दिसते. यानंतर जुळलेली list entry दिलेली असते. Limiter counter store initialize करू शकत नसल्यास log मध्ये The limiter requires Valkey, please consult the documentation असे दिसते. याचा अर्थ limiter install केलेला नाही.

प्रत्येक bot check स्वतंत्रपणे debug level वर log केला जातो. त्यामुळे तो default स्थितीत दिसणार नाही. settings.yml मध्ये एका चाचणीसाठी debug सुरू करा:

general:
  debug: true

त्यानंतर log मध्ये BLOCK 203.0.113.10/32: missing HTTP header Accept-Language या स्वरूपाच्या ओळी जोडल्या जातात. त्यात client network आणि अपयशी ठरलेला header दिलेला असतो. चाचणीनंतर debug पुन्हा बंद करा, कारण deployed instance debug सुरू ठेवून चालवू नये, असे upstream मध्ये सांगितले आहे.

Engine failures यापेक्षा पूर्णपणे वेगळे दिसतात. त्यात IP ऐवजी engine चे नाव असते. तपशीलवार timeout message debug level वर log केला जातो, तर search thread चा engine timeout message error level वर log केला जातो:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

यासाठी एक page देखील आहे. enable_metrics ची default value true ठेवली असल्यास, तुमचे instance engine errors /stats/errors येथे नोंदवते आणि /preferences सध्या कोणते engines प्रतिसाद देत आहेत ते दाखवते. /stats/errors मधील entry engine failure दर्शवते. मात्र searx.limiter lines नसल्यामुळे limiter block झालेला नाही, असा निष्कर्ष काढता येत नाही, कारण प्रत्येक bot check searx.botdetection वर debug level मध्ये log केला जातो.

डीबग करण्यापूर्वी आवृत्ती निश्चित करा

अपस्ट्रीम container setup मध्ये दोन files आहेत.

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

Compose file मध्ये docker.io/searxng/searxng:${SEARXNG_VERSION:-latest} pull केले जाते. unset variable म्हणजे latest. latest चा अर्थ असा की पुढील docker compose pull वेळी instance तुमच्या नियंत्रणाविना बदलतो. त्यामुळे मागील आठवड्यात कार्यरत असलेली setting ती वाचणाऱ्या code शी जुळणे थांबवू शकते. SearXNG tags मध्ये date आणि commit असतात. October 2026 पर्यंतच्या अपस्ट्रीम .env.example मधील example tag 2026.3.25-541c6c3cb आहे. त्यामुळे .env मध्ये प्रत्यक्ष tag सेट करा:

SEARXNG_VERSION=2026.3.25-541c6c3cb

प्रकाशित tags तपासा आणि तुम्ही प्रत्यक्ष test केलेली release pin करा. त्यानंतर fixed target वर debug करा. त्याच .env file मध्ये SEARXNG_SECRET द्वारे तुमची secret key ठेवता येते. त्यामुळे ही directory कुठेही commit करण्यापूर्वी Docker Compose मध्ये env files आणि secrets कसे कार्य करतात ते वाचा.

लिमिटरला Valkey आवश्यक आहे; त्याशिवाय तो चालत नाही

लिमिटर प्रत्येक क्लायंटच्या विनंत्यांची मोजणी करतो. ही मोजणी worker processes मध्ये सामायिक करावी लागते. हे store म्हणजे Redis चा देखभाल केला जाणारा fork, Valkey. जुन्या SearXNG मार्गदर्शकांमध्ये ही setting redis: म्हणून दिलेली आढळते. सध्याच्या releases मध्ये valkey: वाचले जाते. त्यामुळे जुन्या पोस्टमधून न घेता, सध्याच्या documentation मधून key name कॉपी करा. यांपैकी काही pages आणखी जुन्या आहेत आणि SearXNG ऐवजी Searx चे वर्णन करतात. तो वेगळ्या codebase सह वेगळा limiter वापरतो. त्यामुळे config block कॉपी करण्यापूर्वी पैकी कोणत्या project साठी page लिहिले आहे ते निश्चित करा.

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

upstream compose file मध्ये docker.io/valkey/valkey:9-alpine image वर चालणारी valkey service आधीच आहे. तिचे container name searxng-valkey आहे. त्यामुळे compose network मध्ये तो host name resolve होतो. हेच value SEARXNG_VALKEY_URL environment variable वापरूनही सेट करता येते. SearXNG आणि Valkey एकाच host वर असतील, तर Unix socket URL (unix:///path/to/socket.sock?db=0) देखील काम करते.

store उपलब्ध नसताना काय होते हे आणखी एका key वर अवलंबून असते. public_instance: false असल्यास limiter Valkey error log करतो आणि थांबतो. त्यामुळे instance rate limiting शिवाय requests स्वीकारत राहते. public_instance: true असल्यास process त्याऐवजी sys.exit(1) call करतो. त्यामुळे bot protection शिवाय public instance चालू राहत नाही. Valkey initialization error नंतर एखादे container सतत restart होत असेल, तर त्याचे Valkey connection दुरुस्त करा.

प्रतिबंधक प्रत्यक्षात काय मोजतो

तक्ताSearXNG limiter: requests allowed per client network, defaults in ip_limit.py
या तक्त्यामागील डेटा
[
  {
    "label": "Burst, link token off",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, link token off",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Non-HTML format in URL query",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

link-token तपासणी बंद असताना, एका client ला 20 सेकंदांच्या burst window मध्ये 15 requests आणि 10 मिनिटांच्या window मध्ये 150 requests करता येतात. ती सक्षम असताना, link-token तपासणी यशस्वीरीत्या पूर्ण करणारा client दोन्ही counters टाळतो; संशयास्पद client ला प्रत्येक burst window मध्ये 2 requests करता येतात. शेवटची row सर्वात कठोर आहे: 30 दिवसांच्या window मध्ये 3 flagged requests झाल्यानंतर, त्या address ला search करण्याऐवजी start page कडे redirect केले जाते आणि log मध्ये BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) असे लिहिले जाते. link-token तपासणी यशस्वीरीत्या पूर्ण केल्यावर त्या client चा suspicious-request counter साफ होतो.

ही संख्या searx/botdetection/ip_limit.py मधील constants आहेत. त्या settings नाहीत आणि limiter.toml त्या उपलब्ध करून देत नाही; त्यामुळे त्या बदलण्यासाठी source संपादित करावा लागतो. /etc/searxng/limiter.toml मध्ये client गटबद्ध करण्यासाठी वापरले जाणारे address prefixes, trusted proxies ची list, optional link token check आणि pass तसेच block lists नियंत्रित करता येतात.

ही flagged rows केवळ link token check सुरू असतानाच लागू होतात. ते limiter.toml मधील link_token = true द्वारे सुरू केलेले असू शकते किंवा public_instance: true ने ते तुमच्यासाठी सुरू केलेले असू शकते. त्यानंतर random token असलेली stylesheet URL लोड करेपर्यंत client संशयास्पद मानला जातो. link token बंद असताना, म्हणजे default स्थितीत, या counters पर्यंत पोहोचणाऱ्या प्रत्येक client ला normal rows लागू होतात.

Header checks अधिक कठोर आहेत, कारण ते काहीही flag करत नाहीत: एखादी request त्यांपैकी एखाद्या तपासणीत अपयशी ठरल्यास ती त्वरित 429 सह नाकारली जाते. searx/botdetection/ मधील प्रत्येक check एक module आहे आणि debug log line मध्ये अपयशी ठरलेला header नमूद केला जातो:

  • http_accept: Accept header मध्ये text/html नाही.
  • http_accept_encoding: Accept-Encoding header मध्ये gzip किंवा deflate यांपैकी कोणतेही नाव नाही.
  • http_accept_language: Accept-Language header नाही.
  • http_user_agent: User-Agent उपलब्ध नाही किंवा तो ज्ञात bot pattern शी जुळतो.
  • http_sec_fetch: Sec-Fetch-* headers browser कडून पाठवले जाणाऱ्या headers प्रमाणे नाहीत. हा check फक्त ते headers पाठवण्यासाठी ज्ञात असलेल्या browser versions कडून आलेल्या HTTPS requests वर चालतो आणि 429 उत्तर देण्याऐवजी start page कडे redirect करतो. सध्याच्या source मध्ये केवळ अवैध Sec-Fetch-Mode मुळे प्रत्यक्षात तो redirect होतो; अवैध Sec-Fetch-Site किंवा Sec-Fetch-Dest debug स्तरावर log केले जाते, पण request पुढे पाठवली जाते.

Browser हे सर्व headers पाठवतो. साधा curl call यांपैकी जवळजवळ कोणतेही headers पाठवत नाही. त्यामुळे स्वतः तयार केलेली test request पहिल्याच प्रयत्नात नाकारली जाते, तर तीच search browser tab मध्ये यशस्वी होते. म्हणून “माझ्या browser मध्ये ते चालते, पण माझ्या script ला 429 मिळतो” हा गूढ परिणाम नसून नेहमीचा परिणाम आहे.

Reverse proxy मागे limiter सर्वांना एकाच वेळी अवरोधित करतो

कार्यरत instance बिघडवण्याचा हा सर्वात सामान्य मार्ग आहे. SearXNG X-Forwarded-For मधील पहिल्या अविश्वसनीय IP कडून client address घेतो, नंतर X-Real-IP कडे fallback करतो आणि पुन्हा connection उघडणाऱ्या address कडे fallback करतो. या headers वर विश्वास ठेवायचा की नाही हे limiter.toml मधील trusted_proxies ठरवते. botdetection documentation नुसार, फक्त X-Real-IP सेट केले असल्यास trusted_proxies कडे दुर्लक्ष केले जाते. परंतु 16 November 2026 रोजी तपासलेल्या searx/botdetection/trusted_proxies.py मधील code नुसार, connecting address trusted नसल्यास दोन्ही headers काढून टाकले जातात. त्यामुळे फक्त X-Real-IP पाठवल्याने ही यादी टाळता येत नाही.

तुमच्या proxy चा address त्या यादीत नसल्यास headers कडे दुर्लक्ष केले जाते आणि प्रत्येक visitor proxy च्या address सह येतो. त्यामुळे सर्वजण एकच counter share करतात. Link-token checking disabled असल्यास, 10 मिनिटांत एकूण requests ची संख्या 150 ओलांडताच संपूर्ण site एकत्रितपणे block होते. Link-token checking enabled असल्यास, संशयास्पद clients अधिक कठोर counters share करतात. तपासणी यशस्वी करणारा client मात्र burst आणि long-window counters टाळतो.

अतिरिक्त trust देणे अधिक धोकादायक आहे. एखादी public range यादीत असल्यास, त्या trusted range मधून connect होणारा visitor स्वतःचा X-Forwarded-For header पाठवू शकतो आणि प्रत्येक request साठी नवीन identity निवडू शकतो. तुमचा स्वतःचा proxy ज्या address वरून connect होतो तोच address यादीत ठेवा. Docker मध्ये तो सहसा 172.16.0.0/12 मधील bridge network असतो आणि ती ओळ default ने commented out असते.

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

Proxy ने हे headers देखील पाठवले पाहिजेत. Nginx स्वतःहून X-Forwarded-Proto, X-Real-IP किंवा X-Forwarded-For जोडत नाही:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy आणि Traefik forwarded headers तुमच्यासाठी सेट करतात. त्यामुळे त्यांच्यासोबत तुम्हाला फक्त trusted_proxies हा भाग करावा लागतो. त्यातील trade-offs self-hosted सेवेसाठी reverse proxy निवडणे येथे स्पष्ट केले आहेत. दोन्हीपैकी कोणतेही setup पडताळण्यासाठी debug सुरू करा, mobile data वापरून फोनवरून एकदा search करा आणि log line मधील network हा proxy च्या address ऐवजी तुमच्या फोनचा address असल्याची खात्री करा.

तुमच्या request वर agent ची API मर्यादा अवलंबून असते

JSON output default स्वरूपात disabled असतो. त्यामुळे agent मध्ये तो explicitly add करावा लागतो:

search:
  formats:
    - html
    - json

आता chart मधील row पुन्हा वाचा. /search request मध्ये URL query parameter format ची किंमत html व्यतिरिक्त काहीही असल्यास, ती स्वतंत्र window मध्ये मोजली जाते: प्रत्येक 1 hour कालावधीत, प्रत्येक client network साठी 4 requests. API POST form parameters समर्थित करते. परंतु केवळ POST form data मध्ये दिलेला non-HTML format या API counter मध्ये वाढ करत नाही; इतर limiter checks तरीही लागू राहतात. Link-token check यशस्वी झाल्याने API counter टाळता येत नाही, कारण तो प्रथम चालतो. ?format=json वापरणारा research agent ही मर्यादा एका task मध्येच संपवतो आणि त्यानंतरच्या प्रत्येक call ला 429 मिळतो. ही संख्या source मध्ये constant म्हणून निश्चित केलेली आहे. त्यामुळे ती config मधून वाढवता येत नाही. मात्र तसे करण्याची गरज नाही: agent चा address या मोजणीतून पूर्णपणे वगळता येतो.

यासाठी योग्य उपाय म्हणजे हा client अनोळखी नाही असे limiter ला सांगणे. त्याचा address limiter.toml मधील pass list मध्ये add करा:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip ला इतर प्रत्येक method पेक्षा priority आहे. limiter.toml मधील upstream च्या comment नुसार, या list मधील address ला unrestricted access मिळतो. त्यामुळे allowlisted client वर four-request window लागू होत नाही. Header checks देखील वगळले जातात आणि साधा curl call काम करतो. Range शक्य तितकी लहान ठेवा. Routable network पेक्षा VPN subnet किंवा container network ला प्राधान्य द्या. Internal network वरील container कडे agent ला थेट पाठवल्याने SearXNG चा स्वतःचा limiter टाळता येत नाही. SearXNG ला प्रत्यक्ष दिसणाऱ्या client address ला allowlist मध्ये add करा. ही रचना AI agent ला SearXNG search skill देणे येथे स्पष्ट केली आहे.

टाळायचा पर्याय म्हणजे दुसऱ्या व्यक्तीने चालवलेल्या public instance कडे agent ला पाठवणे. SearXNG द्वारे जाणाऱ्या automated traffic मुळे upstream engines कडून त्या instance ला block केले जाण्याचा धोका असतो.

तुम्हाला अडवणारे engines

तक्ताHow long SearXNG suspends an engine, search.suspended_times defaults
या तक्त्यामागील डेटा
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

एखादा engine स्वतःचा 429 error किंवा CAPTCHA page दाखवतो तेव्हा SearXNG named exception नोंदवतो आणि काही काळ त्या engine ला पुन्हा विनंती पाठवत नाही. तुमच्या visitors ना त्या engine कडून आलेला search 429 दिसत नाही. Search नेहमीची results page परत करतो; फक्त त्या engine चे results त्यात नसतात. Too-many-requests उत्तरामुळे तो 180 seconds साठी suspend होतो. Access-denied उत्तरामुळेही तो 3 minutes साठी suspend होतो. साधा CAPTCHA आल्यास तो 1 hour साठी suspend होतो. Cloudflare मार्फत दिलेला CAPTCHA आल्यास तो 15 days साठी suspend होतो. ही यादीतील सर्वांत मोठी default कालमर्यादा आहे. तुम्हाला मिळालेल्या तीन CAPTCHA rows पैकी कोणती row आहे, यावर पुढे कोणता उपाय करणे योग्य आहे हे ठरते. तुमच्या instance ने कोणती exception नोंदवली आहे हे कळल्यानंतर CAPTCHA errors साठी स्वतंत्र उपाय उपलब्ध आहेत.

ही मूल्ये SearXNG सोबत येणाऱ्या searx/settings.yml मधील आहेत. ती 16 November 2026 रोजी तपासली होती. Settings documentation मध्ये अजूनही जुनी आणि अधिक मोठी मूल्ये दिली आहेत: too-many-requests साठी one hour, तसेच access denied आणि साध्या CAPTCHA साठी one day. त्यामुळे एखाद्या page वर उद्धृत केलेल्या मूल्यांपेक्षा तुमचा instance प्रत्यक्षात load करत असलेल्या file वर विश्वास ठेवा.

सामान्य failures साठी वेगळी settings वापरली जातात. Timeout किंवा failed connection मुळे engine search.ban_time_on_fail seconds साठी suspend होतो. Default मूल्य 5 आहे आणि तो search.max_ban_time_on_fail पेक्षा जास्त काळ suspend होत नाही. Default कमाल मूल्य 120 आहे. Parse error /stats/errors मध्ये नोंदवला जातो; मात्र त्यामुळे engine suspend होत नाही. त्यामुळे slow engine काही seconds मध्ये आपोआप पुन्हा उपलब्ध होतो. CAPTCHA दाखवणारा engine मात्र one hour किंवा त्याहून अधिक काळ unavailable राहतो. या फरकामुळे लोकांना एक त्रास random वाटतो: results नीट येतात, आणि नंतर एका engine चे results दर वेळी one hour साठी नाहीसे होतात.

दोष इतरांवर ठेवण्यापूर्वी timeouts दुरुस्त करणे योग्य आहे. Default request_timeout हे 3.0 seconds आहे. Engine च्या सर्वांत जवळच्या edge server पासून दूर असलेल्या छोट्या VPS साठी हे अजूनही कमी ठरू शकते.

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout हे प्रत्येक engine साठी default आहे. max_request_timeout ही कमाल मर्यादा आहे. एखाद्या engine साठी स्वतंत्र timeout देखील ठेवता येते. ही मूल्ये वाढवल्यास page latency वाढते, पण failures कमी होतात. त्यामुळे थेट 10 वर जाण्याऐवजी अर्ध्या-अर्ध्या seconds ने वाढ करा आणि /stats/errors वर लक्ष ठेवा.

तुमचा address प्रत्यक्षात block करणाऱ्या engine ला काढून टाका. Suspended engines ची suspension संपेपर्यंत ती skip केली जातात. तुम्हाला वारंवार block करणारा engine ठेवला, तर तो पुन्हा eligible झाल्यावर failed retries वाढतात.

use_default_settings:
  engines:
    remove:
      - google

docker compose restart core वापरून changes लागू करा. त्यानंतर काही searches चालवा आणि /stats/errors reload करा. Searches मध्ये results परत येत आहेत का हे तपासा. तसेच नोंदवलेल्या errors चीही तपासणी करा.

डेटासेंटरचा IP bot म्हणून ओळखला जाऊ शकतो

Google automated traffic पाठवणारे म्हणून ओळखल्या जाणाऱ्या networksना block करते. यामध्ये shared VPN networksचाही समावेश आहे. Local limiter setting बदलल्याने upstream block उठत नाही. तुमची query टाइप करणाऱ्या व्यक्तीऐवजी enginesना तुमचा server दिसणे, हा self-hostingमधील privacy trade-offचाच भाग आहे. SearXNG प्रत्यक्षात किती माहिती लपवते हे गृहीत धरण्यापूर्वी SearXNG प्रत्यक्षात किती माहिती लपवते हे वाचणे उपयुक्त ठरेल.

तुम्ही कोणत्या enginesना विनंती पाठवता आणि तुमचे instance सार्वजनिकरीत्या listed आहे का, हे बदलू शकता. SearXNG outgoing.proxies किंवा outgoing.using_tor_proxy वापरून engine requests proxyमार्फत पाठवू शकते. त्यामुळे traffic दुसऱ्या addressवरून जाते. वेगळा exit address असल्याने access मिळेलच याची हमी नाही. त्यांच्या usersकडून येणाऱ्या automated trafficमुळे Google काही shared VPN आणि tunnel servicesनाही block करते.

इन्स्टन्सवर लक्ष ठेवा, म्हणजे समस्या प्रथम तुमच्या लक्षात येईल

सर्व engines suspend केलेले असतानाही SearXNG त्याच्या port वर उत्तर देते. त्यामुळे केवळ status code तपासणारी uptime check हिरवी राहते, पण इन्स्टन्स कोणताही प्रतिसाद देत नाही. त्याऐवजी content तपासा: प्रत्यक्ष search request पाठवा आणि response body मध्ये अपेक्षित असलेला एखादा शब्द आहे का ते जुळवा. Uptime Kuma keyword monitoring हे कोणतेही अतिरिक्त tooling न वापरता नेमके तेच करते. प्रत्येक version bump नंतर /stats/errors वरही लक्ष ठेवा, कारण engines चे HTML बदलते आणि rate limit मुळे नव्हे, तरी parser मध्ये बिघाड होऊ शकतो.

FAQ

SearXNG ला reverse proxy मागे ठेवल्यानंतर प्रत्येक visitor ला 429 का मिळतो?

कारण limiter proxy ला client म्हणून मोजतो. Connecting address X-Forwarded-For मधूनच वाचला जातो, जेव्हा तो address /etc/searxng/limiter.toml मधील trusted_proxies मध्ये नोंदवलेला असतो. तो नोंदवलेला नसल्यास, सर्व visitors एकच counter share करतात. Link-token checking disabled असल्यास, ते सर्व मिळून 10 मिनिटांत 150 requests ची मर्यादा ओलांडतात. Link-token checking enabled असल्यास, संशयास्पद clients कडक counters share करतात. तपासणी यशस्वीरीत्या पूर्ण करणारे clients burst आणि long-window counters वगळतात. तुमचा proxy ज्या address वरून connect होतो तो address जोडा. Docker मध्ये तो साधारणपणे bridge range 172.16.0.0/12 असतो. Proxy X-Real-IP आणि X-Forwarded-For पाठवतो याची खात्री करा. तुमच्या नियंत्रणात नसलेली range कधीही सूचीबद्ध करू नका. Trusted range मधून connect होणारा client तो header सेट करू शकतो आणि प्रत्येक request साठी नवीन identity निवडू शकतो.

SearXNG limiter प्रति तास किती API requests अनुमत करतो?

प्रत्येक client network साठी तासाला चार requests अनुमत आहेत. ही मर्यादा /search requests साठी लागू होते, ज्यांच्या URL query parameter format ची किंमत html नाही. केवळ POST form data मध्ये दिलेल्या non-HTML format मुळे हा API counter वाढत नाही. मात्र limiter च्या इतर तपासण्या लागू राहतात. ही संख्या searx/botdetection/ip_limit.py मध्ये सेट केली जाते, limiter.toml मध्ये नाही. त्यामुळे ती config मधून वाढवता येत नाही. ?format=json वापरणारा agent किंवा script ही मर्यादा एका task मध्ये ओलांडतो. limiter.toml मधील pass_ip मध्ये सूचीबद्ध address ला unrestricted access मिळतो आणि तो मोजला जात नाही. त्यामुळे client चा address तेथे जोडा. Internal network वरून connect केल्यानेच SearXNG limiter वगळला जात नाही.

429 error न येता माझे search results रिकामे का येतात?

तुमचे users नव्हे, तर engines तुमच्या server ला नकार देत आहेत. तुमच्या instance वर /stats/errors उघडा. त्यात अपयशी ठरलेल्या प्रत्येक engine चे नाव आणि कारण दिसते. CAPTCHA किंवा access-denied entry दिसल्यास त्या engine ने तुमच्या server चा IP address block केला आहे. त्यानंतर SearXNG engine suspend करतो. Too-many-requests किंवा access-denied उत्तरानंतर तो तीन मिनिटे suspend राहतो. Plain CAPTCHA नंतर तो एक तास suspend राहतो. reCAPTCHA किंवा Cloudflare CAPTCHA नंतर तो एक आठवडा किंवा त्याहून अधिक काळ suspend राहतो. कोणतीही local limiter setting upstream block हटवू शकत नाही. त्यामुळे तुमचा address block करणारे engines काढून टाका आणि उत्तर देणारे engines ठेवा.

Private instance वर limiter enable करावा का?

तुमच्याशिवाय कोणीही instance पर्यंत पोहोचत नसेल, तर limiter: false तसेच ठेवा. यामुळे Valkey dependency जोडली जाते आणि तुमचे स्वतःचे scripts block होतात. तसेच, तुमच्याकडे नसलेल्या traffic पासून ते संरक्षण देते. Instance ला public address मिळताच ते enable करा आणि public_instance: true देखील enable करा. ही जोडी जाणीवपूर्वक अशी ठेवली आहे. public_instance: true enabled असताना initialization वेळी कार्यरत Valkey उपलब्ध नसल्यास, process status 1 सह exit होतो आणि unprotected चालत नाही.

हा लेख उपयुक्त होता का?