SSD Nodes Learn Hosting plans →

SearXNG 429 பிழைகளை சரிசெய்வது எப்படி?

SearXNG 429 பிழைகள் உள்ளூர் limiter அல்லது upstream image கோரிக்கைகளால் ஏற்படுகின்றன. உங்கள் logs-ஐ ஆய்வு செய்து, API counters-ஐ சரிபார்த்து, பிழைக்கான சரியான மூலத்தை கண்டறியுங்கள்.

SearXNG ஏன் 429 பிழைகளை வழங்குகிறது

சுயமாக இயங்கும் (self-hosted) SearXNG instance, தொடர்பில்லாத இரண்டு இடங்களில் rate limit-ஐ சந்திக்கிறது. நீங்கள் சரிசெய்ய வேண்டிய rate limit, பொதுவாக நீங்கள் நினைப்பது அல்ல. உள்ளூர் கட்டுப்பாடு (local limiting) மற்றும் upstream image கோரிக்கை ஆகிய இரண்டுமே 429 பிழையை உருவாக்கலாம். முதலாவது உள்ளூர் சார்ந்தது: SearXNG-ன் சொந்த limiter, ஒரு கோரிக்கை bot-லிருந்து வந்ததாகக் கருதி Too Many Requests நிலைக் குறியீடு 429-ஐ வழங்குகிறது. /image endpoint, 429 உள்ளிட்ட upstream பிழைக் குறியீடுகளையும் முன்னனுப்புகிறது. இரண்டாவது upstream சார்ந்தது: ஒரு தேடுபொறி (search engine) உங்கள் server-ன் IP முகவரியை நிராகரித்துள்ளது. SearXNG அந்த engine-ஐ பதிலளிக்காததாகக் குறித்து அதை நிறுத்தி வைக்கும்; உங்கள் பயனர்களுக்கு விடுபட்ட முடிவுகளுடன் கூடிய சாதாரண முடிவுகள் பக்கம் கிடைக்கும், 429 பிழை கிடைக்காது.

இந்த இரண்டு நிகழ்வுகளுக்கும் ஒரே தீர்வு கிடையாது. limiter உங்களுடையது, எனவே அதை நீங்கள் மாற்றலாம். Upstream blocking என்பது அந்த engine-ன் பக்கத்தில் நடப்பது, எனவே உங்கள் உள்ளூர் limiter-ஐ மாற்றுவது அதை நீக்காது. logs-ஐப் பார்த்தால் ஒரு நிமிடத்தில் எது என்று தெரிந்துவிடும், எனவே அங்கிருந்து தொடங்கவும்.

இந்த வழிகாட்டி உங்கள் சொந்த VPS-ல் சுயமாக இயங்கும் SearXNG instance-ல் விவரிக்கப்பட்டுள்ள container நிறுவலை அடிப்படையாகக் கொண்டது. கீழே உள்ள ஒவ்வொரு அமைப்பின் பெயரும் தற்போதைய upstream ஆவணங்கள் மற்றும் source-லிருந்து எடுக்கப்பட்டது, இது 16 November 2026 அன்று சரிபார்க்கப்பட்டது.

அமைப்பை மாற்றுவதற்கு முன் log-ஐ வாசிக்கவும்

ஒரு log window-ஐத் திறந்து வைத்துக்கொண்டு சிக்கலை மீண்டும் நிகழ்த்தவும். Upstream compose கோப்பில் SearXNG service-க்கு core என்று பெயரிடப்பட்டுள்ளது (அதன் container-க்கு searxng-core என்று பெயர்), மேலும் docker compose கட்டளைகள் service பெயரைப் பயன்படுத்துகின்றன:

cd ./searxng/
docker compose logs -f core

Limiter செய்திகள் searx.limiter மற்றும் searx.botdetection எனப் பெயரிடப்பட்ட loggers-லிருந்து வருகின்றன, அவை client network-ஐக் குறிப்பிடுகின்றன. ஒரு blocklist hit BLOCK 203.0.113.10/32: matched BLOCKLIST என்றும், ஒரு allowlist hit PASS 203.0.113.10/32: matched PASSLIST என்றும் பதிவாகும், அதைத் தொடர்ந்து பொருந்திய list entry இடம்பெறும். Limiter-ஆல் அதன் counter store-ஐத் தொடங்க முடியவில்லை என்றால், log-ல் The limiter requires Valkey, please consult the documentation என்று வரும், அதாவது limiter நிறுவப்படவில்லை என்று பொருள்.

ஒவ்வொரு bot சோதனையும் debug நிலையில் பதிவு செய்யப்படுவதால், இயல்பாக உங்களால் அதைப் பார்க்க முடியாது. ஒரு சோதனைக்காக settings.yml-ல் debug-ஐ இயக்கவும்:

general:
  debug: true

அதன்பிறகு log-ல் BLOCK 203.0.113.10/32: missing HTTP header Accept-Language போன்ற வரிகள் சேர்க்கப்படும், அவை client network மற்றும் தோல்வியடைந்த header-ஐக் குறிப்பிடும். சோதனை முடிந்ததும் அதை மீண்டும் அணைத்துவிடவும், ஏனெனில் debug நிலையில் இயங்கும் instance-ஐப் பயன்படுத்த வேண்டாம் என்று upstream அறிவுறுத்துகிறது.

Engine தோல்விகள் இதிலிருந்து முற்றிலும் மாறுபட்டவை. அவை IP-க்கு பதிலாக engine பெயரைப் குறிப்பிடுகின்றன; விரிவான timeout செய்தி debug நிலையில் பதிவு செய்யப்படுகிறது, அதே சமயம் search thread-ன் engine timeout செய்தி error நிலையில் பதிவு செய்யப்படுகிறது:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

இதற்கென ஒரு தனிப் பக்கமும் உள்ளது. enable_metrics அதன் இயல்புநிலையான true-ல் இருக்கும்போது, உங்கள் instance engine பிழைகளை /stats/errors-ல் பதிவு செய்கிறது, மேலும் /preferences தற்போது எந்தெந்த engines பதிலளிக்கின்றன என்பதைப் பட்டியலிடுகிறது. /stats/errors-ல் உள்ள ஒரு பதிவு engine தோல்வியை அடையாளம் காட்டுகிறது, ஆனால் searx.limiter வரிகள் இல்லை என்பதற்காக limiter block இல்லை என்று அர்த்தமல்ல, ஏனெனில் தனிப்பட்ட bot சோதனைகள் debug நிலையில் searx.botdetection-ஐப் பயன்படுத்துகின்றன.

எந்தவொரு பிழைத்திருத்தத்தையும் (debug) தொடங்கும் முன் பதிப்பை (version) உறுதிப்படுத்தவும்

Upstream container அமைப்பு இரண்டு கோப்புகளைக் கொண்டது.

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

Compose கோப்பு docker.io/searxng/searxng:${SEARXNG_VERSION:-latest}-ஐப் பதிவிறக்குகிறது. ஒரு variable அமைக்கப்படாமல் இருந்தால் அது latest என்று பொருள்படும், மேலும் latest என்பது அடுத்த docker compose pull-ன் போது அந்த instance உங்களுக்குத் தெரியாமலேயே மாறிவிடும் என்பதைக் குறிக்கிறது. இதனால், கடந்த வாரம் சரியாகச் செயல்பட்ட ஒரு அமைப்பு, அதைப் படிக்கும் குறியீட்டுடன் (code) பொருந்தாமல் போகலாம். SearXNG tags ஒரு தேதியையும் commit-ஐயும் கொண்டிருக்கும். அக்டோபர் 2026 நிலவரப்படி, upstream .env.example-ல் உள்ள உதாரண tag 2026.3.25-541c6c3cb ஆகும், எனவே .env-ல் ஒரு குறிப்பிட்ட பதிப்பை அமைக்கவும்:

SEARXNG_VERSION=2026.3.25-541c6c3cb

வெளியிடப்பட்ட tags-ஐச் சரிபார்த்து, நீங்கள் உண்மையில் சோதித்த release-ஐ உறுதிப்படுத்தவும் (pin), அதன் பிறகு நிலையான இலக்கை வைத்து பிழைத்திருத்தத்தைச் செய்யவும். அதே .env கோப்பில் SEARXNG_SECRET மூலம் உங்கள் secret key-ஐ வைத்திருக்க முடியும், எனவே அந்த directory-ஐ எங்கும் பதிவேற்றும் முன் Docker Compose-ல் env கோப்புகள் மற்றும் secrets எவ்வாறு செயல்படுகின்றன என்பதைப் படிக்கவும்.

Limiter-க்கு Valkey தேவை, இல்லையெனில் அது இயங்காது

Limiter ஒவ்வொரு client-ன் கோரிக்கைகளையும் கணக்கிடுகிறது, இந்த எண்ணிக்கைகள் அனைத்து worker process-களுக்கும் பகிரப்பட வேண்டும். இதற்கான சேமிப்பகமாக (store) Valkey செயல்படுகிறது; இது Redis-ன் பராமரிக்கப்படும் fork ஆகும். பழைய SearXNG வழிகாட்டிகள் இந்த அமைப்பை redis: என்று குறிப்பிடுகின்றன. தற்போதைய releases valkey:-ஐப் பயன்படுத்துகின்றன, எனவே பழைய பதிவுகளில் உள்ளதை விட தற்போதைய ஆவணங்களிலிருந்து key பெயரை நகலெடுக்கவும். அவற்றில் சில பக்கங்கள் SearXNG-க்கு பதிலாக Searx-ஐ விவரிக்கின்றன; அது வேறு codebase மற்றும் வேறு limiter-ஐக் கொண்டது, எனவே ஒரு பக்கம் எந்தத் திட்டத்திற்காக எழுதப்பட்டது என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள் - அதன் பிறகு அதிலிருந்து config தொகுதியை நகலெடுக்கவும்.

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

Upstream compose கோப்பு ஏற்கனவே docker.io/valkey/valkey:9-alpine image-ல் valkey service-ஐ searxng-valkey என்ற பெயரில் உள்ள container-ல் இயக்குகிறது, எனவே அந்த host பெயர் compose network-க்குள் சரியாகத் தீர்க்கப்படும் (resolve). அதே மதிப்பை SEARXNG_VALKEY_URL environment variable மூலம் அமைக்கலாம், மேலும் SearXNG மற்றும் Valkey ஒரே host-ல் இருக்கும்போது Unix socket URL (unix:///path/to/socket.sock?db=0) சிறப்பாகச் செயல்படும்.

சேமிப்பகம் (store) கிடைக்கவில்லை என்றால் என்ன நடக்கும் என்பது மற்றொரு key-ஐப் பொறுத்தது. public_instance: false அமைப்பில், limiter Valkey பிழையைப் பதிவு செய்துவிட்டு (log) முயற்சியைக் கைவிடும், இதனால் instance எந்தவித rate limiting-ம் இன்றி தொடர்ந்து இயங்கும். public_instance: true அமைப்பில், bot பாதுகாப்பு இல்லாமல் public instance-ஐ இயக்குவதற்குப் பதிலாக, அந்த process sys.exit(1)-ஐ அழைக்கும். இந்த Valkey initialization பிழை காரணமாக ஒரு container தொடர்ந்து restart ஆகிக்கொண்டிருந்தால், அதன் Valkey இணைப்பைச் சரிசெய்ய வேண்டும்.

Limiter எதனை கணக்கிடுகிறது

விளக்கப்படம்SearXNG limiter: requests allowed per client network, defaults in ip_limit.py
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "Burst, link token off",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, link token off",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Non-HTML format in URL query",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

Link-token சரிபார்ப்பு முடக்கப்பட்டிருக்கும்போது, ஒரு client 20 வினாடி burst window-க்குள் 15 கோரிக்கைகளையும், 10 நிமிட window-க்குள் 150 கோரிக்கைகளையும் அனுப்பலாம். இது இயக்கப்பட்டிருக்கும்போது, link-token சரிபார்ப்பில் தேர்ச்சி பெறும் client இந்த இரண்டு counters-ஐயும் கடந்துவிடும்; சந்தேகத்திற்குரிய client-க்கு burst window-க்கு 2 மட்டுமே அனுமதிக்கப்படும். கடைசி வரி மிகவும் கடுமையானது: 30 நாள் window-க்குள் 3 flagged கோரிக்கைகள் பதிவானால், அந்த முகவரியிலிருந்து வரும் தேடல்கள் முகப்புப் பக்கத்திற்கு (start page) திருப்பி விடப்படும், மேலும் log-ல் BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) என்று பதிவாகும். Link-token சரிபார்ப்பில் தேர்ச்சி பெறுவது அந்த client-ன் சந்தேகத்திற்குரிய கோரிக்கை counter-ஐ நீக்கிவிடும்.

இந்த எண்கள் searx/botdetection/ip_limit.py-ல் உள்ள மாறிலிகள் (constants) ஆகும். இவை settings அல்ல, மேலும் limiter.toml இவற்றை மாற்ற அனுமதிக்காது, எனவே இவற்றை மாற்ற source code-ஐ திருத்த வேண்டும். /etc/searxng/limiter.toml எதைக் கட்டுப்படுத்துகிறது என்றால்: client-களை வகைப்படுத்தப் பயன்படும் address prefixes, நம்பகமான proxies பட்டியல், விருப்பத்தேர்வாக உள்ள link token சரிபார்ப்பு, மற்றும் pass/block பட்டியல்கள்.

Flagged வரிசைகள் link token சரிபார்ப்பு செயல்பாட்டில் இருக்கும்போது மட்டுமே பொருந்தும்; இது limiter.toml-ல் உள்ள link_token = true மூலமாகவோ அல்லது public_instance: true தானாகவே அதை இயக்குவதாலோ நிகழலாம். ஒரு client, சீரற்ற token-ஐக் கொண்ட stylesheet URL-ஐ ஏற்றும் வரை சந்தேகத்திற்குரியதாகவே கருதப்படும். Link token முடக்கப்பட்டிருந்தால் (இதுவே default), இந்த counters-ஐ அடையும் அனைத்து client-களுக்கும் சாதாரண வரிசைகளே பொருந்தும்.

Header சரிபார்ப்புகள் மிகவும் கடுமையானவை, ஏனெனில் அவை எதையும் flag செய்வதில்லை: ஒரு கோரிக்கை இதில் தோல்வியுற்றால், உடனடியாக 429 பிழை மூலம் நிராகரிக்கப்படும். ஒவ்வொரு சரிபார்ப்பும் searx/botdetection/-ல் உள்ள ஒரு module ஆகும், மேலும் debug log வரியானது தோல்வியடைந்த header-ன் பெயரைத் தெரிவிக்கும்:

  • http_accept: Accept header-ல் text/html இல்லை.
  • http_accept_encoding: Accept-Encoding header-ல் gzip அல்லது deflate ஆகிய பெயர்கள் இல்லை.
  • http_accept_language: Accept-Language header இல்லை.
  • http_user_agent: User-Agent விடுபட்டுள்ளது அல்லது அறியப்பட்ட bot pattern-உடன் ஒத்துப்போகிறது.
  • http_sec_fetch: Sec-Fetch-* headers ஒரு browser அனுப்பும் வகையில் இல்லை. இது browser-கள் அனுப்பும் HTTPS கோரிக்கைகளில் மட்டுமே இயங்கும், மேலும் இது 429-க்கு பதிலாக முகப்புப் பக்கத்திற்குத் திருப்பிவிடும். தற்போதைய source-ல், தவறான Sec-Fetch-Mode மட்டுமே இந்த redirect-ஐத் தூண்டும்: தவறான Sec-Fetch-Site அல்லது Sec-Fetch-Dest debug நிலையில் log செய்யப்படும், ஆனால் கோரிக்கை அனுமதிக்கப்படும்.

Browser இவை அனைத்தையும் அனுப்பும். ஒரு சாதாரண curl அழைப்பு இவற்றில் எதையும் அனுப்பாது, எனவே கையால் எழுதப்பட்ட test கோரிக்கை முதல் முயற்சியிலேயே நிராகரிக்கப்படும், அதே சமயம் browser tab-ல் அதே தேடல் சரியாக வேலை செய்யும். இதனால்தான் "என் browser-ல் வேலை செய்கிறது, ஆனால் என் script-க்கு 429 கிடைக்கிறது" என்பது ஒரு மர்மமல்ல, இதுவே இயல்பான முடிவு.

Reverse proxy-க்கு பின்னால் limiter அனைவரையும் ஒரே நேரத்தில் தடுக்கிறது

செயல்படும் instance-ஐ செயலிழக்கச் செய்யும் பொதுவான வழி இதுதான். SearXNG, X-Forwarded-For-ல் உள்ள முதல் நம்பகத்தன்மையற்ற IP-யிலிருந்து client முகவரியை எடுத்துக்கொள்கிறது; அது இல்லையெனில் X-Real-IP-ஐயும், அதுவும் இல்லையெனில் இணைப்பைத் திறந்த முகவரியையும் பயன்படுத்துகிறது. இந்த headers நம்பகமானவையா என்பதை limiter.toml-ல் உள்ள trusted_proxies தீர்மானிக்கிறது. Botdetection ஆவணங்களின்படி, X-Real-IP மட்டும் அமைக்கப்பட்டிருக்கும்போது trusted_proxies புறக்கணிக்கப்படுகிறது. ஆனால், 16 November 2026 அன்று சரிபார்க்கப்பட்ட searx/botdetection/trusted_proxies.py-ல் உள்ள code, இணைக்கும் முகவரி நம்பகமானதாக இல்லாதபோது இரண்டு headers-ஐயும் நீக்கிவிடுகிறது. எனவே, X-Real-IP-ஐ மட்டும் அனுப்புவது உங்களை அந்தப் பட்டியலிலிருந்து விடுவிக்காது.

உங்கள் proxy-ன் முகவரி அந்தப் பட்டியலில் இல்லை என்றால், headers புறக்கணிக்கப்படும்; ஒவ்வொரு பார்வையாளரும் proxy-ன் முகவரியுடனேயே வருவார்கள். அவர்கள் அனைவரும் ஒரே counter-ஐப் பகிர்ந்துகொள்வார்கள். எனவே, link-token சரிபார்ப்பு முடக்கப்பட்டிருந்தால், மொத்த கோரிக்கைகள் 10 நிமிடங்களில் 150-ஐத் தாண்டும்போது தளம் முழுவதுமாகத் தடுக்கப்படும். Link-token சரிபார்ப்பு இயக்கப்பட்டிருந்தால், சந்தேகத்திற்குரிய clients கடுமையான counters-ஐப் பகிர்ந்துகொள்வார்கள்; அதே சமயம் சரிபார்ப்பில் தேர்ச்சி பெறும் client, burst மற்றும் long-window counters-ஐத் தவிர்த்துவிடுவார்.

அதிகப்படியான நம்பிக்கையை அளிப்பது ஆபத்தானது. ஒரு public range பட்டியலிடப்பட்டிருந்தால், அந்த நம்பகமான range-லிருந்து இணைக்கும் பார்வையாளர் தனது சொந்த X-Forwarded-For header-ஐ அனுப்பி, ஒவ்வொரு கோரிக்கைக்கும் ஒரு புதிய அடையாளத்தை உருவாக்க முடியும். உங்கள் proxy இணைக்கும் முகவரியை மட்டும் பட்டியலிடுங்கள். Docker-ல் இது பொதுவாக 172.16.0.0/12-க்குள் இருக்கும் ஒரு bridge network ஆகும்; அந்த வரி default-ஆக comment செய்யப்பட்டிருக்கும்.

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

Proxy-யும் headers-ஐ அனுப்ப வேண்டும். Nginx தானாகவே X-Forwarded-Proto, X-Real-IP அல்லது X-Forwarded-For-ஐச் சேர்க்காது:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy மற்றும் Traefik ஆகியவை உங்களுக்காக forwarded headers-ஐ அமைத்துவிடும், எனவே அவற்றுடன் நீங்கள் trusted_proxies வேலையை மட்டும் செய்தால் போதும். இதிலுள்ள சாதக பாதகங்கள் self-hosted service-க்கு reverse proxy-ஐத் தேர்ந்தெடுத்தல் பகுதியில் விவரிக்கப்பட்டுள்ளன. எந்த அமைப்பையும் சரிபார்க்க, debug-ஐ இயக்கி, உங்கள் மொபைல் தரவைப் பயன்படுத்தி ஒருமுறை தேடுங்கள். log வரியில் உள்ள network, proxy-ன் முகவரியாக இல்லாமல் உங்கள் மொபைலின் முகவரியாக இருப்பதை உறுதிப்படுத்தவும்.

உங்கள் ஏஜெண்டின் API வரம்பு கோரிக்கையைப் பொறுத்தது

JSON வெளியீடு இயல்பாகவே முடக்கப்பட்டுள்ளது, எனவே ஒரு ஏஜெண்டிற்கு அது சேர்க்கப்பட வேண்டும்:

search:
  formats:
    - html
    - json

இப்போது அட்டவணை வரிசையை மீண்டும் படிக்கவும். html தவிர்த்து, format என்ற URL query parameter கொண்ட ஒரு /search கோரிக்கை அதன் சொந்த விண்டோவில் கணக்கிடப்படுகிறது: ஒரு கிளையண்ட் நெட்வொர்க்கிற்கு, ஒரு 1 hour-க்கு 4 கோரிக்கைகள். API ஆனது POST form parameters-ஐ ஆதரிக்கிறது, ஆனால் POST form தரவுகளில் மட்டும் வழங்கப்படும் HTML அல்லாத வடிவம் இந்த API கவுண்டரை அதிகரிக்காது; பிற limiter சோதனைகள் தொடர்ந்து பொருந்தும். link-token சோதனையைத் தேர்ச்சி பெறுவது API கவுண்டரைத் தவிர்க்காது, ஏனெனில் அதுவே முதலில் இயங்குகிறது. ?format=json-ஐப் பயன்படுத்தும் ஒரு ஆராய்ச்சி ஏஜெண்ட் அதை ஒரே பணியில் தீர்த்துவிடும், அதற்குப் பிறகு வரும் ஒவ்வொரு அழைப்பும் 429-ஐத் திருப்பி அனுப்பும். இந்த எண் மூலக் குறியீட்டில் (source) ஒரு மாறிலியாக (constant) இருப்பதால், அதை configuration மூலம் உங்களால் அதிகரிக்க முடியாது, ஆனால் அதற்குத் தேவையும் இல்லை: ஏஜெண்டின் முகவரியை மொத்த எண்ணிக்கையிலிருந்து நீங்கள் நீக்கிவிடலாம்.

இந்த கிளையண்ட் ஒரு அந்நியர் அல்ல என்பதை limiter-க்குத் தெரிவிப்பதே சரியான தீர்வாகும். அதன் முகவரியை limiter.toml-ல் உள்ள pass பட்டியலில் சேர்க்கவும்:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip மற்ற அனைத்து முறைகளை விடவும் முன்னுரிமை பெறுகிறது, மேலும் limiter.toml-ல் உள்ள upstream-ன் சொந்தக் குறிப்பு, அந்தப் பட்டியலில் உள்ள முகவரிக்கு கட்டுப்பாடற்ற அணுகல் உண்டு என்று கூறுகிறது. எனவே, allowlist-ல் உள்ள கிளையண்ட் நான்கு கோரிக்கை விண்டோவிற்கு உட்படுத்தப்படுவதில்லை, அது header சோதனைகளையும் தவிர்க்கிறது, மேலும் ஒரு சாதாரண curl அழைப்பு வேலை செய்கிறது. வரம்பை உங்களால் முடிந்தவரை சிறியதாக வைத்திருங்கள், மேலும் routable எதையும் விட VPN subnet அல்லது container network-க்கு முன்னுரிமை கொடுங்கள். ஏஜெண்டை நேரடியாக internal network-ல் உள்ள container-க்குச் சுட்டிக்காட்டுவது SearXNG-ன் சொந்த limiter-ஐத் தவிர்க்காது; SearXNG உண்மையில் பார்க்கும் கிளையண்ட் முகவரியை allowlist செய்யவும். இதை எவ்வாறு அமைப்பது என்பது AI ஏஜெண்டிற்கு SearXNG தேடல் திறனை வழங்குதல் பகுதியில் விவரிக்கப்பட்டுள்ளது.

மற்றொருவர் இயக்கும் பொதுவான instance-க்கு ஏஜெண்டைச் சுட்டிக்காட்டுவதைத் தவிர்க்க வேண்டும். SearXNG வழியாகச் செல்லும் தானியங்கி traffic, அந்த instance-ஐ upstream engines மூலம் முடக்கப்படும் அபாயத்தை உருவாக்குகிறது.

தேடுபொறிகள் உங்களைத் தடுக்கும்போது

விளக்கப்படம்How long SearXNG suspends an engine, search.suspended_times defaults
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

ஒரு தேடுபொறி தனது சொந்த 429 பிழை அல்லது CAPTCHA பக்கத்தை வழங்கும்போது, SearXNG ஒரு குறிப்பிட்ட exception-ஐ உருவாக்கி, அந்தத் தேடுபொறியிடம் சிறிது காலத்திற்குத் தகவல்களைக் கேட்பதை நிறுத்திவிடும். உங்கள் பயனர்கள் அந்த 429 பிழையைப் பார்க்க மாட்டார்கள்: தேடல் முடிவுகள் வழக்கம்போலவே கிடைக்கும், ஆனால் அந்தத் தேடுபொறியின் முடிவுகள் மட்டும் இருக்காது. அதிகப்படியான கோரிக்கைகள் (too-many-requests) வரும்போது, அது 180 வினாடிகளுக்கு இடைநிறுத்தப்படும். அணுகல் மறுக்கப்பட்டால் (access-denied), அது 3 minutes காலத்திற்கு இடைநிறுத்தப்படும். சாதாரண CAPTCHA வந்தால், அது 1 hour காலத்திற்கு இடைநிறுத்தப்படும். Cloudflare மூலம் வரும் CAPTCHA, பட்டியலில் உள்ள மிக நீண்ட கால இடைநிறுத்தமான 15 days காலத்திற்கு அந்தத் தேடுபொறியை முடக்கும். நீங்கள் எந்த வகையான CAPTCHA-வை எதிர்கொள்கிறீர்கள் என்பது, அடுத்து என்ன செய்ய வேண்டும் என்பதைத் தீர்மானிக்கும். உங்கள் instance எந்த exception-ஐப் பதிவு செய்துள்ளது என்பதை அறிந்த பிறகு, CAPTCHA பிழைகளைச் சரிசெய்ய அதற்கென தனி வழிமுறைகள் உள்ளன.

இவை SearXNG-உடன் வரும் searx/settings.yml-ல் உள்ள மதிப்புகள், இவை 16 November 2026 அன்று சரிபார்க்கப்பட்டன. அமைப்புகளுக்கான ஆவணங்கள் இன்னும் பழைய, நீண்ட கால மதிப்புகளையே (அதிகப்படியான கோரிக்கைகளுக்கு ஒரு மணிநேரம், அணுகல் மறுப்பு மற்றும் சாதாரண CAPTCHA-விற்கு ஒரு நாள்) காட்டுகின்றன. எனவே, ஆவணங்களை விட உங்கள் instance உண்மையில் பயன்படுத்தும் கோப்பையே நம்புங்கள்.

சாதாரண தோல்விகளுக்கு வெவ்வேறு அமைப்புகள் பயன்படுத்தப்படுகின்றன. ஒரு timeout அல்லது இணைப்புத் தோல்வி ஏற்பட்டால், அந்தத் தேடுபொறி search.ban_time_on_fail வினாடிகளுக்கு (இயல்பாக 5) இடைநிறுத்தப்படும், இது ஒருபோதும் search.max_ban_time_on_fail வினாடிகளுக்கு (இயல்பாக 120) மேல் இருக்காது. ஒரு parse error /stats/errors-ல் பதிவு செய்யப்படும், ஆனால் அது தேடுபொறியை இடைநிறுத்தாது. எனவே, மெதுவான தேடுபொறி சில வினாடிகளில் தானாகவே சரியாகிவிடும், ஆனால் CAPTCHA வழங்கிய தேடுபொறி ஒரு மணிநேரம் அல்லது அதற்கு மேல் முடங்கியிருக்கும். இந்த வேறுபாடே, தேடல் முடிவுகள் நன்றாக இருக்கும்போது திடீரென ஒரு தேடுபொறியின் முடிவுகள் மட்டும் ஒரு மணிநேரம் காணாமல் போவதற்குக் காரணமாகிறது.

யாரையும் குறை கூறுவதற்கு முன், timeout பிரச்சினைகளைச் சரிசெய்வது நல்லது. இயல்பான request_timeout மதிப்பு 3.0 வினாடிகள் ஆகும். தேடுபொறியின் அருகிலுள்ள edge server-லிருந்து தொலைவில் உள்ள சிறிய VPS-க்கு இது போதுமானதாக இருக்காது.

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout என்பது அனைத்துத் தேடுபொறிகளுக்கும் பொதுவான இயல்புநிலை, max_request_timeout என்பது அதிகபட்ச வரம்பு, மேலும் ஒரு குறிப்பிட்ட தேடுபொறிக்குத் தனியாக timeout-ஐ அமைக்கலாம். இவற்றை அதிகரிப்பது பக்கத்தின் வேகத்தைக் குறைத்து, தோல்விகளைக் குறைக்கும். எனவே, நேரடியாக 10 வினாடிகளுக்குச் செல்லாமல், அரை வினாடி இடைவெளியில் உயர்த்தி, /stats/errors-ஐக் கவனியுங்கள்.

உங்கள் IP முகவரியைத் தொடர்ந்து தடுக்கும் ஒரு தேடுபொறியை நீக்கிவிடுவது நல்லது. இடைநிறுத்தப்பட்ட தேடுபொறிகள், அவற்றின் காலம் முடியும் வரை தவிர்க்கப்படும். உங்களைத் தொடர்ந்து தடுக்கும் ஒரு தேடுபொறியை வைத்திருப்பது, அது மீண்டும் செயல்பாட்டிற்கு வரும்போது தேவையற்ற தோல்வியுற்ற முயற்சிகளையே உருவாக்கும்.

use_default_settings:
  engines:
    remove:
      - google

மாற்றங்களைச் செயல்படுத்த docker compose restart core-ஐப் பயன்படுத்தவும், பிறகு சில தேடல்களைச் செய்து /stats/errors-ஐ reload செய்யவும். தேடல் முடிவுகள் சரியாக வருகின்றனவா என்பதையும், ஏதேனும் பிழைகள் பதிவாகியுள்ளனவா என்பதையும் சரிபார்க்கவும்.

Datacentre IP-ஐ ஒரு bot என வகைப்படுத்தலாம்

தானியங்கி முறையில் traffic-ஐ அனுப்பும் நெட்வொர்க்குகளை Google தடுக்கிறது; இதில் பகிரப்பட்ட VPN நெட்வொர்க்குகளும் அடங்கும். எந்தவொரு local limiter அமைப்பும் இந்த upstream தடையை நீக்காது. பயனர் தேடலை உள்ளிடுவதற்குப் பதிலாக, உங்கள் server-ஐ தேடுபொறிகள் பார்ப்பது என்பது, நீங்கள் self-hosting மூலம் செய்துகொண்ட தனியுரிமை சமரசத்தின் ஒரு பகுதியாகும். SearXNG உண்மையில் எவ்வளவு மறைக்கிறது என்பதை, அது எல்லாவற்றையும் மறைக்கும் என்று கருதுவதற்கு முன்பே வாசிப்பது நல்லது.

நீங்கள் எதை மாற்ற முடியும் என்றால், எந்தெந்த தேடுபொறிகளைப் பயன்படுத்த வேண்டும் மற்றும் உங்கள் instance பொதுவெளியில் பட்டியலிடப்பட வேண்டுமா என்பதுதான். SearXNG, outgoing.proxies அல்லது outgoing.using_tor_proxy மூலம் தேடுபொறி கோரிக்கைகளை ஒரு proxy வழியாக அனுப்ப முடியும்; இது traffic-ஐ வேறொரு முகவரிக்கு மாற்றும். வேறொரு exit முகவரி கிடைப்பது அணுகலுக்கு உத்தரவாதம் அளிக்காது: பயனர்களின் தானியங்கி traffic காரணமாக, சில பகிரப்பட்ட VPN மற்றும் tunnel சேவைகளையும் Google தடுக்கிறது.

Instance-ஐ கண்காணித்து முதலில் கண்டறியவும்

SearXNG-ன் அனைத்து engine-களும் suspended நிலையில் இருந்தாலும், அது தனது port-ல் பதிலளிக்கும். எனவே, status code-ஐ மட்டும் கண்காணிக்கும் uptime check, instance எதையும் வழங்காதபோதும் green நிலையிலேயே இருக்கும். அதற்குப் பதிலாக உள்ளடக்கத்தைச் சரிபார்க்கவும்: ஒரு உண்மையான search-ஐ மேற்கொண்டு, response body-ல் நீங்கள் எதிர்பார்க்கும் ஒரு வார்த்தை உள்ளதா எனப் பார்க்கவும். Uptime Kuma keyword monitoring கூடுதல் கருவிகள் ஏதுமின்றி இதைச் சரியாகச் செய்கிறது. ஒவ்வொரு version bump-க்குப் பிறகும் /stats/errors-ஐக் கவனிக்கவும்; ஏனெனில் engine-கள் தங்கள் HTML-ஐ மாற்றக்கூடும், இதனால் rate limit இல்லாமலேயே parser செயலிழக்க வாய்ப்புள்ளது.

FAQ

எனது reverse proxy-க்கு பின்னால் SearXNG-ஐ அமைத்த பிறகு, ஏன் ஒவ்வொரு பயனருக்கும் 429 பிழை வருகிறது?

ஏனெனில், limiter உங்கள் proxy-ஐயே வாடிக்கையாளராகக் கருதுகிறது. இணைக்கும் முகவரி /etc/searxng/limiter.toml-ல் உள்ள trusted_proxies-ல் பட்டியலிடப்பட்டிருந்தால் மட்டுமே SearXNG X-Forwarded-For-ஐ வாசிக்கும். அவ்வாறு பட்டியலிடப்படவில்லை எனில், அனைத்து பயனர்களும் ஒரே எண்ணிக்கையைப் பகிர்ந்து கொள்கிறார்கள்; link-token சரிபார்ப்பு முடக்கப்பட்டிருந்தால், அவர்கள் அனைவரும் 10 நிமிடங்களுக்கு 150 கோரிக்கைகள் என்ற வரம்பை விரைவாகக் கடந்துவிடுவார்கள். link-token சரிபார்ப்பு இயக்கப்பட்டிருந்தால், சந்தேகத்திற்குரிய பயனர்கள் கடுமையான வரம்புகளைப் பெறுவார்கள், அதே சமயம் சரிபார்ப்பில் தேர்ச்சி பெறுபவர்கள் burst மற்றும் long-window வரம்புகளைத் தவிர்ப்பார்கள். உங்கள் proxy இணைக்கும் முகவரியைச் சேர்க்கவும்; Docker-ல் இது பொதுவாக 172.16.0.0/12 என்ற bridge வரம்பாக இருக்கும். மேலும், proxy X-Real-IP மற்றும் X-Forwarded-For ஆகிய தலைப்புகளை (headers) அனுப்புவதை உறுதி செய்யவும். உங்கள் கட்டுப்பாட்டில் இல்லாத எந்தவொரு வரம்பையும் பட்டியலிட வேண்டாம், ஏனெனில் நம்பகமான வரம்பிலிருந்து இணைக்கும் ஒரு பயனர் அந்த header-ஐ அமைத்து, ஒவ்வொரு கோரிக்கைக்கும் புதிய அடையாளத்தைத் தேர்வு செய்ய முடியும்.

SearXNG limiter ஒரு மணி நேரத்திற்கு எத்தனை API கோரிக்கைகளை அனுமதிக்கிறது?

URL query parameter format என்பது html ஆக இல்லாத /search கோரிக்கைகளுக்கு, ஒரு client network-க்கு ஒரு மணி நேரத்திற்கு நான்கு கோரிக்கைகள் அனுமதிக்கப்படும். POST form தரவில் மட்டும் வழங்கப்படும் non-HTML வடிவம் அந்த API எண்ணிக்கையை அதிகரிக்காது, இருப்பினும் பிற limiter சோதனைகள் பொருந்தும். அந்த எண் limiter.toml-ல் இல்லாமல் searx/botdetection/ip_limit.py-ல் அமைக்கப்பட்டுள்ளது, எனவே அதை configuration மூலம் அதிகரிக்க முடியாது. ?format=json-ஐப் பயன்படுத்தும் ஒரு agent அல்லது script அதை ஒரே பணியில் கடந்துவிடும். limiter.toml-ல் உள்ள pass_ip-ல் பட்டியலிடப்பட்ட முகவரிக்கு கட்டுப்பாடற்ற அணுகல் கிடைக்கும் மற்றும் அது கணக்கிடப்படாது, எனவே அந்த client-ன் முகவரியை அங்கே சேர்க்கவும். ஒரு internal network வழியாக இணைப்பது மட்டும் SearXNG-ன் limiter-ஐத் தவிர்க்காது.

429 பிழை இல்லாமல் எனது தேடல் முடிவுகள் ஏன் காலியாக வருகின்றன?

தேடுபொறிகள் (engines) உங்கள் பயனர்களை அல்ல, உங்கள் server-ஐயே நிராகரிக்கின்றன. உங்கள் instance-ல் /stats/errors-ஐத் திறந்து பார்க்கவும்: அது தோல்வியடைந்த ஒவ்வொரு தேடுபொறியையும் அதன் காரணத்தையும் குறிப்பிடும். CAPTCHA அல்லது access-denied என்பது அந்த தேடுபொறி உங்கள் server-ன் IP முகவரியைத் தடுத்துள்ளது என்று பொருள். அதிகப்படியான கோரிக்கைகள் அல்லது access-denied பதிலுக்குப் பிறகு மூன்று நிமிடங்களும், சாதாரண CAPTCHA-விற்குப் பிறகு ஒரு மணி நேரமும், reCAPTCHA அல்லது Cloudflare CAPTCHA-விற்குப் பிறகு ஒரு வாரம் அல்லது அதற்கு மேலாகவும் SearXNG அந்த தேடுபொறியைத் தற்காலிகமாக நிறுத்தி வைக்கும். எந்தவொரு உள்ளூர் limiter அமைப்பும் upstream தடையை நீக்காது, எனவே உங்கள் முகவரியைத் தடுக்கும் தேடுபொறிகளை நீக்கிவிட்டு, பதிலளிக்கும் தேடுபொறிகளை மட்டும் வைத்திருக்கவும்.

ஒரு private instance-ல் limiter-ஐ நான் இயக்க வேண்டுமா?

உங்களைத் தவிர வேறு யாரும் அந்த instance-ஐ அணுகவில்லை என்றால், limiter: false-ஐ அப்படியே விடவும். இது Valkey dependency-ஐச் சேர்க்கிறது மற்றும் உங்கள் சொந்த script-களைத் தடுக்கிறது; மேலும் உங்களுக்குத் தேவையில்லாத traffic-லிருந்து இது பாதுகாக்கிறது. instance-க்கு public முகவரி கிடைத்தவுடன், public_instance: true-உடன் சேர்த்து இதை இயக்கவும். இந்த ஜோடி வேண்டுமென்றே அமைக்கப்பட்டது: public_instance: true இயக்கப்பட்டிருக்கும்போது, தொடக்கத்தின்போது Valkey வேலை செய்யவில்லை என்றால், process பாதுகாப்பற்ற முறையில் இயங்குவதற்குப் பதிலாக status 1 உடன் வெளியேறிவிடும்.

இந்தக் கட்டுரை பயனுள்ளதாக இருந்ததா?