SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

SearXNG-এ 429 error ঠিক করার সঠিক উপায়

SearXNG-এর `Too Many Requests` 429 সাধারণত নিজের limiter থেকে আসে। log দেখে স্থানীয় limiter আর upstream IP block আলাদা করে সঠিক সমাধান করুন।

SearXNG কেন 429 error ফেরত দেয়

একটি self-hosted SearXNG instance দুটি আলাদা স্থানে rate limit-এর মুখোমুখি হয়। সাধারণত যে rate limit ঠিক করতে হবে, সেটি আপনি প্রথমে যে limit ধরে নেন সেটি নয়। এই দুটির মধ্যে শুধু একটিই 429 তৈরি করে। প্রথমটি local: SearXNG-এর নিজস্ব limiter কোনো request-কে bot থেকে এসেছে বলে শনাক্ত করে এবং status 429-সহ Too Many Requests উত্তর পাঠায়। SearXNG-এর এই limiter-ই একমাত্র অংশ, যা client-কে 429 পাঠায়। দ্বিতীয়টি upstream: কোনো search engine আপনার server-এর IP address প্রত্যাখ্যান করে। SearXNG ওই engine-কে unresponsive হিসেবে চিহ্নিত করে এবং সাময়িকভাবে বন্ধ রাখে। আপনার ব্যবহারকারীরা তখনও স্বাভাবিক results page পান, তবে কিছু ফলাফল অনুপস্থিত থাকে; 429 পান না।

এই দুটি ক্ষেত্রে একই সমাধান প্রযোজ্য নয়। Limiter আপনার নিয়ন্ত্রণে, তাই আপনি এটি পরিবর্তন করতে পারেন। Upstream blocking Google-এর side-এ ঘটে, তাই আপনার settings.yml-এর কোনো পরিবর্তন এটি সরাবে না। প্রায় এক মিনিটের মধ্যে log দেখে বোঝা যায় কোন পরিস্থিতি ঘটেছে। তাই সেখান থেকেই শুরু করুন।

এই guide-এ নিজের VPS-এ self-hosted SearXNG instance-এ বর্ণিত container install ধরে নেওয়া হয়েছে। নিচের প্রতিটি setting name বর্তমান upstream documentation ও source থেকে নেওয়া এবং 23 October 2026-এ যাচাই করা হয়েছে।

পরিবর্তন করার আগে লগ পড়ুন

লগ খোলা রেখে সমস্যাটি পুনরায় তৈরি করুন। upstream compose file-এ SearXNG service-এর নাম core (এর container-এর নাম searxng-core), এবং docker compose command-গুলো service-এর নাম গ্রহণ করে:

cd ./searxng/
docker compose logs -f core

Limiter-এর message-গুলো searx.limiter নামের logger থেকে আসে এবং client network-এর নাম উল্লেখ করে। কোনো blocklist entry মিলে গেলে লগে BLOCK 203.0.113.10/32: matched BLOCKLIST দেখা যায়, আর allowlist entry মিলে গেলে PASS 203.0.113.10/32: matched PASSLIST দেখা যায়; প্রতিটির পরে মিলে যাওয়া list entry থাকে। Limiter তার counter store-এ পৌঁছাতে না পারলে লগে The limiter requires Valkey, please consult the documentation লেখা হয়। এর অর্থ কোনো কিছুই count করা হচ্ছে না।

প্রতিটি bot check আলাদাভাবে debug level-এ লগ করা হয়, তাই default অবস্থায় এগুলো দেখা যাবে না। settings.yml-এ একটি পরীক্ষার জন্য debug চালু করুন:

general:
  debug: true

এরপর লগে BLOCK 203.0.113.10/32: missing HTTP header Accept-Language-এর মতো গঠনের line যোগ হবে। এতে client network এবং ব্যর্থ হওয়া header-এর নাম থাকবে। পরীক্ষা শেষ হলে আবার এটি বন্ধ করুন, কারণ upstream deployed instance-এ debug চালু রেখে চালাতে নিষেধ করে।

Engine failure-এর চেহারা সম্পূর্ণ ভিন্ন। এতে IP-এর বদলে engine-এর নাম থাকে। বর্তমান source-এ এগুলোও debug level-এ লগ করা হয়। সবচেয়ে সাধারণ failure হলো timeout, যার পরে exception-এর নাম থাকে:

HTTP requests timeout (search duration : 3.1 s, timeout: 3.0 s)

এটির জন্য একটি page-ও আছে। enable_metrics default হিসেবে true থাকলে, আপনার instance engine error /stats/errors-এ record করে, এবং /preferences বর্তমানে কোন engine response দিচ্ছে তা তালিকাভুক্ত করে। /stats/errors পূর্ণ থাকলে এবং লগে কোনো searx.limiter line না থাকলে, সমস্যাটি limiter-এ নয়।

ডিবাগ করার আগে সংস্করণ নির্দিষ্ট করুন

Upstream container সেটআপে 2টি ফাইল থাকে।

mkdir -p ./searxng/core-config/
cd ./searxng/

curl -fsSL \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/docker-compose.yml \
    -O https://raw.githubusercontent.com/searxng/searxng/master/container/.env.example

cp -i .env.example .env

Compose file-টি docker.io/searxng/searxng:${SEARXNG_VERSION:-latest} টেনে আনে। Unset variable-এর অর্থ latest, আর latest-এর অর্থ হলো পরবর্তী docker compose pull-এ instance আপনার অজান্তে পরিবর্তিত হবে। তাই গত সপ্তাহে কাজ করা কোনো setting, সেটি পড়া code-এর সঙ্গে আর মিল নাও থাকতে পারে। SearXNG tag-এ তারিখ এবং commit থাকে। October 2026 অনুযায়ী upstream .env.example-এর উদাহরণ tag হলো 2026.3.25-541c6c3cb। তাই .env-এ একটি নির্দিষ্ট মান সেট করুন:

SEARXNG_VERSION=2026.3.25-541c6c3cb

প্রকাশিত tag-গুলো পরীক্ষা করুন এবং আপনি যে release পরীক্ষা করেছেন সেটি নির্দিষ্ট করে দিন। এরপর একটি স্থির target ধরে debug করুন। একই .env file-এ আপনার secret key থাকে। তাই ওই directory কোথাও commit করার আগে Docker Compose-এ env file এবং secret কীভাবে কাজ করে তা পড়ুন।

Limiter-এর জন্য Valkey প্রয়োজন, নইলে এটি চলে না

Limiter প্রতি client-এর অনুরোধের সংখ্যা গণনা করে। এই গণনাগুলো worker process-গুলোর মধ্যে ভাগ করে নিতে হয়। সেই store হলো Valkey, যা Redis-এর রক্ষণাবেক্ষণ করা fork। পুরোনো SearXNG guide-গুলোতে এই setting-কে redis: বলা হয়। বর্তমান release-গুলো valkey: পড়ে। তাই পুরোনো post থেকে নয়, বর্তমান documentation থেকে key-এর নাম কপি করুন। কিছু page আরও পুরোনো এবং SearXNG-এর বদলে Searx-এর বর্ণনা দেয়। এটি ভিন্ন codebase এবং এর limiter-ও ভিন্ন। তাই কোনো config block কপি করার আগে page-টি কোন দুই project-এর জন্য লেখা হয়েছে তা নির্ধারণ করুন।

use_default_settings: true
server:
  secret_key: "change-this-value"
  limiter: true
  public_instance: false
valkey:
  url: valkey://searxng-valkey:6379/0

Upstream compose file-এ docker.io/valkey/valkey:9-alpine image ব্যবহার করে valkey service আগে থেকেই চালু থাকে। Container-এর নাম searxng-valkey। তাই compose network-এর ভেতরে ওই host name resolve হয়। SEARXNG_VALKEY_URL environment variable ব্যবহার করেও একই value সেট করা যায়। SearXNG এবং Valkey একই host-এ থাকলে Unix socket URL (unix:///path/to/socket.sock?db=0) কাজ করে।

Store অনুপস্থিত থাকলে কী হবে, তা আরও একটি key-এর উপর নির্ভর করে। public_instance: false থাকলে limiter Valkey error log করে এবং কাজ বন্ধ করে দেয়। ফলে instance কোনো rate limiting ছাড়াই request serve করতে থাকে। public_instance: true থাকলে process পরিবর্তে sys.exit(1) call করে। কারণ bot protection নষ্ট থাকা অবস্থায় instance চালু রাখলে এক দিনের মধ্যে প্রতিটি engine থেকে CAPTCHA (completely automated public turing test to tell computers and humans apart) সংগ্রহ হয়। public_instance: true সেট করার পর কোনো container যদি বারবার restart হতে থাকে, তার কারণ এটিই। প্রতিবার exit হওয়ার ঠিক আগে log-এর শেষ line-এ Valkey-এর নাম দেখা যাবে।

লিমিটার আসলে কী গণনা করে

চার্টSearXNG limiter: requests allowed per client IP, defaults in ip_limit.py
এই চার্টের পেছনের ডেটা
[
  {
    "label": "Burst, normal client",
    "max_requests": 15,
    "window": "20 seconds"
  },
  {
    "label": "Burst, flagged client",
    "max_requests": 2,
    "window": "20 seconds"
  },
  {
    "label": "Sustained, normal client",
    "max_requests": 150,
    "window": "10 minutes"
  },
  {
    "label": "Sustained, flagged client",
    "max_requests": 10,
    "window": "10 minutes"
  },
  {
    "label": "Any non-HTML format",
    "max_requests": 4,
    "window": "1 hour"
  },
  {
    "label": "Flagged requests before block",
    "max_requests": 3,
    "window": "30 days"
  }
]

একজন স্বাভাবিক client 20 second-এর burst window-এর মধ্যে 15টি request এবং 10 minute-এর window-এর মধ্যে 150টি request করতে পারে। কোনো client-কে suspicious হিসেবে চিহ্নিত করা হলে প্রতি burst window-এ সীমা কমে 2-এ নেমে আসে। শেষের সারিটি সবচেয়ে কঠোর: 30 day-এর window-এর মধ্যে 3টি flagged request হলে ওই address-কে search-এর বদলে start page-এ redirect করা হয়, এবং log-এ BLOCK: too many request from ... in SUSPICIOUS_IP_WINDOW (redirect to /) লেখা হয়।

এই সংখ্যাগুলো searx/botdetection/ip_limit.py-এর constant। এগুলো setting নয়, এবং limiter.toml এগুলো প্রকাশ করে না। তাই পরিবর্তন করতে হলে source সম্পাদনা করতে হবে। /etc/searxng/limiter.toml যে বিষয়গুলো নিয়ন্ত্রণ করে, সেগুলো হলো client group করার জন্য ব্যবহৃত address prefix, trusted proxy-এর তালিকা, ঐচ্ছিক link token check এবং pass ও block list।

Flagged সারিগুলো কেবল link token check চালু থাকলে প্রযোজ্য। এটি limiter.toml-এর মধ্যে link_token = true-এর মাধ্যমে চালু করা যায়, অথবা public_instance: true নিজে থেকে এটি চালু করতে পারে। এরপর কোনো client-এর browser এমন একটি stylesheet-এর URL load না করা পর্যন্ত client-টিকে suspicious হিসেবে গণনা করা হয়, যার মধ্যে একটি random token থাকে। কোনো script সাধারণত এমনটি করে না। Link token বন্ধ থাকলে, যা default অবস্থা, প্রতিটি client স্বাভাবিক সারিগুলো পায়।

Header check-গুলো আরও কঠোর, কারণ এগুলো কোনো কিছুকে flag করে না। কোনো request একটি check-এ ব্যর্থ হলে সঙ্গে সঙ্গে 429 দিয়ে প্রত্যাখ্যান করা হয়। প্রতিটি check searx/botdetection/-এর একটি module, এবং debug log line-এ কোন header ব্যর্থ হয়েছে তা উল্লেখ থাকে:

  • http_accept: Accept header-এ text/html নেই।
  • http_accept_encoding: Accept-Encoding header-এ gzip বা deflate-এর কোনোটিই উল্লেখ করা নেই।
  • http_accept_language: কোনো Accept-Language header নেই।
  • http_user_agent: User-Agent অনুপস্থিত অথবা কোনো পরিচিত bot pattern-এর সঙ্গে মিলে যায়।
  • http_sec_fetch: Sec-Fetch-* header-গুলো browser যে ধরনের header পাঠায়, তার সঙ্গে মেলে না। এই check কেবল এমন browser version থেকে আসা HTTPS request-এ চলে, যেগুলো ওই header পাঠায়। এটি 429 উত্তর দেওয়ার বদলে start page-এ redirect করে। বর্তমান source-এ কেবল একটি invalid Sec-Fetch-Mode এই redirect ঘটায়। Invalid Sec-Fetch-Site বা Sec-Fetch-Dest debug level-এ log হয়, কিন্তু request চলতে থাকে।

একটি browser এই সবগুলো header পাঠায়। সাধারণ curl call প্রায় কোনো header-ই পাঠায় না। তাই হাতে লেখা test request প্রথম চেষ্টাতেই প্রত্যাখ্যাত হয়, অথচ একই search browser tab-এ কাজ করে। এ কারণেই “আমার browser-এ কাজ করে, কিন্তু আমার script 429 পায়”—এটাই স্বাভাবিক ফল; এটি কোনো রহস্য নয়।

রিভার্স প্রক্সির পেছনে limiter সবাইকে একসঙ্গে ব্লক করে

চলমান instance নষ্ট করার সবচেয়ে সাধারণ উপায় এটি। SearXNG X-Forwarded-For-এর প্রথম অনির্ভরযোগ্য IP থেকে client address নেয়, না পেলে X-Real-IP ব্যবহার করে, এবং সেখানেও না পেলে connection খোলা address ব্যবহার করে। এই header-গুলো আদৌ বিশ্বাস করা হবে কি না, তা limiter.toml-এর trusted_proxies নির্ধারণ করে। botdetection documentation অনুযায়ী, শুধু X-Real-IP সেট করা থাকলে trusted_proxies উপেক্ষা করা হয়। তবে 23 October 2026-এ পরীক্ষা করা searx/botdetection/trusted_proxies.py-এর code connecting address trusted না হলে উভয় header বাদ দেয়। তাই শুধু X-Real-IP পাঠালে তালিকার নিয়ম এড়ানো যায় না।

আপনার proxy-এর address ওই তালিকায় না থাকলে header-গুলো উপেক্ষা করা হবে এবং প্রত্যেক visitor proxy-এর address নিয়ে আসবে। ফলে সবাই একই counter ভাগ করে ব্যবহার করবে। মোট অনুরোধ 10 মিনিটে 150 ছাড়ালে পুরো site একসঙ্গে ব্লক হয়ে যাবে। একজন user কয়েকবার results page reload করলেই অন্য সবাইও access হারাবে।

অতিরিক্ত address trust করা আরও বিপজ্জনক। কোনো public range তালিকায় থাকলে যেকোনো visitor নিজের X-Forwarded-For header পাঠিয়ে প্রতিটি অনুরোধে নতুন identity বেছে নিতে পারে। বিষয়টি জানা যে কেউ এভাবে limiter অকার্যকর করে দিতে পারবে। শুধু আপনার নিজের proxy যে address থেকে connection করে, সেটিই তালিকাভুক্ত করুন। Docker-এ এটি সাধারণত 172.16.0.0/12-এর একটি bridge network-এর address হয়, এবং ওই line-টি defaultভাবে comment করা থাকে।

[botdetection]
ipv4_prefix = 32
ipv6_prefix = 48

trusted_proxies = [
  '127.0.0.0/8',
  '::1',
  '172.16.0.0/12',
]

proxy-কেও header-গুলো পাঠাতে হবে। Nginx নিজে থেকে এগুলোর কোনোটি যোগ করে না:

location / {
    proxy_pass http://127.0.0.1:8080;

    proxy_set_header Host              $host;
    proxy_set_header Connection        $http_connection;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP         $remote_addr;
    proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
}

Caddy এবং Traefik আপনার জন্য forwarded header সেট করে। তাই এগুলোর ক্ষেত্রে trusted_proxies অংশটিই আপনাকে configure করতে হবে। বিভিন্ন trade-off self-hosted service-এর জন্য reverse proxy বেছে নেওয়া অংশে ব্যাখ্যা করা হয়েছে। যেকোনো setup যাচাই করতে debug চালু করুন, mobile data ব্যবহার করে আপনার ফোন থেকে একবার search করুন, এবং log line-এ network হিসেবে proxy-এর address নয়, আপনার ফোনের address দেখা যাচ্ছে কি না নিশ্চিত করুন।

আপনার agent প্রতি ঘণ্টায় চারটি API request পায়

JSON output ডিফল্টভাবে disabled থাকে, তাই agent-এ এটি যোগ করতে হবে:

search:
  formats:
    - html
    - json

এখন আবার chart row দেখুন। HTML ছাড়া অন্য কোনো format চাওয়া request নিজস্ব window-এ গণনা করা হয়: প্রতি 1 hour, প্রতি address-এ 4টি request। একটি research agent এক task-এই সেই সীমা শেষ করে ফেলে, এবং এরপরের প্রতিটি call 429 return করে। এই সংখ্যাটি source-এ constant হিসেবে নির্ধারিত, তাই config থেকে এটি বাড়ানো যায় না। তবে তা করার প্রয়োজনও নেই: agent-এর address-কে সম্পূর্ণভাবে count-এর বাইরে রাখা যায়।

সঠিক সমাধান হলো limiter-কে জানানো যে এই client অপরিচিত নয়। limiter.toml-এর pass list-এ তার address যোগ করুন:

[botdetection.ip_lists]
block_ip = []

pass_ip = [
  '10.8.0.0/24',
]

pass_searxng_org = true

pass_ip-এর priority অন্য সব method-এর চেয়ে বেশি। upstream-এর limiter.toml-এর নিজস্ব comment-এও বলা আছে, এই list-এ থাকা address unrestricted access পায়। তাই allowlisted client চারটি request-এর window-এর সীমার মধ্যে থাকে না। এটি header check-ও এড়িয়ে যায়, এবং সাধারণ curl call কাজ করে। Range যতটা সম্ভব ছোট রাখুন। Routable network-এর পরিবর্তে VPN subnet বা container network ব্যবহার করুন। আরেকটি সঠিক সমাধান হলো agent-কে সম্পূর্ণভাবে public path-এর বাইরে রাখা। Internal network-এ container address-এ agent-কে point করুন। সেখানে proxy এবং তার limiter traffic দেখতে পায় না। এর configuration AI agent-কে SearXNG search skill দেওয়া-এ ব্যাখ্যা করা হয়েছে।

যে পদ্ধতিটি এড়াতে হবে, তা হলো অন্য কারও পরিচালিত public instance-এ agent-কে point করা। Upstream engine-গুলোর কাছে কোনো volunteer-এর IP address blocked হওয়ার এটি সবচেয়ে দ্রুত উপায়। JSON format ডিফল্টভাবে disabled থাকার কারণও এটাই।

তখন engine-গুলো আপনাকে block করলে

চার্টHow long SearXNG suspends an engine, search.suspended_times defaults
এই চার্টের পেছনের ডেটা
[
  {
    "label": "SearxEngineTooManyRequests",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineAccessDenied",
    "suspended_seconds": 180,
    "roughly": "3 minutes"
  },
  {
    "label": "SearxEngineCaptcha",
    "suspended_seconds": 3600,
    "roughly": "1 hour"
  },
  {
    "label": "recaptcha_SearxEngineCaptcha",
    "suspended_seconds": 604800,
    "roughly": "7 days"
  },
  {
    "label": "cf_SearxEngineCaptcha",
    "suspended_seconds": 1296000,
    "roughly": "15 days"
  }
]

কোনো engine নিজস্ব 429 response বা CAPTCHA page পাঠালে SearXNG একটি নির্দিষ্ট exception তৈরি করে এবং কিছু সময়ের জন্য ওই engine-কে আর অনুরোধ পাঠায় না। আপনার visitor-রা সেই 429 দেখতে পান না। Search স্বাভাবিক results page ফেরত দেয়, শুধু ওই engine-এর ফলাফল থাকে না। Too-many-requests response হলে engine-টি 180 seconds-এর জন্য suspend হয়, আর access-denied response হলে 3 minutes-এর জন্য suspend হয়। সাধারণ CAPTCHA হলে এটি 1 hour-এর জন্য suspend হয়। Cloudflare-এর মাধ্যমে CAPTCHA পরিবেশিত হলে এটি 15 days-এর জন্য suspend হয়। তালিকায় এটিই দীর্ঘতম default, কারণ এই response বোঝায় যে block-টি edge-এ কার্যকর হচ্ছে এবং retry করে লাভ হবে না। আপনি তিনটি CAPTCHA row-এর কোনটিতে পড়েছেন, তার ওপর পরবর্তী পদক্ষেপ নির্ভর করে। কোন exception আপনার instance record করেছে তা জানার পর CAPTCHA error-এর জন্য আলাদা সমাধান রয়েছে।

SearXNG-এর সঙ্গে থাকা searx/settings.yml-এ 23 October 2026 তারিখে এই value-গুলো যাচাই করা হয়েছে। Settings documentation-এ এখনও পুরোনো এবং দীর্ঘতর value দেখানো হয়: too-many-requests-এর জন্য এক ঘণ্টা, access denied এবং সাধারণ CAPTCHA-এর জন্য এক দিন। তাই এমন কোনো page-এর চেয়ে আপনার instance যে file আসলে load করে, সেটিকে বেশি নির্ভরযোগ্য ধরুন।

সাধারণ failure-এর জন্য আলাদা settings ব্যবহৃত হয়। Timeout বা failed connection হলে engine-টি search.ban_time_on_fail seconds-এর জন্য suspend হয়, যার default 5। তবে এটি কখনও search.max_ban_time_on_fail-এর চেয়ে বেশি হয় না, যার default 120। Parse error /stats/errors-এ record হয়, কিন্তু engine-টিকে suspend করে না। তাই ধীর engine কয়েক seconds-এর মধ্যে নিজে থেকে recover করে, আর CAPTCHA পাঠানো engine এক ঘণ্টা বা তারও বেশি সময় unavailable থাকে। এই পার্থক্য থেকেই একটি আপাতদৃষ্টিতে random সমস্যা দেখা যায়: প্রথমে results ঠিক থাকে, তারপর কোনো একটি engine-এর results এক ঘণ্টা করে অদৃশ্য হয়ে যায়।

কাউকে দোষ দেওয়ার আগে timeout ঠিক করা উচিত। Default request_timeout হলো 3.0 seconds। কোনো ছোট VPS যদি engine-এর নিকটতম edge server থেকে অনেক দূরে থাকে, এই সময়সীমাও কম হতে পারে।

outgoing:
  request_timeout: 3.5
  max_request_timeout: 10.0
engines:
  - name: bing
    timeout: 5.0

request_timeout হলো প্রতিটি engine-এর default, max_request_timeout হলো সর্বোচ্চ সীমা, এবং কোনো নির্দিষ্ট engine-এর নিজস্ব timeout থাকতে পারে। এগুলো বাড়ালে page latency বাড়ে, তবে failure কমে। তাই সরাসরি 10-এ না গিয়ে half-second করে বাড়ান এবং /stats/errors monitor করুন।

কোনো engine সত্যিই আপনার address block করলে সেটি সরিয়ে দিন। প্রতিটি search তার ধীরতম engine-এর জন্য অপেক্ষা করে। তাই স্থায়ীভাবে suspended কোনো engine রেখে দিলে latency বাড়ে এবং কোনো ফলাফল ফেরত আসে না।

use_default_settings:
  engines:
    remove:
      - google

docker compose restart core দিয়ে পরিবর্তন প্রয়োগ করুন। এরপর কয়েকটি search চালিয়ে /stats/errors reload করুন। বাস্তব ব্যবহারের পাঁচ মিনিট পরও page খালি থাকলে বুঝবেন পরিবর্তনটি কাজ করেছে।

একটি ডেটাসেন্টার IP-কে বট হিসেবে গণ্য করা হবে

আপনার VPS-এর ঠিকানাটি একটি হোস্টিং রেঞ্জের অন্তর্ভুক্ত, এবং বড় সার্চ ইঞ্জিনগুলো এই রেঞ্জগুলোকে অটোমেশন হিসেবে চিহ্নিত করে। এদের মধ্যে কিছু ইঞ্জিন এমন ঠিকানা থেকে আসা প্রতিটি অনুরোধের জন্য CAPTCHA প্রদর্শন করে, তা আপনার হেডার যতই মার্জিত হোক বা অনুরোধের গতি যতই ধীর হোক না কেন। settings.yml-এ এমন কোনো সেটিং নেই যা এই সিদ্ধান্ত পরিবর্তন করতে পারে। সার্চ ইঞ্জিনগুলো আপনার সার্ভারকে দেখছে, কোনো ব্যক্তিকে নয়—এটিই সেই গোপনীয়তার বিনিময় যা আপনি সেলফ-হোস্টিংয়ের মাধ্যমে করেছেন। আপনি ধরে নেওয়ার আগে যে এটি সবকিছু আড়াল করে, SearXNG আসলে কতটা আড়াল করে তা পড়ে দেখা জরুরি।

আপনি যা পরিবর্তন করতে পারেন তা হলো, আপনি কোন ইঞ্জিনগুলোকে অনুরোধ করছেন এবং আপনার ইনস্ট্যান্সটি সর্বজনীনভাবে তালিকাভুক্ত কি না। একটি পরিবার দ্বারা ব্যবহৃত ব্যক্তিগত ইনস্ট্যান্স খুব কমই কোনো সমস্যার সম্মুখীন হয়। হোস্টিং IP-তে থাকা একটি পাবলিক ইনস্ট্যান্স কঠোর ইঞ্জিনগুলোর কাছ থেকে বারবার নিষেধাজ্ঞা পেতে পারে, এবং এটি সফটওয়্যারের একটি স্বাভাবিক অবস্থা, আপনার কনফিগারেশনের কোনো ত্রুটি নয়। SearXNG outgoing.proxies বা outgoing.using_tor_proxy ব্যবহার করে প্রক্সির মাধ্যমে ইঞ্জিনের অনুরোধগুলো পাঠাতে পারে, যা ট্রাফিককে অন্য একটি ঠিকানায় সরিয়ে নেয়। এক্সিট নোড এবং সস্তা প্রক্সি পুলের স্কোর হোস্টিং রেঞ্জের চেয়েও খারাপ হয়, তাই এই পদক্ষেপের ফলে সার্চ রেজাল্ট আরও খারাপ হওয়ার আশঙ্কা থাকে।

ইনস্ট্যান্সটি পর্যবেক্ষণ করুন যাতে আপনি সবার আগে জানতে পারেন

SearXNG-এর সব ইঞ্জিন সাসপেন্ড করা থাকলেও এটি তার পোর্টে রেসপন্স দেয়, তাই শুধুমাত্র স্ট্যাটাস কোড চেক করে আপটাইম মনিটর করলে সেটি সবসময় গ্রিন দেখাবে, যদিও ইনস্ট্যান্সটি আসলে কোনো ফলাফল দিচ্ছে না। এর পরিবর্তে কন্টেন্ট চেক করুন: একটি রিয়েল সার্চ রিকোয়েস্ট পাঠান এবং রেসপন্স বডিতে প্রত্যাশিত কোনো শব্দ আছে কি না তা যাচাই করুন। Uptime Kuma keyword monitoring কোনো অতিরিক্ত টুল ছাড়াই ঠিক এই কাজটি করে। প্রতিটি ভার্সন আপডেটের পর /stats/errors পর্যবেক্ষণ করুন, কারণ ইঞ্জিনগুলো তাদের HTML পরিবর্তন করলে কোনো রেট লিমিট ছাড়াই পার্সার কাজ করা বন্ধ করে দিতে পারে।

FAQ

SearXNG-কে reverse proxy-এর পেছনে রাখার পর কেন প্রতিটি visitor-এর জন্য 429 ফেরত আসে?

কারণ limiter proxy-কে client হিসেবে গণনা করছে। সংযোগকারী address-টি /etc/searxng/limiter.toml-এর trusted_proxies-এ তালিকাভুক্ত থাকলেই SearXNG X-Forwarded-For পড়ে। এটি তালিকাভুক্ত না থাকলে সব visitor একই counter ভাগ করে নেয় এবং 10 মিনিটে 150 requests-এর সীমা একসঙ্গে অতিক্রম করে। আপনার proxy যে address থেকে সংযোগ করে, সেটি যোগ করুন। Docker-এ এটি সাধারণত bridge range 172.16.0.0/12। Proxy যেন X-Real-IP এবং X-Forwarded-For পাঠায়, তা নিশ্চিত করুন। আপনি নিয়ন্ত্রণ করেন না এমন কোনো range কখনো তালিকাভুক্ত করবেন না। কারণ trusted network থাকলে যেকোনো visitor ওই header সেট করে প্রতিটি request-এর জন্য নতুন identity বেছে নিতে পারে।

SearXNG limiter প্রতি ঘণ্টায় কত API request অনুমোদন করে?

প্রতি IP address-এ প্রতি ঘণ্টায় 4টি। HTML ছাড়া অন্য format চাওয়া যেকোনো request আলাদা এক ঘণ্টার window-এ গণনা হয়। এই সংখ্যা limiter.toml-এ নয়, searx/botdetection/ip_limit.py-এ নির্ধারিত হয়। তাই config থেকে এটি বাড়ানো যায় না। একটি agent বা script একটি task-এ এই সীমা অতিক্রম করে। limiter.toml-এর pass_ip-এ তালিকাভুক্ত address unrestricted access পায় এবং একেবারেই গণনা হয় না। তাই client-এর address সেখানে যোগ করুন, অথবা internal network-এর মাধ্যমে instance-এ পৌঁছান, যেখানে limiter request-টি দেখতে পায় না।

429 error ছাড়াই আমার search result কেন empty ফিরে আসে?

আপনার user নয়, engine-গুলো আপনার server-কে প্রত্যাখ্যান করছে। নিজের instance-এ /stats/errors খুলুন। এটি ব্যর্থ প্রতিটি engine এবং ব্যর্থতার কারণ দেখায়। CAPTCHA বা access-denied entry থাকলে বোঝায় যে engine আপনার server-এর IP address block করেছে। এরপর SearXNG engine-টি suspend করে: too-many-requests বা access-denied উত্তর পেলে 3 মিনিটের জন্য, সাধারণ CAPTCHA পেলে 1 ঘণ্টার জন্য, এবং Google বা Cloudflare CAPTCHA পেলে 1 সপ্তাহ বা তার বেশি সময়ের জন্য। কোনো local setting upstream block সরাতে পারে না। তাই যে engine আপনার address block করে সেগুলো সরিয়ে দিন এবং যেগুলো উত্তর দেয় সেগুলো রাখুন।

Private instance-এ কি limiter enable করা উচিত?

যদি আপনি ছাড়া আর কেউ instance-এ পৌঁছাতে না পারে, limiter: false রেখে দিন। এটি Valkey dependency যোগ করে এবং আপনার নিজের script block করে। এ ছাড়া, আপনার নেই এমন traffic-এর বিরুদ্ধেই এটি সুরক্ষা দেয়। Instance একটি public address পাওয়ার সঙ্গে সঙ্গে public_instance: true-সহ limiter enable করুন। এই জোড়াটি ইচ্ছাকৃত। public_instance: true সক্রিয় থাকা অবস্থায় কার্যকর Valkey না থাকলে process status 1 দিয়ে exit করে, অরক্ষিত অবস্থায় চলে না।

এই লেখাটি কি কাজে লেগেছে?