Self-hosted Firecrawl के बेहतरीन विकल्प और तुलना
Draco, Hound और self-hosted Firecrawl की RAM खपत और headless browser आवश्यकताओं के आधार पर तुलना करें। इस गाइड में pinned install और MCP कनेक्शन की पूरी प्रक्रिया दी गई है।
Self-hosted Firecrawl विकल्प को क्या करना चाहिए
एक self-hosted Firecrawl विकल्प का मुख्य कार्य यह है: एक URL लेना और उस पेज को साफ markdown फॉर्मेट में वापस देना जिसे एक agent पढ़ सके। Hosted APIs प्रति पेज शुल्क लेती हैं, इसलिए जैसे-जैसे आपका agent अधिक जानकारी खोजता है, बिल बढ़ता जाता है। आप जिस VPS के लिए पहले से भुगतान कर रहे हैं, वह यही काम कर सकता है। ये प्रोजेक्ट्स एक सवाल पर विभाजित हैं: क्या आपके सर्वर पर एक headless browser (बिना window के चलने वाला वास्तविक browser engine) का चलना अनिवार्य है?
यह उत्तर memory footprint, प्रत्येक पेज की लागत और खाली आने वाले पेजों की संख्या निर्धारित करता है। यह गाइड Draco, Hound और self-hosted Firecrawl release की तुलना करती है, सबसे हल्के विकल्प को एक pinned version पर install करती है और उसे MCP (model context protocol) के माध्यम से एक agent से जोड़ती है।
चार प्रोजेक्ट्स और उनमें से प्रत्येक क्या है
Draco एक बाइनरी है, जिसे Rust में लिखा गया है, और यह MIT या Apache-2.0 लाइसेंस के अंतर्गत है। draco scrape <url> मार्कडाउन को stdout पर प्रिंट करता है। draco serve एक डेमन चलाता है जो 127.0.0.1:3002 पर उत्तर देता है, जो वही पोर्ट है जिसका उपयोग Firecrawl करता है। 12 अक्टूबर 2026 को प्रलेखित किए अनुसार, यह कोई कंटेनर इमेज शिप नहीं करता है और डिफ़ॉल्ट रूप से कोई ब्राउज़र शुरू नहीं करता है। 12 अक्टूबर 2026 तक, github.com/0xchasercat/draco पर इसकी अपस्ट्रीम रिपॉजिटरी, इसके पीछे का अकाउंट और इसके रिलीज़ डाउनलोड सभी 404 Not Found एरर देते हैं। उस जांच के समय तक, एक पब्लिक फोर्क में v0.24.0 तक का सोर्स और टैग मौजूद थे, लेकिन कोई रिलीज़ बिल्ड प्रकाशित नहीं किया गया था, इसलिए यदि आप इसके आधार पर योजना बना रहे हैं तो नीचे दिए गए इंस्टॉलेशन सेक्शन को जरूर पढ़ें।
Firecrawl self-hosted होस्ट किए गए प्रोडक्ट के पीछे का इंजन है, जो AGPL-3.0 के अंतर्गत आता है। इसका docker-compose.yaml सात सेवाओं को परिभाषित करता है: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb और foundationdb-init। आपको एक छोटा डिस्ट्रीब्यूटेड सिस्टम चलाने की कीमत पर वास्तविक क्रॉल कतार (crawl queue) मिलती है।
Hound master-fetch रिपॉजिटरी में रहता है और 12 अक्टूबर 2026 तक PyPI पर hound-mcp के रूप में शिप होता है, जो MIT लाइसेंस प्राप्त है और इसका वर्शन 13.2.0 है (26 अगस्त 2026 को प्रकाशित)। इसे Python 3.11 या उससे नए वर्शन की आवश्यकता है। यह पहले एक MCP सर्वर है और बाद में एक फेचर है: यह साधारण HTTP का प्रयास करता है और जब साधारण फेच ब्लॉक हो जाता है या JavaScript शेल सर्व करता है, तो यह Patchright ब्राउज़र पर एस्केलेट हो जाता है; इसका ब्राउज़र-सक्षम सेटअप स्टार्टअप पर ही ब्राउज़र को वार्म (warm) कर देता है।
Trawl यहाँ इसलिए है क्योंकि लोग दूसरों को खोजते समय इससे मिलते हैं, और यह एक अलग काम करता है। यह *arr मीडिया स्टैक में FlareSolverr के प्रतिस्थापन के रूप में, फिंगरप्रिंट-पैच्ड Firefox के साथ JavaScript चुनौतियों और CAPTCHAs को हल करता है। अब यह MCP पर मार्कडाउन भी पढ़ता है और स्ट्रक्चर्ड JSON निकालता है। नीचे शिष्टाचार (etiquette) पर दिया गया सेक्शन बताता है कि इसकी चुनौती-समाधान भूमिका यह क्यों तय करती है कि इसे आपके एजेंट स्टैक में शामिल किया जाना चाहिए या नहीं।
ब्राउज़र पूल छोटे VPS के लिए घातक क्यों है
प्रत्येक खुला ब्राउज़र टैब एक अलग रेंडरर प्रोसेस है, जिसमें अपना DOM (डॉक्यूमेंट ऑब्जेक्ट मॉडल) और अपना JavaScript हीप होता है। इसलिए मेमोरी की खपत एक ही समय पर खुले पेजों की संख्या के साथ बढ़ती है, न कि प्रति दिन फेच किए गए पेजों की संख्या के साथ। इनमें से दो प्रोजेक्ट्स ने इस लागत को अपनी compose फाइलों में स्पष्ट रूप से लिखा है।
इस चार्ट के पीछे का डेटा
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Firecrawl की compose फाइल अपने api कंटेनर को 8 GB और अपने Playwright कंटेनर को 4 GB पर सीमित करती है, साथ ही इसमें समान स्वैप सीमाएं भी हैं। Hound की compose फाइल एक ऐसे कंटेनर के लिए 3 GB सेट करती है जिसमें एक बंडल किया हुआ Chromium शामिल है। ये वे सीमाएं हैं जिन्हें प्रोजेक्ट्स ने चुना है; ये शांत सिस्टम के माप के बजाय प्रकाशित आंकड़े हैं, और Redis, RabbitMQ, PostgreSQL तथा FoundationDB को Firecrawl के आंकड़ों के अलावा भी अपनी हिस्सेदारी चाहिए।
आपके पास मौजूद RAM से अधिक की सीमा तय करने से वह मेमोरी आरक्षित नहीं हो जाती। जब बॉक्स की मेमोरी खत्म हो जाती है, तो कर्नेल का out-of-memory killer किसी प्रोसेस को समाप्त कर देता है, जिससे एक कंटेनर docker compose ps से गायब हो जाता है और एप्लिकेशन लॉग में कोई त्रुटि नहीं लिखी जाती। Firecrawl की प्रदान की गई Compose फाइल में कोई स्वचालित रीस्टार्ट पॉलिसी सेट नहीं है, इसलिए OOM-terminated कंटेनर बंद ही रहता है; docker compose ps --all में बंद कंटेनर शामिल होते हैं। किसी अस्पष्ट स्टॉप के बाद dmesg -T | tail पढ़ें। Firecrawl इस स्टैक के लिए कोई सत्यापित न्यूनतम होस्ट आकार प्रकाशित नहीं करता है, इसलिए अपने वर्कलोड के अनुसार बॉक्स का आकार निर्धारित करें। प्रति सर्विस संख्या सेट करने की जानकारी memory limits in Docker Compose में दी गई है।
ब्राउज़र का एक और विवरण लोगों की शाम खराब कर देता है। Docker एक कंटेनर को /dev/shm पर 64 MB की साझा मेमोरी देता है, लेकिन Firecrawl की Playwright सर्विस Chromium को --disable-dev-shm-usage के साथ लॉन्च करती है, जो इन साझा-मेमोरी फाइलों के लिए उस छोटे विभाजन से बचती है। Hound की compose इसे shm_size: "1gb" के साथ बढ़ाती है; इसका डायनामिक ब्राउज़र टियर Patchright के माध्यम से Playwright से --disable-dev-shm-usage इनहेरिट करता है, और न तो Patchright के स्विच रिमूवल और न ही Hound की ignore_default_args लिस्ट इसे हटाती है। Firecrawl की compose में कोई shm_size सेट नहीं है: इसका playwright-service ब्लॉक CPU और मेमोरी सीमाएं तथा /tmp/.cache पर 1 GB tmpfs सेट करता है, इसलिए वह कंटेनर 64 MB के डिफ़ॉल्ट पर ही रहता है। Hound की लाइन को Playwright के चारों ओर बनाई गई इमेज में कॉपी करने से पहले Chromium लॉन्च फ्लैग्स की जाँच करें।
JavaScript-heavy पेजों पर एक्सट्रैक्शन की गुणवत्ता
Static HTML, सर्वर-रेंडर किए गए ब्लॉग, डॉक्यूमेंटेशन पेज या समाचार लेखों के मामले में, ये सभी लगभग एक जैसा markdown लौटाते हैं और सबसे तेज़ परिणाम देने वाला विकल्प ही बेहतर होता है। अंतर client-rendered पेजों पर दिखाई देता है, जहाँ डिलीवर किया गया HTML एक खाली शेल होता है और टेक्स्ट लोड होने के बाद JavaScript के माध्यम से आता है।
Draco टियर्स (tiers) में काम करता है। Tier 0 और tier 1 बिना किसी JavaScript के HTML को पार्स करते हैं। Tier 2 पेज के अपने JavaScript को इन-प्रोसेस V8 isolate के अंदर चलाता है, जो कि बिना ब्राउज़र वाला JavaScript इंजन है। README में उल्लेख है कि पेज कोड को वहाँ कोई host capability bindings नहीं मिलती हैं। यह ब्राउज़र की तुलना में बहुत कम मेमोरी का उपयोग करके कई single-page applications को कवर कर लेता है। जब Draco किसी ऐसी बाधा का सामना करता है जिसे वह पार नहीं कर सकता, तो draco scrape कोड 3, needs_browser के साथ exit हो जाता है। इसे स्क्रिप्ट्स में चेक करें, क्योंकि शून्य exit कोड वाली खाली फाइल वह विफलता है जो चुपचाप एजेंट के कॉन्टेक्स्ट को खराब कर देती है:
draco scrape https://example.com > page.md
echo "exit=$?"Firecrawl की playwright-service एक वास्तविक Chromium को चलाती है, इसलिए यह वही रेंडर करती है जो एक ब्राउज़र रेंडर करता है। self-hosted बिल्ड अभी भी hosted प्रोडक्ट नहीं है: डॉक्यूमेंटेशन में कहा गया है कि Fire-engine, जिसमें क्लाउड सर्विस का उन्नत anti-bot व्यवहार शामिल है, इसमें मौजूद नहीं है। डिफ़ॉल्ट स्टैक में स्क्रीनशॉट और पेज एक्शन उपलब्ध नहीं हैं, और Agent, Browser तथा interact के लिए यह आपको Firecrawl Cloud पर जाने का सुझाव देता है। Hound जानबूझकर इनके बीच में स्थित है। यह HTTP पर फेच करता है और प्रति रिक्वेस्ट एस्केलेट (escalate) होता है, और इसका warm ब्राउज़र idle टाइमआउट के बाद बंद हो जाता है, जिससे एक शांत बॉक्स बेसलाइन के करीब बना रहता है।
पिन किए गए version के साथ Draco install करें
README में one-line installer दिया गया था। उसे shell में pipe करने से पहले देखें कि वह क्या करता है। 12 October 2026 को उपलब्ध documentation के अनुसार, यह $HOME/.draco/bin/draco में install करता है, हमेशा latest release लेता है और किसी signature या hash की जाँच नहीं करता। Server पर version pin करें और download verify करें। नीचे दिए गए v0.20.5 instructions में 12 October 2026 को जाँचा गया setup रखा गया है; pinned version का upstream documentation दोबारा जाँचने के लिए उपलब्ध नहीं है।
12 October 2026 तक project के release downloads 404 Not Found लौटाते हैं, क्योंकि upstream repository अब उत्तर नहीं देता। Project की site जिस get.draco.sh installer domain का विज्ञापन करती है, वह भी resolve नहीं होता। Fetch करने के लिए कोई live release URL उपलब्ध नहीं है। इसलिए नीचे दिए गए commands ऐसी machine पर शुरू होते हैं जहाँ आपके पास v0.20.5 archive, draco-linux-x86-64.tar.gz और उसका SHA256SUMS पहले से /tmp में मौजूद है। इन्हें पुराने download से रखा गया हो या आपकी विश्वसनीय machine से copy किया गया हो। इस कमी को ऐसे mirror से पूरा न करें जिसकी आपने जाँच नहीं की है। उसी mirror से उपलब्ध checksum file binary की प्रामाणिकता सिद्ध नहीं करती।
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSयह draco-linux-x86-64.tar.gz: OK print करता है। FAILED line का अर्थ है कि आपके पास मौजूद bytes project द्वारा प्रकाशित bytes से अलग हैं। इन्हें delete करके फिर से शुरू करें।
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comअंतिम command example page को markdown के रूप में print करता है। find केवल सजावटी नहीं है। Archive layout project के public contract का हिस्सा नहीं है, और 12 October 2026 को अंतिम बार जाँचा गया official installer binary को इसी तरह locate करता है।
Daemon को अपने login user के बजाय उसके लिए बनाए गए account के अंतर्गत चलाएँ। /etc/systemd/system/draco.service लिखें:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/healthDaemon listening शुरू करते ही /health उत्तर देता है। Connection refused का अर्थ है कि वह listening नहीं कर रहा है। इसलिए journalctl -u draco -n 50 पढ़ें। सामान्य कारण यह है कि कोई दूसरा process पहले से 3002 पर port hold कर रहा है, क्योंकि यह Firecrawl का default port भी है। --port Draco को दूसरे port पर चलाता है। Self-hosted Firecrawl में ऐसा कोई flag नहीं है। उसका port Compose file में PORT variable से आता है और "${PORT:-3002}:${INTERNAL_PORT:-3002}" के रूप में publish होता है। इसलिए वहीं published port बदलें और सभी clients में वही port रखें। Unit files के बारे में अधिक जानकारी के लिए: systemd service units और timers।
अब उसी तरीके से fetch करें जिस तरीके से आपका agent fetch करेगा:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'सार्वजनिक इंटरनेट से fetch daemon को दूर रखें
Authentication के बिना fetch API एक open proxy है। जिस किसी को भी port तक पहुँच मिलती है, वह आपके server से आपके IP address के अंतर्गत किसी भी URL पर request भेज सकता है। Abuse report आपके provider के पास जाएगी, उस व्यक्ति के पास नहीं। 12 October 2026 को documented Draco के serve flags में API key नहीं थी, इसलिए सुरक्षा network पर निर्भर होनी चाहिए। जब agent उसी box पर चलता है, तो default 127.0.0.1 bind बनाए रखें। जब agent किसी अन्य स्थान पर हो, तो दोनों सिरों को private tunnel पर रखें। आपके द्वारा host किया गया WireGuard VPN सामान्य विकल्प है। इसके बाद 0.0.0.0 के बजाय tunnel address पर bind करें। फिर किसी दूसरी machine से जाँचें कि public IP किसी request का उत्तर नहीं देता। ufw firewall की मूल बातें और least privilege user accounts इस व्यवस्था के दोनों हिस्सों को कवर करते हैं।
क्या आपके agent का code बदलेगा? व्यवहार में API compatibility
Draco Firecrawl v1 routes का उत्तर देता है: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape और /v1/search। इसके README में 12 October 2026 को अंतिम बार जाँच की गई जानकारी के अनुसार unknown fields स्वीकार और अनदेखे किए जाते हैं। Compatibility requested features पर निर्भर करती है। Draco की official site बताती है कि screenshots और clicks के लिए HTTP 422 लौटता है। इसलिए unsupported page actions का अनुरोध करने वाले Firecrawl v1 client में नए base URL के साथ request changes भी आवश्यक हैं। दूसरे पक्ष में क्या बदला है, इस पर ध्यान दें। Firecrawl की अपनी self-hosting guide अब /v2/scrape पर POST के साथ smoke test करती है। Current SDKs डिफ़ॉल्ट रूप से v2 का उपयोग करते हैं, जबकि Draco की site v1 routes सूचीबद्ध करती है। Agent code संपादित करने से पहले प्रत्येक call को curl के साथ test करें। JSON body पढ़ें, केवल status code पर निर्भर न रहें, क्योंकि इन implementations के बीच सबसे अधिक अंतर field names में होता है।
Robots.txt, rate limits और जिस सीमा के भीतर रहना चाहिए
Draco डिफ़ॉल्ट रूप से robots.txt पढ़ता है, और 12 October 2026 को अंतिम बार जाँचे गए उसके README में इसे बंद करने के लिए --ignore-robots दर्ज है। Firecrawl भी यही डिफ़ॉल्ट बताता है। दोनों को ऐसे ही रहने दें। Hound robots.txt की जाँच केवल तब करता है जब respect_robots=True को smart_fetch में पास किया जाता है, इसलिए उसे वहीं सक्षम करें। इसके बाद अपनी गति तय करें: 12 October 2026 को उपलब्ध documentation के अनुसार, Draco का --delay requests के बीच milliseconds का अंतर रखता है और --max-concurrency parallel jobs की सीमा तय करता है; daemon का डिफ़ॉल्ट मान 8 है। साझा VPS link पर 2 से 4 अधिक उचित है और कुल मिलाकर शायद ही धीमा होता है, क्योंकि rate limiting शुरू करने वाली site से बचाए गए concurrency समय की तुलना में आपको अधिक minutes गंवाने पड़ते हैं। जो data fetch करें उसे cache करें, ताकि agent के दूसरे run में source पर कोई अतिरिक्त load न पड़े। यह AI agent की लागत नियंत्रित करने का सबसे सस्ता हिस्सा भी है।
Challenge walls अलग विषय हैं, और Trawl इसी काम के लिए बनाया गया है: Cloudflare Turnstile, reCAPTCHA, hCaptcha और GeeTest। Challenge wall का सीधा अर्थ है कि site automated traffic को अस्वीकार कर रही है। इसे bypass करने का प्रयास site की terms of use का उल्लंघन हो सकता है और कुछ स्थानों पर कानून का भी, इसलिए यह guide केवल fetching infrastructure तक सीमित है। किसी wall को पार करने वाली वही techniques site owners की निगरानी और blocking का लक्ष्य बनती हैं, इसलिए उन पर बना कोई भी pipeline असभ्य होने के साथ-साथ fragile भी होता है। जब कोई source इतना महत्वपूर्ण हो, तो उसका RSS feed, public API या bulk export खोजें। इनमें से हर विकल्प चलाने में सस्ता है और wall बदलने वाले सप्ताह में इनमें से कोई भी बंद नहीं होता।
इसे MCP के माध्यम से एक एजेंट से जोड़ें
MCP (model context protocol) वह इंटरफ़ेस है जिसका उपयोग एक एजेंट किसी टूल को कॉल करने के लिए करता है। कौन से टूल मॉडल तक पहुँच सकते हैं, और क्या उसे आपसे पहले पूछे बिना किसी टूल को कॉल करने की अनुमति है, यह निर्णय एक स्तर ऊपर उस हार्नेस द्वारा लिया जाता है जिसके अंदर मॉडल चलता है, इसलिए डेमन को लिसनिंग मोड में लाना वायरिंग का केवल आधा हिस्सा है। Draco उसी बाइनरी में, stdio के माध्यम से एक MCP सर्वर रखता है:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }12 October 2026 को अंतिम बार जाँची गई README, stdio के लिए draco_scrape, draco_discover और draco_search को सूचीबद्ध करती है; draco_interact_* सेट डेमन के HTTP MCP एंडपॉइंट से संबंधित है। Stdio केवल तब काम करता है जब एजेंट प्रोसेस और बाइनरी एक ही मशीन पर हों, क्योंकि ट्रांसपोर्ट उस प्रोसेस का स्टैंडर्ड इनपुट होता है। किसी अन्य होस्ट पर मौजूद एजेंट के लिए, Hound इसके बजाय HTTP पर MCP सर्व करता है: hound --http --host 127.0.0.1 --port 8765, http://127.0.0.1:8765/mcp पर एक एंडपॉइंट पब्लिश करता है, जिसे आप टनल के माध्यम से एक्सेस करते हैं। ट्रांसपोर्ट का चुनाव और क्या एक्सपोज़ करना है, यह VPS पर MCP सर्वर चलाने के बारे में जानकारी में दिया गया है।
सर्च के साथ पेयर फेच करना। जो एजेंट केवल फेच कर सकता है, वह आपके द्वारा URL प्रदान करने की प्रतीक्षा करता है। एक self-hosted SearXNG सर्च इंस्टेंस जोड़ें और यह उन्हें स्वयं खोज सकता है, जो SearXNG पर निर्मित ब्राउज़र सर्च स्किल के समान ही है। एक बार डेमन चालू हो जाने के बाद, यह आपके द्वारा चलाए जाने वाले किसी भी self-hosted AI एजेंट के लिए एक साझा सेवा बन जाता है। यदि एजेंट वाला हिस्सा वह है जिसके बारे में आप सबसे कम सुनिश्चित हैं, तो पहले हाथ से एक छोटा एजेंट लूप लिखना यह स्पष्ट कर देता है कि फेच टूल कहाँ प्लग इन होता है और मॉडल वापस प्राप्त होने वाले मार्कडाउन के साथ क्या करता है।
FAQ
क्या AI agent के लिए pages fetch करने हेतु headless browser आवश्यक है?
अधिकांश pages के लिए नहीं। Server-rendered documentation, blogs और news articles plain HTTP fetch और HTML-to-markdown चरण से पूरी तरह प्राप्त हो जाते हैं। Draco अपने lower tiers में यही तरीका इस्तेमाल करता है और project के अनुसार लगभग 300 ms प्रति page में काम करता है। Client-rendered applications के लिए browser उपयोगी होता है, क्योंकि delivered HTML केवल एक empty shell होता है। Draco का V8 isolate browser process के बिना इस बीच की आवश्यकता को काफी हद तक पूरा करता है। यदि यह ऐसा नहीं कर पाता, तो यह exit code 3, needs_browser, के साथ समाप्त होता है।
VPS पर self-hosted Firecrawl के लिए कितनी RAM आवश्यक है?
इसकी compose file api container के लिए 8 GB और Playwright container के लिए 4 GB की memory limit निर्धारित करती है। यही stack Redis, RabbitMQ, PostgreSQL और FoundationDB भी शुरू करता है। Firecrawl ने इस stack के लिए verified minimum host size प्रकाशित नहीं किया है। Memory pressure होने पर kernel का out-of-memory killer processes समाप्त कर देता है। यदि कोई container रुक जाता है, तो दी गई Compose file उसे अपने-आप restart नहीं करती। रुके हुए containers देखने के लिए docker compose ps --all जाँचें और dmesg -T | tail से OOM event की पुष्टि करें।
क्या Draco, Firecrawl API का drop-in replacement है?
v1 endpoints के लिए यह काफी हद तक compatible है। यह /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape और /v1/search उपलब्ध कराता है। लेकिन compatibility मांगे गए features पर निर्भर करती है। Screenshots और clicks HTTP 422 लौटाते हैं। इसलिए unsupported page actions का अनुरोध करने वाले clients को request changes और नए base URL, दोनों की आवश्यकता होगी। Firecrawl के current SDKs default रूप से v2 का उपयोग करते हैं, जबकि Draco की site v1 routes सूचीबद्ध करती है। अपने agent द्वारा की जाने वाली प्रत्येक call को पहले curl से verify करें।
क्या scraper को self-host करने का अर्थ है कि मैं robots.txt को अनदेखा कर सकता हूँ?
नहीं। Code कहाँ चलता है, इससे site द्वारा प्रकाशित सामग्री या उसके terms के तहत अनुमत कार्यों में कोई बदलाव नहीं होता। Draco और Firecrawl, दोनों default रूप से robots.txt का सम्मान करते हैं। Override flag केवल उन sites के लिए है जिनके आप owner हैं या जिन्हें crawl करने की लिखित अनुमति आपने प्राप्त की है। Rate limits दूरस्थ server पर लागू होती हैं। इसलिए low concurrency वाला विनम्र --delay आपके IP address को काम करने योग्य बनाए रखता है। ऐसा stack जो केवल challenge wall को bypass करके काम करता है, बिना चेतावनी के काम करना बंद कर सकता है।