SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor

Self-hosted Firecrawl पर्याय: Draco आणि Hound तुलना

Draco, Hound आणि self-hosted Firecrawl यांची RAM वापर, headless browser गरज आणि API सुसंगतता यावर तुलना करा. MCP कनेक्शनसह योग्य व्हर्जन इन्स्टॉल करण्याची पद्धत जाणून घ्या.

Self-hosted Firecrawl पर्यायाने काय करणे आवश्यक आहे

Self-hosted Firecrawl पर्यायाचे मुख्य काम एकच आहे: एखादा URL घेणे आणि तो पेज एजंटला वाचता येईल अशा स्वच्छ markdown फॉरमॅटमध्ये परत करणे. होस्ट केलेल्या API मध्ये प्रति पेज शुल्क आकारले जाते, त्यामुळे तुमचा एजंट जितका जास्त माहिती शोधेल तितके बिल वाढत जाते. तुम्ही आधीच पैसे भरत असलेल्या VPS वर हेच काम विनामूल्य होऊ शकते. हे प्रकल्प एका प्रश्नावर विभागले गेले आहेत: तुमच्या सर्व्हरवर headless browser (विंडोशिवाय चालणारे प्रत्यक्ष ब्राउझर इंजिन) सुरू करणे आवश्यक आहे का?

या प्रश्नाचे उत्तर मेमरीचा वापर, प्रत्येक पेजचा खर्च आणि कोणती पेजेस रिकामी मिळतील हे ठरवते. हे मार्गदर्शक Draco, Hound आणि self-hosted Firecrawl रिलीजची तुलना करते, सर्वात हलका पर्याय एका ठराविक व्हर्जनवर इन्स्टॉल करते आणि त्याला MCP (model context protocol) द्वारे एजंटशी जोडते.

चार प्रकल्प आणि प्रत्येकाचे स्वरूप

Draco हे Rust मध्ये लिहिलेले एक बायनरी आहे, जे MIT किंवा Apache-2.0 परवान्याअंतर्गत उपलब्ध आहे. draco scrape <url> हे markdown ला stdout वर प्रिंट करते. draco serve हे एक daemon चालवते जे 127.0.0.1:3002 वर प्रतिसाद देते, जे Firecrawl द्वारे वापरले जाणारे पोर्ट आहे. 12 ऑक्टोबर 2026 रोजी नोंदवल्याप्रमाणे, हे कोणतेही container image देत नाही आणि डीफॉल्टनुसार कोणताही ब्राउझर सुरू करत नाही. 12 ऑक्टोबर 2026 पर्यंत, github.com/0xchasercat/draco वरील त्याचे upstream repository, त्यामागील खाते आणि त्याचे release downloads हे सर्व 404 Not Found एरर दाखवत आहेत. त्या तपासणीनुसार, एका सार्वजनिक fork मध्ये v0.24.0 पर्यंतचे source आणि tags उपलब्ध होते, परंतु कोणतेही release builds प्रकाशित केलेले नव्हते, त्यामुळे त्याभोवती नियोजन करण्यापूर्वी खालील install विभाग वाचा.

Firecrawl self-hosted हे hosted उत्पादनामागील इंजिन आहे, जे AGPL-3.0 अंतर्गत येते. त्याचे docker-compose.yaml सात सेवा परिभाषित करते: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb आणि foundationdb-init. तुम्हाला खरी crawl queue मिळते, परंतु त्यासाठी एक लहान distributed system चालवावी लागते.

Hound हे master-fetch repository मध्ये असते आणि PyPI वर hound-mcp म्हणून उपलब्ध आहे. 12 ऑक्टोबर 2026 रोजी, हे MIT परवान्याअंतर्गत आवृत्ती 13.2.0 (26 ऑगस्ट 2026 रोजी प्रकाशित) मध्ये आहे. याला Python 3.11 किंवा नवीन आवृत्तीची आवश्यकता आहे. हे प्रथम एक MCP server आहे आणि नंतर fetcher आहे: हे साधे HTTP वापरून प्रयत्न करते आणि जेव्हा साधे fetch ब्लॉक होते किंवा JavaScript shell मिळते, तेव्हा हे Patchright ब्राउझरचा वापर करते; याचे browser-enabled सेटअप सुरू होतानाच ब्राउझर तयार ठेवते.

Trawl येथे आहे कारण इतर प्रकल्पांचा शोध घेताना लोक याला भेटतात आणि हे एक वेगळे काम करते. हे JavaScript आव्हाने आणि CAPTCHAs सोडवण्यासाठी fingerprint-patched Firefox चा वापर करते, जे *arr मीडिया स्टॅक मधील FlareSolverr ला पर्याय म्हणून काम करते. आता हे Markdown वाचते आणि MCP द्वारे structured JSON देखील काढते. खालील etiquette विभाग स्पष्ट करतो की, त्याचे आव्हाने सोडवण्याचे काम तुमच्या एजंट स्टॅकमध्ये त्याला स्थान द्यायचे की नाही, हे का ठरवते.

लहान VPS बॉक्समध्ये browser pool मुळे समस्या का निर्माण होतात

उघडलेला प्रत्येक browser tab हा स्वतंत्र renderer process असतो. त्यामध्ये स्वतःचा DOM (document object model) आणि स्वतःचा JavaScript heap असतो. त्यामुळे memory चे प्रमाण दररोज fetch केलेल्या pages नुसार नाही, तर एकाच वेळी उघडलेल्या pages नुसार वाढते. या दोन्ही projects त्यांच्या compose files मध्ये हा खर्च स्पष्टपणे नमूद करतात.

तक्ताMemory ceilings each project sets in its own compose file (GB)
या तक्त्यामागील डेटा
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Firecrawl च्या compose file मध्ये त्याच्या api container साठी 8 GB आणि Playwright container साठी 4 GB ची कमाल मर्यादा आहे. त्यांच्यासाठी swap limits देखील त्याच प्रमाणात आहेत. Hound च्या compose मध्ये bundled Chromium असलेल्या एका container साठी 3 GB सेट केले आहे. या मर्यादा projects ने ठरवलेल्या आहेत. त्या शांत system वरील measurements नसून प्रकाशित केलेले आकडे आहेत. तसेच Redis, RabbitMQ, PostgreSQL आणि FoundationDB यांना Firecrawl च्या आकड्यांव्यतिरिक्त स्वतःसाठी memory आवश्यक असते.

तुमच्याकडे असलेल्या RAM पेक्षा जास्त memory ceiling सेट केल्याने ती memory reserve होत नाही. बॉक्सची memory संपल्यावर kernel चा out-of-memory killer एखादी process बंद करतो. त्यामुळे application log मध्ये कोणतीही error नोंदवली न जाता container docker compose ps मधून नाहीसा होऊ शकतो. Firecrawl च्या पुरवलेल्या Compose file मध्ये automatic restart policy सेट केलेली नाही. त्यामुळे OOM मुळे बंद झालेला container stopped स्थितीतच राहतो; docker compose ps --all मध्ये stopped containers देखील समाविष्ट असतात. कारण न समजता stop झाल्यावर dmesg -T | tail वाचा. या stack साठी Firecrawl ने host च्या verified minimum size चे कोणतेही प्रमाणित आकडे प्रकाशित केलेले नाहीत. त्यामुळे तुमच्या workload नुसार बॉक्सचा आकार ठरवा. प्रत्येक service साठी ही संख्या कशी सेट करायची हे Docker Compose मधील memory limits मध्ये स्पष्ट केले आहे.

Browser संदर्भातील आणखी एक बाब तपासली नाही, तर troubleshooting मध्ये बराच वेळ जातो. Docker container ला /dev/shm येथे 64 MB shared memory देतो. मात्र Firecrawl ची Playwright service Chromium सुरू करताना --disable-dev-shm-usage वापरते. त्यामुळे shared-memory files साठी असलेले हे छोटे partition वापरले जात नाही. Hound च्या compose मध्ये shm_size: "1gb" वापरून ही मर्यादा वाढवली आहे. त्याचा dynamic browser tier Patchright मार्फत Playwright कडून --disable-dev-shm-usage inherit करतो. Patchright मधून switches काढलेले असले, किंवा Hound ची ignore_default_args list वापरली असली, तरी ही मर्यादा काढली जात नाही. Firecrawl च्या compose मध्ये shm_size अजिबात सेट केलेले नाही. त्याच्या playwright-service block मध्ये CPU आणि memory limits तसेच /tmp/.cache येथे 1 GB tmpfs सेट केले आहे. त्यामुळे त्या container मध्ये 64 MB ची default मर्यादा कायम राहते. Playwright भोवती तुम्ही तयार करत असलेल्या image मध्ये Hound ची line वापरण्यापूर्वी Chromium चे launch flags तपासा.

JavaScript-heavy पेजेसवर एक्सट्रॅक्शनची गुणवत्ता

स्टॅटिक HTML, सर्व्हर-रेंडर केलेले ब्लॉग, डॉक्युमेंटेशन पेजेस किंवा बातम्यांचे लेख यांसारख्या गोष्टींमध्ये जवळजवळ सारखेच markdown मिळते आणि जो सर्वात जलद प्रतिसाद देतो तो यशस्वी ठरतो. फरक तेव्हा जाणवतो जेव्हा पेज क्लायंट-साइड रेंडर केलेले असते, जिथे सुरुवातीला मिळालेले HTML रिकामे असते आणि मजकूर लोड झाल्यानंतर JavaScript द्वारे येतो.

Draco टप्प्याटप्प्याने प्रगत होते. Tier 0 आणि Tier 1 कोणत्याही JavaScript शिवाय HTML पार्स करतात. Tier 2 पेजचा स्वतःचा JavaScript कोड एका इन-प्रोसेस V8 isolate मध्ये चालवते. हे एक असे JavaScript इंजिन आहे ज्याच्या भोवती ब्राउझर नसतो आणि README नुसार पेज कोडला तिथे कोणतीही होस्ट कॅपॅबिलिटी बाइंडिंग मिळत नाही. हे अनेक single-page applications साठी ब्राउझरच्या तुलनेत खूप कमी मेमरी वापरून काम पूर्ण करते. जेव्हा Draco ला एखादी अडचण येते जी ती ओलांडू शकत नाही, तेव्हा draco scrape कोड 3 सह एक्झिट होते, म्हणजेच needs_browser. हे स्क्रिप्ट्समध्ये तपासा, कारण शून्य एक्झिट कोड असलेली रिकामी फाईल ही अशी चूक आहे जी एजंटच्या संदर्भाला (context) शांतपणे दूषित करते:

draco scrape https://example.com > page.md
echo "exit=$?"

Firecrawl ची playwright-service प्रत्यक्ष Chromium चालवते, त्यामुळे ब्राउझर जे रेंडर करतो तेच हे रेंडर करते. self-hosted बिल्ड हे क्लाउड उत्पादनासारखे नसते: डॉक्युमेंटेशननुसार Fire-engine, ज्यामध्ये क्लाउड सर्व्हिसचे प्रगत anti-bot फीचर्स असतात, ते यामध्ये समाविष्ट नाही. तसेच, डीफॉल्ट स्टॅकमध्ये स्क्रीनशॉट्स आणि पेज ॲक्शन्स उपलब्ध नाहीत आणि Agent, Browser व interact साठी ते तुम्हाला Firecrawl Cloud वापरण्याचा सल्ला देतात. Hound हे मुद्दामहून या दोघांच्या मध्ये ठेवले आहे. ते HTTP द्वारे डेटा मिळवते आणि प्रत्येक विनंतीनुसार प्रगत होत जाते. त्याचा warm browser आयडल टाइमआऊटनंतर बंद होतो, त्यामुळे कमी वापराच्या सर्व्हरवर रिसोर्सचा वापर बेसलाईनच्या जवळच राहतो.

पिन केलेली आवृत्ती वापरून Draco install करा

README मध्ये one-line installer दिला होता. तो shell कडे pipe करण्यापूर्वी तो काय करतो ते वाचा: 12 October 2026 रोजीच्या दस्तऐवजीकरणानुसार, तो $HOME/.draco/bin/draco मध्ये install करतो, नेहमी latest release घेतो आणि कोणतीही signature किंवा hash तपासत नाही. सर्व्हरवर version pin करा आणि download पडताळा. खालील v0.20.5 सूचना 12 October 2026 रोजी तपासलेली setup कायम ठेवतात; पुन्हा पडताळणी करण्यासाठी pinned version चे upstream documentation उपलब्ध नाही.

12 October 2026 पर्यंत प्रकल्पाच्या release downloads कडून 404 Not Found मिळते, कारण upstream repository आता प्रतिसाद देत नाही. तसेच प्रकल्पाच्या site वर दिलेला get.draco.sh installer domain resolve होत नाही. Fetch करण्यासाठी कोणताही live release URL उपलब्ध नाही. त्यामुळे खालील commands अशा मशीनवर सुरू होतात जिथे v0.20.5 archive, draco-linux-x86-64.tar.gz आणि त्याचे SHA256SUMS हे आधीपासून /tmp मध्ये उपलब्ध आहेत. हे आधीच्या download मधून जतन केलेले किंवा तुमचा विश्वास असलेल्या मशीनवरून copy केलेले असावेत. तुम्ही तपासलेला नसलेला mirror वापरून ही उणीव भरू नका: त्याच mirror वरून दिलेली checksum file binary ची सत्यता सिद्ध करत नाही.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

यातून draco-linux-x86-64.tar.gz: OK प्रदर्शित होते. FAILED line दिसल्यास तुमच्याकडील bytes प्रकल्पाने प्रकाशित केलेल्या bytes सारखे नाहीत. ते delete करून पुन्हा सुरुवात करा.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

शेवटचा command example page markdown म्हणून प्रदर्शित करतो. find हा केवळ सजावटीसाठी नाही: archive layout हा प्रकल्पाच्या public contract चा भाग नाही. 12 October 2026 रोजी शेवटची तपासलेली official installer binary शोधण्यासाठी हीच पद्धत वापरते.

Daemon तुमच्या login user ऐवजी त्याच्या स्वतंत्र account अंतर्गत चालवा. /etc/systemd/system/draco.service लिहा:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

Daemon listening सुरू होताच /health उत्तर देते. Connection refused म्हणजे daemon listening करत नाही. त्यामुळे journalctl -u draco -n 50 वाचा. नेहमीचे कारण म्हणजे दुसरी process आधीच 3002 वापरत असते, कारण तो Firecrawl चा default port देखील आहे. --port Draco दुसऱ्या port वर हलवते. Self-hosted Firecrawl मध्ये असा flag नाही: त्याचा port Compose file मधील PORT variable मधून येतो आणि "${PORT:-3002}:${INTERNAL_PORT:-3002}" म्हणून publish केला जातो. त्यामुळे तेथील published port बदला आणि प्रत्येक client मध्ये तोच port ठेवा. Unit files चे अधिक सविस्तर वर्णन: systemd service units आणि timers.

तुमचा agent ज्या पद्धतीने fetch करेल, त्याच पद्धतीने आता fetch करा:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

सार्वजनिक इंटरनेटपासून fetch daemon दूर ठेवा

Authentication नसलेला fetch API हा open proxy असतो. ज्या कोणालाही त्या पोर्टपर्यंत पोहोचता येते, तो तुमच्या IP address अंतर्गत कोणत्याही URL साठी तुमच्या सर्व्हरकडून विनंती पाठवू शकतो. त्याच्या गैरवापराचा अहवाल त्याला नव्हे, तर तुमच्या provider कडे जातो. 12 October 2026 रोजी दस्तऐवजीकरण केलेल्या Draco च्या serve flags मध्ये API key नव्हती. त्यामुळे संरक्षण नेटवर्क स्तरावर द्यावे लागते. Agent त्याच मशीनवर चालत असल्यास default 127.0.0.1 bind कायम ठेवा. Agent दुसऱ्या ठिकाणी असल्यास, दोन्ही टोकांना private tunnel वर ठेवा. तुम्ही स्वतः host केलेला WireGuard VPN हा यासाठी नेहमीचा पर्याय आहे. त्यानंतर 0.0.0.0 ऐवजी tunnel address वर bind करा. मग दुसऱ्या मशीनवरून तपासा की public IP कोणत्याही विनंतीला उत्तर देत नाही. ufw firewall ची मूलभूत माहिती आणि किमान विशेषाधिकार असलेली user accounts या व्यवस्थेच्या दोन बाजू स्पष्ट करतात.

तुमच्या agent code मध्ये बदल करावा लागेल का? प्रत्यक्ष वापरातील API compatibility

Draco Firecrawl v1 routes साठी /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape आणि /v1/search यांना प्रतिसाद देतो. 12 October 2026 रोजी शेवटचे तपासलेले त्याचे README सांगते की अज्ञात fields स्वीकारले जातात आणि दुर्लक्षित केले जातात. Compatibility ही मागितलेल्या features वर अवलंबून असते. Draco च्या अधिकृत साइटनुसार screenshots आणि clicks HTTP 422 परत करतात. त्यामुळे unsupported page actions मागणाऱ्या Firecrawl v1 client साठी नवीन base URL सोबत request मध्येही बदल करावे लागतात. दुसऱ्या बाजूला काय बदलले आहे ते तपासा. Firecrawl च्या स्वतःच्या self-hosting guide मध्ये आता /v2/scrape कडे POST करून smoke test केला जातो. सध्याचे SDKs default ने v2 वापरतात, तर Draco च्या साइटवर v1 routes दिले आहेत. agent code संपादित करण्यापूर्वी प्रत्येक call ची curl ने चाचणी करा. JSON body वाचा; केवळ status code वर अवलंबून राहू नका. कारण या implementations मध्ये बदल प्रामुख्याने field names मध्ये आढळतात.

Robots.txt, rate limits आणि पाळायची मर्यादा

Draco defaultनुसार robots.txt वाचतो. 12 October 2026 रोजी शेवटचे तपासलेले त्याचे README हे बंद करण्यासाठी --ignore-robots नोंदवते. Firecrawl मध्येही हाच default नोंदवला आहे. दोन्ही तसेच ठेवा. Hound robots.txt हे केवळ respect_robots=True हा पर्याय smart_fetch ला दिल्यावर तपासतो. त्यामुळे तो तेथे enable करा. त्यानंतर स्वतःचा वेग ठरवा. 12 October 2026 रोजी उपलब्ध दस्तऐवजानुसार, Draco मधील --delay विनंत्यांमध्ये milliseconds चे अंतर ठेवते आणि --max-concurrency समांतर jobs ची संख्या मर्यादित करते; daemon चा default 8 आहे. Shared VPS link वर दोन ते चार requests अधिक योग्य ठरतात आणि एकूण वेळ क्वचितच जास्त लागतो. कारण एखादी साइट तुम्हाला rate limiting सुरू केल्यास, concurrency मुळे वाचलेल्या वेळेपेक्षा जास्त मिनिटे खर्च होतात. तुम्ही fetch केलेला data cache करा, म्हणजे दुसऱ्यांदा agent run केल्यावर source वर कोणताही अतिरिक्त भार पडणार नाही. AI agent मुळे होणारा खर्च नियंत्रित करणे हा त्यासाठीचा सर्वात कमी खर्चाचा उपाय आहे.

Challenge walls हा स्वतंत्र विषय आहे आणि Trawl याच कामासाठी तयार केलेले आहे: Cloudflare Turnstile, reCAPTCHA, hCaptcha आणि GeeTest. Challenge wall म्हणजे साइटने automated traffic नाकारला आहे, एवढे स्पष्ट आहे. त्याभोवतीचे निर्बंध टाळण्याचा प्रयत्न केल्यास साइटच्या terms of use चे उल्लंघन होऊ शकते आणि काही ठिकाणी कायद्याचाही भंग होऊ शकतो. त्यामुळे या मार्गदर्शकात fetching infrastructure पर्यंतच माहिती दिली आहे. Challenge wall पार करण्यासाठी वापरली जाणारीच तंत्रे साइट मालक शोधून block करण्यासाठी monitor करतात. त्यामुळे त्यांवर आधारित pipeline नाजूक तर ठरतेच, पण अयोग्यही ठरते. एखादा source इतका महत्त्वाचा असेल, तर त्याचा RSS feed, public API किंवा bulk export शोधा. हे पर्याय चालवणे स्वस्त असते आणि challenge wall बदलल्यावर त्यांपैकी कोणताही पर्याय एका आठवड्यात बंद पडत नाही.

MCP एजंटशी जोडणी

MCP (model context protocol) हा असा इंटरफेस आहे ज्याचा वापर करून एजंट एखाद्या टूलला कॉल करतो. मॉडेलपर्यंत कोणती टूल्स पोहोचू शकतात आणि तुम्हाला न विचारता एखादे टूल कॉल करण्याची परवानगी आहे का, हे मॉडेल ज्या हॅरनेस (harness) मध्ये चालते त्याद्वारे ठरवले जाते, त्यामुळे डॅमन (daemon) सुरू करणे म्हणजे जोडणीचा केवळ अर्धा भाग आहे. Draco मध्ये एकाच बायनरीमध्ये MCP सर्व्हर असतो, जो stdio द्वारे काम करतो:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

12 ऑक्टोबर 2026 रोजी तपासलेल्या README मध्ये stdio साठी draco_scrape, draco_discover आणि draco_search सूचीबद्ध आहेत; draco_interact_* संच डॅमनच्या HTTP MCP एंडपॉइंटशी संबंधित आहे. Stdio फक्त तेव्हाच काम करते जेव्हा एजंट प्रक्रिया आणि बायनरी एकाच मशीनवर असतात, कारण ट्रान्सपोर्ट ही त्या प्रक्रियेची स्टँडर्ड इनपुट असते. दुसऱ्या होस्टवरील एजंटसाठी, Hound त्याऐवजी HTTP वर MCP सर्व्ह करते: hound --http --host 127.0.0.1 --port 8765 हे http://127.0.0.1:8765/mcp वर एक एंडपॉइंट प्रकाशित करते, ज्यापर्यंत तुम्ही टनेलद्वारे पोहोचू शकता. ट्रान्सपोर्टचे पर्याय आणि काय उघड करायचे (expose) हे VPS वर MCP सर्व्हर चालवणे यामध्ये दिले आहे.

सर्चसह पेअर्स मिळवणे (Fetching). जो एजंट फक्त फेच (fetch) करू शकतो, तो तुम्ही URL देण्याची वाट पाहतो. स्वतःचे SearXNG सर्च इंस्टन्स जोडा, म्हणजे तो स्वतःहून शोध घेऊ शकेल; हे SearXNG वर आधारित ब्राउझर सर्च स्किल सारखेच आहे. एकदा डॅमन सुरू झाला की, तो तुम्ही चालवत असलेल्या कोणत्याही self-hosted AI एजंटसाठी एक सामायिक सेवा म्हणून काम करतो. जर एजंटच्या बाजूने तुम्हाला खात्री नसेल, तर सुरुवातीला हाताने एक छोटा एजंट लूप लिहिणे सोपे पडते, ज्यामुळे फेच टूल कुठे जोडायचे आणि मॉडेल परत मिळालेल्या markdown सोबत काय करते, हे स्पष्ट होते.

FAQ

AI agent साठी पाने मिळवताना headless browser आवश्यक आहे का?

बहुतेक पानांसाठी नाही. Server-rendered documentation, blogs आणि news articles साध्या HTTP fetch आणि HTML-to-markdown प्रक्रियेनंतर पूर्ण स्वरूपात मिळतात. Draco च्या lower tiers मध्ये प्रकल्पाच्या आकडेवारीनुसार browser शिवाय प्रति पान सुमारे 300 ms लागतात. Client-rendered applications मध्ये browser उपयुक्त ठरतो, कारण वितरित HTML केवळ रिकामा shell असतो. Browser process न वापरता Draco चे V8 isolate या मधल्या गरजेचा मोठा भाग पूर्ण करते. ते हे करू शकत नसल्यास code 3, needs_browser, सह बंद होते.

VPS वर self-hosted Firecrawl ला किती RAM आवश्यक आहे?

त्याच्या compose file मध्ये api container साठी 8 GB आणि Playwright container साठी 4 GB ची कमाल मर्यादा निश्चित केली आहे. त्याच stack मधून Redis, RabbitMQ, PostgreSQL आणि FoundationDB देखील सुरू होतात. या stack साठी Firecrawl ने verified minimum host size प्रकाशित केलेली नाही. Memory pressure वाढल्यास kernel out-of-memory killer processes बंद करतो. एखादा container थांबल्यास दिलेली Compose file तो आपोआप पुन्हा सुरू करत नाही. थांबलेले containers पाहण्यासाठी docker compose ps --all तपासा आणि dmesg -T | tail वापरून OOM event ची पुष्टी करा.

Draco हे Firecrawl API चे drop-in replacement आहे का?

v1 endpoints साठी ते बऱ्यापैकी सुसंगत आहे. ते /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape आणि /v1/search उपलब्ध करून देते. मात्र compatibility मागितलेल्या features वर अवलंबून असते. Screenshots आणि clicks साठी HTTP 422 मिळते. त्यामुळे unsupported page actions मागणाऱ्या clients मध्ये नवीन base URL सोबत request changes देखील करावे लागतात. Firecrawl चे सध्याचे SDKs default म्हणून v2 वापरतात, तर Draco च्या site वर v1 routes दिले आहेत. तुमचा agent करत असलेला प्रत्येक call आधी curl वापरून पडताळा.

Scraper self-host केल्याने robots.txt कडे दुर्लक्ष करता येते का?

नाही. Code कुठे चालतो यामुळे site ने काय प्रकाशित केले आहे किंवा तिच्या terms नुसार काय परवानगी आहे, यात कोणताही बदल होत नाही. Draco आणि Firecrawl दोन्ही default म्हणून robots.txt चे पालन करतात. Override flag फक्त तुमच्या मालकीच्या sites साठी किंवा crawl करण्याची लेखी परवानगी असलेल्या sites साठी वापरा. Rate limits दुसऱ्या टोकावर लागूच राहतात. त्यामुळे कमी concurrency असलेला सभ्य --delay तुमचा IP address कार्यरत ठेवतो. Challenge wall निष्प्रभ करूनच चालणारा stack कोणत्याही सूचनेशिवाय बंद पडू शकतो.

हा लेख उपयुक्त होता का?

#scraping#firecrawl#ai-agents#self-hosting#markdown