VPS కోసం self-hosted Firecrawl ప్రత్యామ్నాయాలు
Draco, Hound, self-hosted Firecrawlలో RAM వినియోగం, headless browser అవసరం, API అనుకూలతను పోల్చండి. pinned install, MCP కనెక్షన్ వివరాలు కూడా ఉన్నాయి.
Self-hosted Firecrawl ప్రత్యామ్నాయం చేయాల్సిన పనులు
Self-hosted Firecrawl ప్రత్యామ్నాయానికి ఒకే ఒక పని ఉంటుంది: ఒక URLను తీసుకుని, దానిని ఏజెంట్ చదవగలిగేలా శుభ్రమైన markdown ఫార్మాట్లోకి మార్చి అందించడం. హోస్ట్ చేసిన APIలు ప్రతి పేజీకి ఛార్జ్ చేస్తాయి, కాబట్టి మీ ఏజెంట్ ఎంత ఎక్కువగా అన్వేషిస్తే బిల్లు అంత పెరుగుతుంది. మీరు ఇప్పటికే చెల్లిస్తున్న VPS ద్వారానే ఈ పనిని పూర్తి చేయవచ్చు. ఈ ప్రాజెక్టుల మధ్య ఉన్న ప్రధాన వ్యత్యాసం ఒక్కటే: మీ సర్వర్లో headless browser (విండో లేకుండా నడిచే అసలైన బ్రౌజర్ ఇంజిన్) ప్రారంభం కావాలా వద్దా?
ఈ సమాధానంపైనే మెమరీ వినియోగం, ప్రతి పేజీకి అయ్యే ఖర్చు మరియు ఏ పేజీలు ఖాళీగా వస్తాయి అనేది ఆధారపడి ఉంటుంది. ఈ గైడ్ Draco, Hound మరియు self-hosted Firecrawl రిలీజ్లను పోల్చి చూస్తుంది, వీటిలో అత్యంత తేలికైన దానిని నిర్దిష్ట వెర్షన్లో ఇన్స్టాల్ చేస్తుంది మరియు దానిని MCP (model context protocol) ద్వారా ఏజెంట్కు అనుసంధానిస్తుంది.
నాలుగు ప్రాజెక్టులు, ప్రతి ప్రాజెక్టు వాస్తవానికి ఏమిటి
Draco Rustలో రాసిన ఒకే binary. దీనికి MIT లేదా Apache-2.0 license ఉంది. draco scrape <url> markdown ను stdout కు ముద్రిస్తుంది. draco serve daemon ను నడుపుతుంది. ఇది Firecrawl ఉపయోగించే port అయిన 127.0.0.1:3002 పై అభ్యర్థనలకు సమాధానం ఇస్తుంది. 12 October 2026 నాటి documentation ప్రకారం, ఇది container image ను అందించదు. అలాగే default గా browser ను ప్రారంభించదు. 12 October 2026 నాటికి దాని upstream repository అయిన github.com/0xchasercat/draco, దాని వెనుక ఉన్న account, అలాగే release downloads అన్నీ 404 Not Found ను తిరిగి ఇస్తున్నాయి. ఆ పరిశీలన సమయానికి ఒక public fork లో source code మరియు v0.24.0 వరకు tags ఇంకా ఉన్నాయి. అయితే అది release builds ను ప్రచురించలేదు. అందువల్ల దీన్ని ఆధారంగా చేసుకుని ప్రణాళిక రూపొందించే ముందు, కింది install విభాగాన్ని చదవండి.
Firecrawl self-hosted hosted product వెనుక ఉన్న engine. దీనికి AGPL-3.0 license ఉంది. దాని docker-compose.yaml ఏడు services ను నిర్వచిస్తుంది: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb మరియు foundationdb-init. దీనితో నిజమైన crawl queue లభిస్తుంది. అయితే దానికి బదులుగా ఒక చిన్న distributed system ను నడపాలి.
Hound master-fetch repository లో ఉంటుంది. ఇది PyPIకి hound-mcp పేరుతో పంపిణీ అవుతుంది. దీనికి MIT license ఉంది. 12 October 2026 నాటికి దీని version 13.2.0, ఇది 26 August 2026 న ప్రచురించబడింది. దీనికి Python 3.11 లేదా అంతకంటే కొత్త version అవసరం. ఇది మొదట MCP server, తరువాత fetcher. ముందుగా plain HTTP ను ప్రయత్నిస్తుంది. ఆ fetch blocked గా తిరిగి వస్తే లేదా JavaScript shell ను అందిస్తే, Patchright browser కు మారుతుంది. browser-enabled setup startup సమయంలో browser ను ముందుగానే ప్రారంభిస్తుంది.
Trawl ఇక్కడ ఉంది, ఎందుకంటే ఇతర ప్రాజెక్టుల కోసం శోధిస్తున్నప్పుడు ఇది కనిపిస్తుంది. అయితే ఇది వేరే పని చేస్తుంది. *arr media stack లో FlareSolverr కు ప్రత్యామ్నాయంగా, fingerprint-patched Firefox తో JavaScript challenges మరియు CAPTCHAs ను పరిష్కరిస్తుంది. ఇప్పుడు ఇది Markdown ను కూడా చదివి, MCP ద్వారా structured JSON ను సేకరిస్తుంది. కింది etiquette విభాగం challenge-solving పాత్ర మీ agent stack లో దీనికి స్థానం ఉందో లేదో ఎందుకు నిర్ణయిస్తుందో వివరిస్తుంది.
చిన్న VPS సర్వర్లలో browser pool సమస్యలకు ప్రధాన కారణం ఎందుకు అవుతుంది
ప్రతి open browser tab తనకు చెందిన DOM (document object model) మరియు JavaScript heap ను కలిగి ఉండే ప్రత్యేక renderer process. అందువల్ల memory వినియోగం రోజుకు fetch చేసిన pages సంఖ్యపై కాకుండా, ఒకేసారి open గా ఉన్న pages సంఖ్యపై ఆధారపడి పెరుగుతుంది. ఈ project లలో రెండు project లు ఆ ఖర్చును తమ compose files లోనే పేర్కొన్నాయి.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Firecrawl compose file తన api container కు 8 GB, Playwright container కు 4 GB memory limit ను నిర్దేశిస్తుంది. వీటికి సరిపడే swap limits కూడా ఉన్నాయి. Hound compose bundled Chromium ను కలిగి ఉన్న ఒక container కు 3 GB ను నిర్దేశిస్తుంది. ఇవి ఆ projects ఎంచుకున్న గరిష్ఠ పరిమితులు. ఇవి ప్రచురించిన figures మాత్రమే; నిశ్చలంగా ఉన్న system లో చేసిన measurements కావు. Firecrawl numbers కు అదనంగా Redis, RabbitMQ, PostgreSQL మరియు FoundationDB కూడా తమకు అవసరమైన memory ను కోరుకుంటాయి.
మీ వద్ద ఉన్న RAM కంటే ఎక్కువ ceiling ను నిర్దేశించడం వల్ల ఆ memory reserve కాదు. సర్వర్లో memory పూర్తయినప్పుడు kernel యొక్క out-of-memory killer ఒక process ను terminate చేస్తుంది. అందువల్ల application log లో error రాయకుండానే docker compose ps నుంచి container అదృశ్యమవుతుంది. Firecrawl అందించే Compose file లో automatic restart policy లేదు. కాబట్టి OOM కారణంగా terminate అయిన container stopped స్థితిలోనే ఉంటుంది; docker compose ps --all లో stopped containers కూడా ఉంటాయి. కారణం తెలియకుండా container ఆగిన తర్వాత dmesg -T | tail ను పరిశీలించండి. ఈ stack కు అవసరమైన host size పై Firecrawl ధృవీకరించిన minimum ను ప్రచురించలేదు. కాబట్టి మీ workload ఆధారంగా సర్వర్ పరిమాణాన్ని నిర్ణయించండి. ప్రతి service కు numbers నిర్దేశించే విధానం Docker Compose లో memory limits లో ఉంది.
మరో browser వివరంవల్ల కూడా troubleshooting కు ఎక్కువ సమయం పట్టవచ్చు. Docker ప్రతి container కు /dev/shm వద్ద 64 MB shared memory ఇస్తుంది. అయితే Firecrawl యొక్క Playwright service Chromium ను --disable-dev-shm-usage తో ప్రారంభిస్తుంది. అందువల్ల shared-memory files కోసం ఈ చిన్న partition ను ఉపయోగించాల్సిన అవసరం ఉండదు. Hound compose దీన్ని shm_size: "1gb" తో పెంచుతుంది. దాని dynamic browser tier Patchright ద్వారా Playwright నుంచి --disable-dev-shm-usage ను పొందుతుంది. Patchright switch removals లేదా Hound యొక్క ignore_default_args list కూడా దీన్ని తొలగించవు. Firecrawl compose లో shm_size అసలు లేదు. దాని playwright-service block CPU మరియు memory limits తో పాటు /tmp/.cache వద్ద 1 GB tmpfs ను నిర్దేశిస్తుంది. అందువల్ల ఆ container 64 MB default ను కొనసాగిస్తుంది. Playwright చుట్టూ మీరు నిర్మించే image లో Hound line ను copy చేసే ముందు Chromium launch flags ను పరిశీలించండి.
JavaScript-heavy పేజీలలో ఎక్స్ట్రాక్షన్ నాణ్యత
Static HTML, సర్వర్-రెండర్డ్ బ్లాగులు, డాక్యుమెంటేషన్ పేజీలు, వార్తా కథనాలు వంటి వాటిలో దాదాపు ఒకే విధమైన markdown వస్తుంది, కాబట్టి వేగంగా స్పందించేది విజయం సాధిస్తుంది. క్లయింట్-రెండర్డ్ పేజీలలో తేడా కనిపిస్తుంది; అక్కడ అందించబడిన HTML కేవలం ఖాళీ షెల్ వలె ఉంటుంది మరియు JavaScript లోడ్ అయిన తర్వాతే టెక్స్ట్ అందుతుంది.
Draco వివిధ స్థాయిలలో (tiers) పనిచేస్తుంది. Tier 0 మరియు tier 1 ఎటువంటి JavaScript లేకుండానే HTML ను పార్స్ చేస్తాయి. Tier 2 పేజీ యొక్క స్వంత JavaScript ను in-process V8 isolate లో రన్ చేస్తుంది. ఇది బ్రౌజర్ లేని JavaScript ఇంజిన్; README ప్రకారం, అక్కడ పేజీ కోడ్కు ఎటువంటి host capability bindings ఉండవు. ఇది బ్రౌజర్ మెమరీలో కొంత భాగాన్ని మాత్రమే వాడుకుంటూ అనేక single-page అప్లికేషన్లను కవర్ చేస్తుంది. Draco ముందుకు వెళ్లలేని పరిస్థితి ఎదురైనప్పుడు, draco scrape ఎగ్జిట్ కోడ్ 3, needs_browser తో ముగుస్తుంది. దీన్ని స్క్రిప్ట్లలో తనిఖీ చేయండి, ఎందుకంటే సున్నా ఎగ్జిట్ కోడ్తో ఉన్న ఖాళీ ఫైల్ ఏజెంట్ యొక్క కాంటెక్స్ట్ను నిశ్శబ్దంగా పాడుచేసే వైఫల్యానికి దారితీస్తుంది:
draco scrape https://example.com > page.md
echo "exit=$?"Firecrawl యొక్క playwright-service ఒక నిజమైన Chromium ను నడుపుతుంది, కాబట్టి బ్రౌజర్ దేనిని రెండర్ చేస్తుందో అది కూడా అదే రెండర్ చేస్తుంది. అయితే self-hosted బిల్డ్ అనేది హోస్ట్ చేసిన ప్రొడక్ట్ కాదు: క్లౌడ్ సర్వీస్ యొక్క అధునాతన anti-bot ఫీచర్లను కలిగి ఉండే Fire-engine ఇందులో లేదని డాక్యుమెంటేషన్ పేర్కొంది. డిఫాల్ట్ స్టాక్లో స్క్రీన్షాట్లు మరియు పేజీ యాక్షన్లు అందుబాటులో ఉండవు; Agent, Browser మరియు interact ఫీచర్ల కోసం ఇది మిమ్మల్ని Firecrawl Cloud వైపు మళ్లిస్తుంది. Hound ఉద్దేశపూర్వకంగానే ఈ రెండింటి మధ్యలో ఉంటుంది. ఇది HTTP ద్వారా డేటాను పొందుతుంది మరియు ప్రతి అభ్యర్థనకు అనుగుణంగా స్థాయిని పెంచుకుంటుంది. దీని warm browser ఒక నిర్దిష్ట idle timeout తర్వాత క్లోజ్ అవుతుంది, కాబట్టి తక్కువ లోడ్ ఉన్న సర్వర్ బేస్లైన్ వద్దే ఉంటుంది.
నిర్దిష్ట version తో Draco ను ఇన్స్టాల్ చేయండి
README ఒకే-లైన్ installer ను సూచించింది. దాన్ని shell కు pipe చేయడానికి ముందు అది చేసే పనిని చదవండి: 12 October 2026 నాటి documentation ప్రకారం, అది $HOME/.draco/bin/draco కు install చేస్తుంది, ఎల్లప్పుడూ latest release ను తీసుకుంటుంది, అలాగే signature లేదా hash ను తనిఖీ చేయదు. Server పై version ను నిర్దిష్టంగా పేర్కొని, download ను verify చేయండి. దిగువ v0.20.5 సూచనలు 12 October 2026 న తనిఖీ చేసిన setup ను అలాగే ఉంచుతాయి; నిర్దిష్టంగా ఎంచుకున్న version కు సంబంధించిన upstream documentation ను మళ్లీ తనిఖీ చేయడం సాధ్యం కాదు.
12 October 2026 నాటికి project యొక్క release downloads 404 Not Found ను ఇస్తున్నాయి, ఎందుకంటే upstream repository ఇక స్పందించడం లేదు. Project site సూచించే get.draco.sh installer domain కూడా resolve కావడం లేదు. Fetch చేయడానికి live release URL ఏదీ లేదు. అందువల్ల దిగువ commands మీరు ఇప్పటికే v0.20.5 archive, draco-linux-x86-64.tar.gz, అలాగే దాని SHA256SUMS ను /tmp లో కలిగి ఉన్న machine పై ప్రారంభమవుతాయి. ఇవి గతంలో చేసిన download నుంచి ఉంచినవి కావచ్చు లేదా మీరు విశ్వసించే machine నుంచి copy చేసినవి కావచ్చు. మీరు పరిశీలించని mirror తో ఈ లోటును పూడ్చవద్దు: అదే mirror నుంచి అందించిన checksum file binary ను నిర్ధారించదు.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSఇది draco-linux-x86-64.tar.gz: OK ను ముద్రిస్తుంది. FAILED line కనిపిస్తే, మీ వద్ద ఉన్న bytes project ప్రచురించిన bytes కావు. వాటిని తొలగించి మళ్లీ ప్రారంభించండి.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comచివరి command ఉదాహరణ page ను markdown గా ముద్రిస్తుంది. find కేవలం అలంకరణ కాదు: archive layout project యొక్క public contract లో భాగం కాదు. 12 October 2026 న చివరిసారిగా తనిఖీ చేసిన official installer కూడా binary ను ఇదే విధంగా గుర్తిస్తుంది.
మీ login user బదులుగా daemon ను దాని స్వంత account కింద నడపండి. /etc/systemd/system/draco.service ను రాయండి:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/healthdaemon listening ప్రారంభించిన వెంటనే /health సమాధానం ఇస్తుంది. Connection refused అంటే అది listening చేయడం లేదని అర్థం. అందువల్ల journalctl -u draco -n 50 ను చదవండి. సాధారణ కారణం మరొక process ఇప్పటికే 3002 ను ఉపయోగిస్తుండటం. Firecrawl యొక్క default port కూడా ఇదే. --port Draco ను తరలిస్తుంది. Self-hosted Firecrawl కు ఇలాంటి flag లేదు. దాని port Compose file లోని PORT variable నుంచి వస్తుంది. అది "${PORT:-3002}:${INTERNAL_PORT:-3002}" గా publish అవుతుంది. కాబట్టి అక్కడ published port ను మార్చి, ప్రతి client లో అదే port ను consistent గా ఉంచండి. Unit files గురించి మరింత వివరంగా: systemd service units మరియు timers.
మీ agent ఉపయోగించే విధంగా ఇప్పుడు fetch చేయండి:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'పొందింపు daemon ను public internet నుంచి దూరంగా ఉంచండి
Authentication లేని fetch API ఒక open proxy అవుతుంది. ఆ port ను చేరుకోగల ఎవరైనా మీ server ద్వారా మీ IP address కింద ఉన్న ఏ URLకైనా request పంపించవచ్చు; abuse report ఆ requestలు పంపిన వ్యక్తికి కాకుండా మీ providerకు వెళ్తుంది. 12 October 2026న document చేసిన Draco యొక్క serve flags లో API key లేదు. కాబట్టి రక్షణ network స్థాయిలో ఉండాలి. Agent అదే boxలో నడుస్తున్నప్పుడు default 127.0.0.1 bind ను ఉంచండి. Agent వేరే చోట ఉంటే, రెండు చివరలను private tunnelలో ఉంచండి. మీరు స్వయంగా host చేసే WireGuard VPN సాధారణంగా సరైన ఎంపిక. 0.0.0.0 కు బదులుగా tunnel addressకు bind చేయండి. తరువాత మరో machine నుంచి public IP ఏ సమాధానమూ ఇవ్వడం లేదని తనిఖీ చేయండి. ufw firewall ప్రాథమిక అంశాలు మరియు కనిష్ట privilege కలిగిన user accounts ఈ రెండు భాగాలను వివరిస్తాయి.
మీ agent కోడ్ మారుతుందా? ఆచరణలో API అనుకూలత
Draco Firecrawl v1 routes కు సమాధానం ఇస్తుంది: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape మరియు /v1/search. దాని README ను చివరిసారిగా 12 October 2026 న తనిఖీ చేసినప్పుడు, తెలియని fields ను అంగీకరించి విస్మరిస్తుందని పేర్కొంది. అనుకూలత మీరు అభ్యర్థించే features పై ఆధారపడి ఉంటుంది: screenshots మరియు clicks కు HTTP 422 తిరిగి వస్తుందని Draco అధికారిక site పేర్కొంటుంది. అందువల్ల unsupported page actions ను అభ్యర్థించే Firecrawl v1 client కు కొత్త base URL తో పాటు request మార్పులు కూడా అవసరం. మరో వైపు ఏమి మారిందో పరిశీలించండి: Firecrawl స్వంత self-hosting guide ఇప్పుడు /v2/scrape కు POST చేయడం ద్వారా smoke test నిర్వహిస్తుంది. ప్రస్తుత SDKs డిఫాల్ట్గా v2 ను ఉపయోగిస్తాయి, అయితే Draco site v1 routes ను జాబితా చేస్తుంది. Agent కోడ్ను మార్చే ముందు ప్రతి call ను curl తో test చేయండి. Status code ను మాత్రమే కాకుండా JSON body ను కూడా చదవండి, ఎందుకంటే ఈ implementations మధ్య ఎక్కువగా మారేది field names.
Robots.txt, rate limits మరియు పాటించాల్సిన పరిమితి
Draco డిఫాల్ట్గా robots.txt ను చదువుతుంది. 12 October 2026న చివరిసారిగా పరిశీలించిన దాని READMEలో దాన్ని నిలిపివేయడానికి --ignore-robots ను ఉపయోగించాలని పేర్కొన్నారు. Firecrawl కూడా ఇదే డిఫాల్ట్ను document చేస్తుంది. రెండింటినీ అలాగే ఉంచండి. smart_fetch కు respect_robots=True ను pass చేసినప్పుడు మాత్రమే Hound robots.txt ను తనిఖీ చేస్తుంది. కాబట్టి అక్కడ దాన్ని enable చేయండి. తరువాత మీ స్వంత వేగాన్ని సెట్ చేయండి. 12 October 2026న ఉన్న documentation ప్రకారం, Draco యొక్క --delay requests మధ్య milliseconds విరామాన్ని పెడుతుంది. --max-concurrency parallel jobs సంఖ్యను పరిమితం చేస్తుంది. Daemon default విలువ 8. Shared VPS link పై 2 నుంచి 4 వరకు ఉపయోగించడం మరింత సముచితం. మొత్తం వేగం సాధారణంగా తగ్గదు. ఎందుకంటే site rate limiting ప్రారంభిస్తే, concurrency ద్వారా ఆదా చేసిన సమయం కంటే ఎక్కువ minutes ఖర్చవుతాయి. మీరు fetch చేసిన content ను cache చేయండి. అప్పుడు రెండో agent run కు source పై ఎలాంటి అదనపు భారం ఉండదు. ఇది AI agent మీకు అయ్యే ఖర్చును నియంత్రించడం లోని అత్యల్ప ఖర్చు అంశం కూడా.
Challenge walls వేరే విషయం. వాటి కోసం Trawl ప్రత్యేకంగా రూపొందించబడింది: Cloudflare Turnstile, reCAPTCHA, hCaptcha మరియు GeeTest. Challenge wall అంటే automated traffic ను site స్పష్టంగా నిరాకరించడం. దాన్ని దాటే ప్రయత్నం site terms of use కు, కొన్ని ప్రాంతాల్లో చట్టానికి కూడా విరుద్ధంగా ఉండవచ్చు. అందువల్ల ఈ guide fetching infrastructure వరకు మాత్రమే వివరిస్తుంది. Wall ను దాటే techniques నే site owners గుర్తించి block చేస్తారు. అందువల్ల వాటిపై నిర్మించిన pipeline అనుచితమైనదే కాకుండా స్థిరంగా కూడా ఉండదు. ఒక source అంత ముఖ్యమైనదైతే, దాని RSS feed, public API లేదా bulk export కోసం చూడండి. వీటిలో ప్రతి దానిని నడపడం తక్కువ ఖర్చుతో కూడుకున్నది. Wall మారిన వారంలో ఇవేవీ విఫలం కావు.
MCP ద్వారా agent కు అనుసంధానించండి
MCP (model context protocol) అనేది agent ఒక tool ను పిలవడానికి ఉపయోగించే interface. అసలు model కు ఏ tools చేరాలి, మీ అనుమతి లేకుండా ఏ tool ను పిలవవచ్చో కూడా, దాని పైస్థాయిలో model నడిచే harness నిర్ణయిస్తుంది. అందువల్ల daemon listening స్థితిలోకి రావడం అనుసంధాన ప్రక్రియలో సగం మాత్రమే. Draco అదే binary లో stdio ద్వారా MCP server ను అందిస్తుంది:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }12 October 2026 న చివరిసారిగా పరిశీలించిన README, stdio కోసం draco_scrape, draco_discover మరియు draco_search ను జాబితా చేస్తుంది. draco_interact_* సమూహం daemon యొక్క HTTP MCP endpoint కు చెందుతుంది. Agent process మరియు binary ఒకే machine పై ఉన్నప్పుడే stdio పనిచేస్తుంది, ఎందుకంటే transport ఆ process యొక్క standard input ను ఉపయోగిస్తుంది. Agent మరొక host పై ఉంటే, Hound బదులుగా HTTP ద్వారా MCP ను అందిస్తుంది: hound --http --host 127.0.0.1 --port 8765, http://127.0.0.1:8765/mcp వద్ద endpoint ను publish చేస్తుంది. Tunnel ద్వారా ఆ endpoint ను చేరుకోవచ్చు. Transport ఎంపికలు మరియు ఏవాటిని expose చేయాలో VPS పై MCP servers నడపడం లో చూడండి.
Search తో pairs ను fetch చేయడం. Agent కేవలం fetch చేయగలిగితే, మీరు URLs అందించే వరకు అది వేచి ఉంటుంది. self-hosted SearXNG search instance ను జోడిస్తే, అది వాటిని స్వయంగా కనుగొనగలదు. ఇది SearXNG పై నిర్మించిన browser search skill మాదిరిగానే పనిచేస్తుంది. Daemon ప్రారంభమైన తర్వాత, మీరు నడిపే self-hosted AI agents లో ఏ agent కు అయినా ఇది ఒక shared service గా ఉంటుంది. Agent వైపు ఏ భాగంపై మీకు తక్కువ నమ్మకం ఉంటే, ముందుగా చిన్న agent loop ను చేతితో రాయడం ద్వారా fetch tool ఎక్కడ అనుసంధానమవుతుందో, తిరిగి పొందిన markdown ను model ఎలా ఉపయోగిస్తుందో స్పష్టంగా తెలుసుకోవచ్చు.
FAQ
AI agent కోసం పేజీలను fetch చేయడానికి headless browser అవసరమా?
చాలా పేజీలకు అవసరం లేదు. Server-rendered documentation, blogs మరియు news articles సాధారణ HTTP fetch మరియు HTML-to-markdown దశతోనే పూర్తిగా లభిస్తాయి. ప్రాజెక్ట్ గణాంకాల ప్రకారం, Draco lower tiers లో browser లేకుండా ప్రతి పేజీకి సుమారు 300 ms లో ఈ పని చేస్తుంది. Client-rendered applications లో browser తన memory వినియోగాన్ని సమర్థించుకుంటుంది, ఎందుకంటే పంపబడే HTML ఖాళీ shell గా ఉంటుంది. Browser process లేకుండానే Draco యొక్క V8 isolate ఈ మధ్యస్థ పరిస్థితుల్లో ఎక్కువ భాగాన్ని నిర్వహిస్తుంది. అది చేయలేనప్పుడు exit code 3, needs_browser, తో ముగుస్తుంది.
VPS పై self-hosted Firecrawl కు ఎంత RAM అవసరం?
దాని compose file api container కు 8 GB memory limit ను, Playwright container కు 4 GB memory limit ను నిర్దేశిస్తుంది. అదే stack Redis, RabbitMQ, PostgreSQL మరియు FoundationDBలను కూడా ప్రారంభిస్తుంది. ఈ stack కోసం ధృవీకరించిన కనీస host పరిమాణాన్ని Firecrawl ప్రచురించలేదు. Memory pressure పెరిగినప్పుడు kernel out-of-memory killer processes ను ముగిస్తుంది. ఏదైనా container ఆగిపోతే, అందించిన Compose file దాన్ని స్వయంచాలకంగా restart చేయదు. ఆగిపోయిన containers కోసం docker compose ps --all ను పరిశీలించి, dmesg -T | tail తో OOM event ను నిర్ధారించండి.
Draco Firecrawl API కు drop-in replacement గా పనిచేస్తుందా?
v1 endpoints కోసం ఇది దానికి దగ్గరగా ఉంటుంది. ఇది /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape మరియు /v1/search ను అందిస్తుంది. అయితే compatibility అభ్యర్థించిన features పై ఆధారపడి ఉంటుంది. Screenshots మరియు clicks HTTP 422 ను తిరిగి ఇస్తాయి. అందువల్ల మద్దతు లేని page actions కోరే clients కు కొత్త base URL తో పాటు requests లో కూడా మార్పులు అవసరం. Firecrawl యొక్క ప్రస్తుత SDKs default గా v2 ను ఉపయోగిస్తాయి. Draco site మాత్రం v1 routes ను జాబితా చేస్తుంది. మీ agent చేసే ప్రతి call ను ముందుగా curl తో ధృవీకరించండి.
Self-hosting scraper చేస్తున్నానంటే robots.txt ను పట్టించుకోకపోవచ్చా?
లేదు. Code ఎక్కడ నడుస్తుందనే విషయం site ఏ సమాచారాన్ని ప్రచురించిందో లేదా దాని terms ఏమి అనుమతిస్తున్నాయో మార్చదు. Draco మరియు Firecrawl రెండూ default గా robots.txt ను గౌరవిస్తాయి. మీరు స్వంతంగా నిర్వహించే sites లేదా crawl చేయడానికి లిఖితపూర్వక అనుమతి ఉన్న sites కోసం override flag అందుబాటులో ఉంటుంది. ఏ పరిస్థితిలోనైనా rate limits remote side వద్ద అమలు అవుతాయి. కాబట్టి తక్కువ concurrency తో నడిపే మర్యాదపూర్వక --delay మీ IP address పనిచేసేలా ఉంచుతుంది. Challenge wall ను అధిగమించినప్పుడే పనిచేసే stack ఎటువంటి హెచ్చరిక లేకుండా విఫలమయ్యే stack అవుతుంది.