Mga Firecrawl Alternative na Self-Hosted sa VPS
Ihambing ang Draco, Hound, at self-hosted Firecrawl sa RAM, headless browser, at API compatibility. May pinned install at MCP connection para sa agent.
Ano ang kailangang gawin ng isang self-hosted na alternatibo sa Firecrawl
Iisa ang pangunahing gawain ng isang self-hosted na alternatibo sa Firecrawl: tumanggap ng URL at ibalik ang laman ng page bilang malinis na markdown na kayang basahin ng agent. Naniningil ang mga hosted API batay sa bawat page, kaya lumalaki ang bill depende sa dami ng page na gustong suriin ng agent. Magagawa rin ng VPS na binabayaran mo na ang parehong gawain. Nagkakaiba ang mga proyekto sa isang tanong: kailangan bang magsimula sa server mo ang isang headless browser (tunay na browser engine na tumatakbo nang walang window)?
Tinutukoy ng sagot na iyon ang memory footprint, gastos sa bawat page, at kung aling mga page ang babalik na walang laman. Inihahambing ng gabay na ito ang Draco, Hound, at self-hosted release ng Firecrawl, ini-install ang pinakamagaan sa mga ito gamit ang naka-pin na version, at ikinokonekta ito sa isang agent sa pamamagitan ng MCP (model context protocol).
Ang apat na proyekto at kung ano talaga ang bawat isa
Ang Draco ay isang binary na isinulat sa Rust at lisensyado sa ilalim ng MIT o Apache-2.0. Ang draco scrape <url> ay nagpi-print ng markdown sa stdout. Ang draco serve ay nagpapatakbo ng daemon na tumatanggap ng request sa 127.0.0.1:3002, ang port na ginagamit ng Firecrawl. Ayon sa dokumentasyon noong 12 October 2026, wala itong container image at hindi ito awtomatikong nagsisimula ng browser. Noong 12 October 2026, ang upstream repository nito sa github.com/0xchasercat/draco, ang account na nasa likod nito, at ang mga release download nito ay pawang nagbabalik ng 404 Not Found. Sa pagsusuring iyon, may public fork pa ring naglalaman ng source at mga tag hanggang v0.24.0, ngunit wala itong inilabas na release build. Kaya basahin muna ang seksyon ng installation sa ibaba bago mo ito isama sa iyong plano.
Ang Firecrawl self-hosted ang engine sa likod ng hosted product at lisensyado sa ilalim ng AGPL-3.0. Tinutukoy ng docker-compose.yaml nito ang pitong service: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb, at foundationdb-init. Makukuha mo ang aktuwal na crawl queue, ngunit kailangan mong magpatakbo ng maliit na distributed system.
Ang Hound ay nasa repositoryong master-fetch at inilalabas sa PyPI bilang hound-mcp. MIT licensed ito at bersyon 13.2.0, na inilabas noong 26 August 2026, ayon sa kalagayan noong 12 October 2026. Kailangan nito ng Python 3.11 o mas bago. MCP server muna ito at fetcher ikalawa: sinusubukan nito ang plain HTTP at lumilipat sa Patchright browser kapag blocked ang plain fetch o JavaScript shell ang ibinibigay nito. Sa browser-enabled na setup nito, nagpapainit ito ng browser sa startup.
Nasa seksyong ito ang Trawl dahil nakikita ito ng mga tao habang hinahanap ang iba pang proyekto, ngunit iba ang ginagawa nito. Nilulutas nito ang mga JavaScript challenge at CAPTCHA gamit ang fingerprint-patched Firefox, bilang kapalit ng FlareSolverr sa isang *arr media stack. Nakakabasa na rin ito ngayon ng Markdown at kumukuha ng structured JSON sa MCP. Ipinapaliwanag ng seksyon tungkol sa etiquette sa ibaba kung bakit nakabatay sa challenge-solving role nito kung dapat ba talaga itong isama sa agent stack mo.
Bakit sa browser pool nauubusan ng resources ang maliliit na VPS
Ang bawat bukas na browser tab ay hiwalay na renderer process na may sariling DOM (document object model) at sariling JavaScript heap. Kaya nakabatay ang paggamit ng memory sa dami ng page na sabay-sabay na bukas, hindi sa dami ng page na na-fetch bawat araw. Isinasaad ng dalawang project na ito ang resource cost na iyon sa sarili nilang compose files.
Ang datos sa likod ng tsart na ito
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Nililimitahan ng Firecrawl compose file ang api container nito sa 8 GB at ang Playwright container nito sa 4 GB, kasama ang katumbas na swap limits. Nagtatakda ang compose ng Hound ng 3 GB para sa isang container na may kasamang Chromium. Mga ceiling ang mga ito na pinili at inilathala ng mga project, hindi mga sukat mula sa tahimik na system. Kailangan pa rin ng Redis, RabbitMQ, PostgreSQL, at FoundationDB ng sarili nilang bahagi bukod sa mga bilang ng Firecrawl.
Hindi nagrereserba ng memory ang ceiling na mas mataas kaysa sa RAM na mayroon ka. Kapag naubusan ng memory ang box, tinatapos ng kernel out-of-memory killer ang isang process. Dahil dito, maaaring mawala ang isang container sa docker compose ps nang walang naisulat na error sa application log. Walang automatic restart policy ang ibinigay na Compose file ng Firecrawl. Kaya nananatiling stopped ang container na tinapos ng OOM. Kasama sa docker compose ps --all ang mga stopped container. Basahin ang dmesg -T | tail pagkatapos ng hindi maipaliwanag na pag-stop. Walang inilalathalang verified minimum host size ang Firecrawl para sa stack na ito. Kaya i-size ang box batay sa workload mo. Ipinaliwanag sa mga memory limit sa Docker Compose kung paano magtakda ng mga value para sa bawat service.
May isa pang detalye tungkol sa browser na maaaring kumain ng isang buong gabi sa pag-troubleshoot. Binibigyan ng Docker ang bawat container ng 64 MB ng shared memory sa /dev/shm. Ngunit inilulunsad ng Playwright service ng Firecrawl ang Chromium gamit ang --disable-dev-shm-usage. Iniiwasan nito ang maliit na partition na iyon para sa mga shared-memory file na ito. Itinataas ito ng compose ng Hound gamit ang shm_size: "1gb". Namamana ng dynamic browser tier nito ang --disable-dev-shm-usage mula sa Playwright sa pamamagitan ng Patchright. Hindi ito inaalis ng mga switch removal ng Patchright o ng ignore_default_args list ng Hound. Walang itinatakdang shm_size ang compose ng Firecrawl. Nagtatakda ang playwright-service block nito ng CPU at memory limits at ng 1 GB tmpfs sa /tmp/.cache. Kaya nananatili sa container na iyon ang default na 64 MB. Suriin ang Chromium launch flags bago kopyahin ang linya ng Hound sa image na bina-build mo sa paligid ng Playwright.
Kalidad ng extraction sa mga page na mabigat sa JavaScript
Sa static HTML, server-rendered na blog, documentation page, o news article, halos magkakapareho ang ibinabalik na markdown, kaya ang pinakamabilis ang nananalo. Lumilitaw ang pagkakaiba sa mga client-rendered page, kung saan walang laman ang na-deliver na HTML shell at dumarating ang text mula sa JavaScript pagkatapos mag-load.
Nag-e-escalate si Draco ayon sa tier. Hindi gumagamit ng JavaScript ang Tier 0 at tier 1 kapag nagpa-parse ng HTML. Sa Tier 2, pinapatakbo ang sariling JavaScript ng page sa loob ng in-process V8 isolate. Ito ang JavaScript engine na walang browser sa paligid nito, at ayon sa README, walang host capability bindings na available sa page code doon. Sapat ito para sa maraming single-page application gamit ang maliit na bahagi lamang ng memory na kailangan ng browser. Kapag nakatagpo si Draco ng limitasyong hindi niya malalampasan, lumalabas ang draco scrape na may exit code 3, needs_browser. Suriin ito sa mga script, dahil ang walang-lamang file na may zero exit code ang tahimik na failure na sumisira sa context ng agent:
draco scrape https://example.com > page.md
echo "exit=$?"Gumagamit ang playwright-service ng Firecrawl ng aktuwal na Chromium, kaya nire-render nito ang nakikita ng browser. Hindi pa rin katumbas ng hosted product ang self-hosted build: nakasaad sa documentation na hindi kasama ang Fire-engine, na naglalaman ng advanced anti-bot behavior ng cloud service; hindi available sa default stack ang mga screenshot at page action; at para sa Agent, Browser, at interact, itinuturo ka nito sa Firecrawl Cloud. Sadyang nasa pagitan ang Hound. Kumukuha ito ng content sa HTTP at nag-e-escalate para sa bawat request. Nagsasara ang warm browser nito pagkatapos ng idle timeout, kaya nananatiling malapit sa baseline ang tahimik na server.
Mag-install ng Draco gamit ang naka-pin na bersyon
Nakadokumento sa README ang one-line installer. Basahin muna kung ano ang ginagawa nito bago ito i-pipe sa shell: ayon sa dokumentasyon noong 12 October 2026, nag-i-install ito sa $HOME/.draco/bin/draco, palagi nitong kinukuha ang latest release, at wala itong sine-check na signature o hash. Sa server, i-pin ang bersyon at i-verify ang download. Nananatili sa mga tagubilin sa ibaba para sa v0.20.5 ang setup na na-check noong 12 October 2026; hindi available para sa muling pag-check ang upstream documentation ng naka-pin na bersyon.
Noong 12 October 2026, nagbabalik ng 404 Not Found ang mga release download ng proyekto dahil hindi na sumasagot ang upstream repository, at hindi nagre-resolve ang get.draco.sh installer domain na ina-advertise ng site ng proyekto. Walang live release URL na maaaring kunan, kaya nagsisimula ang mga command sa ibaba sa isang box kung saan hawak mo na ang v0.20.5 archive, draco-linux-x86-64.tar.gz, at ang SHA256SUMS nito sa /tmp, mula sa mas naunang download o kinopya mula sa machine na pinagkakatiwalaan mo. Huwag punan ang kakulangang ito gamit ang mirror na hindi mo pa nasusuri: walang pinatutunayan ang checksum file na inihatid ng kaparehong mirror tungkol sa binary.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSIpinapakita nito ang draco-linux-x86-64.tar.gz: OK. Ibig sabihin ng linyang FAILED ay hindi tumutugma ang mga byte na hawak mo sa mga byte na inilathala ng proyekto, kaya burahin ang mga ito at magsimulang muli.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comIpinapakita ng huling command ang example page bilang markdown. Hindi palamuti ang find: hindi bahagi ng public contract ng proyekto ang layout ng archive, at hinahanap ng official installer na huling na-check noong 12 October 2026 ang binary sa parehong paraan.
Patakbuhin ang daemon gamit ang sarili nitong account sa halip na login user mo. Isulat ang /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/healthSinasagot ng /health ang request sa sandaling nakikinig na ang daemon. Ibig sabihin ng Connection refused ay hindi ito nakikinig, kaya basahin ang journalctl -u draco -n 50. Karaniwang sanhi nito ang ibang process na gumagamit na ng 3002, dahil ito rin ang default port ng Firecrawl. Inililipat ng --port ang Draco. Walang ganitong flag ang self-hosted Firecrawl: kinukuha ang port nito mula sa PORT variable sa Compose file nito, na naka-publish bilang "${PORT:-3002}:${INTERNAL_PORT:-3002}", kaya palitan doon ang published port at panatilihing pare-pareho ang gamit nito ng lahat ng client. Para sa mas malalim na pagtalakay sa unit file: systemd service units at timers.
Ngayon, kunin ito sa paraang gagamitin ng agent mo:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Panatilihing hindi direktang naaabot mula sa public internet ang fetch daemon
Ang fetch API na walang authentication ay isang open proxy. Sinumang makakaabot sa port ay maaaring magpagawa sa server mo ng request sa anumang URL gamit ang IP address mo, at sa provider mo mapupunta ang abuse report, hindi sa gumawa nito. Walang API key ang mga serve flag ng Draco na dokumentado noong 12 October 2026, kaya network ang kailangang magsilbing proteksiyon. Panatilihin ang default na 127.0.0.1 bind kapag tumatakbo ang agent sa parehong box. Kapag nasa ibang machine ang agent, ilagay ang magkabilang dulo sa isang private tunnel; karaniwang ginagamit dito ang WireGuard VPN na ikaw mismo ang nagho-host, at mag-bind sa address ng tunnel sa halip na sa 0.0.0.0. Pagkatapos, magsagawa ng check mula sa ibang machine upang matiyak na walang sinasagot ang public IP. Sinasaklaw ng mga batayan ng ufw firewall at mga user account na may least privilege ang dalawang bahaging ito.
Magbabago ba ang code ng iyong agent? API compatibility sa aktuwal na paggamit
Sinasagot ng Draco ang mga Firecrawl v1 route: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape at /v1/search. Nakasaad sa README nito, na huling sinuri noong 12 October 2026, na tinatanggap at binabalewala ang mga hindi kilalang field. Nakadepende ang compatibility sa mga hinihinging feature. Nakasaad sa opisyal na site ng Draco na nagbabalik ng HTTP 422 ang screenshots at clicks. Kaya ang Firecrawl v1 client na humihingi ng mga hindi sinusuportahang page action ay nangangailangan ng pagbabago sa request, bukod pa sa bagong base URL. Suriin kung ano ang nagbago sa kabilang panig. Sa sariling self-hosting guide ng Firecrawl, gumagamit na ito ngayon ng POST sa /v2/scrape para sa smoke test. Samantala, v2 na ang ginagamit bilang default ng mga kasalukuyang SDK, habang v1 route ang nakalista sa site ng Draco. Subukan ang bawat call gamit ang curl bago baguhin ang code ng agent. Basahin ang JSON body, hindi lamang ang status code, dahil sa mga pangalan ng field karaniwang nagkakaiba ang mga implementation.
Robots.txt, mga rate limit, at ang linyang hindi dapat lampasan
Binabasa ng Draco ang robots.txt bilang default, at idinodokumento ng README nito na huling sinuri noong 12 October 2026 ang --ignore-robots para i-disable ito. Pareho ang default na idinodokumento ng Firecrawl. Huwag baguhin ang mga iyon. Sinusuri lamang ng Hound ang robots.txt kapag ipinasa ang respect_robots=True sa smart_fetch, kaya i-enable ito roon. Pagkatapos, magtakda ng sarili mong bilis: gaya ng nakadokumento noong 12 October 2026, ang --delay ng Draco ay naglalagay ng pagitan na milliseconds sa bawat request, at nililimitahan ng --max-concurrency ang mga parallel job, na 8 ang default ng daemon. Mas maingat sa shared VPS link ang dalawa hanggang apat at bihira itong maging mas mabagal sa kabuuan, dahil mas maraming minuto ang nawawala kapag nag-rate limit ang isang site kaysa sa natitipid dahil sa concurrency. I-cache ang mga dina-download mo para walang gastos sa source ang ikalawang agent run. Ito rin ang pinakamurang line item sa pagkontrol sa gastos ng AI agent.
Hiwalay na paksa ang mga challenge wall, at para mismo rito ginawa ang Trawl: Cloudflare Turnstile, reCAPTCHA, hCaptcha, at GeeTest. Sa payak na paliwanag, tumatanggi ang isang site na tumanggap ng automated traffic kapag may challenge wall. Kapag nilampasan ito, maaaring malabag ang terms of use ng site at, sa ilang lugar, ang batas. Kaya hanggang fetching infrastructure lamang ang saklaw ng guide na ito. Ang mga technique na nakakalampas sa challenge wall ang siya ring binabantayan at bina-block ng mga site owner, kaya marupok at hindi kanais-nais ang pipeline na nakasalalay sa mga ito. Kapag ganoon kahalaga ang isang source, hanapin ang RSS feed, public API, o bulk export nito. Mas mura patakbuhin ang bawat isa, at wala sa mga ito ang biglang masisira kapag nagbago ang challenge wall.
Ikonekta ito sa isang agent gamit ang MCP
Ang MCP (model context protocol) ay interface na ginagamit ng isang agent para tumawag sa isang tool. Ang mga tool na naaabot ng model, at kung maaari itong tumawag sa isang tool nang hindi muna humihingi ng pahintulot sa iyo, ay tinutukoy sa mas mataas na layer ng harness na pinapatakbo ng model. Kaya kalahati lamang ng wiring ang pagpapa-listen sa daemon. May MCP server ang Draco sa loob ng parehong binary, gamit ang stdio:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }Ayon sa README, na huling sinuri noong 12 October 2026, ang draco_scrape, draco_discover, at draco_search ang para sa stdio. Ang set na draco_interact_* naman ay para sa HTTP MCP endpoint ng daemon. Gumagana lamang ang stdio kapag nasa iisang machine ang agent process at ang binary, dahil ginagamit ng transport ang standard input ng prosesong iyon. Para sa agent na nasa ibang host, naghahain ang Hound ng MCP sa HTTP: naglalathala ang hound --http --host 127.0.0.1 --port 8765 ng endpoint sa http://127.0.0.1:8765/mcp, na ina-access mo sa pamamagitan ng tunnel. Nasa pagpapatakbo ng mga MCP server sa isang VPS ang mga pagpipilian sa transport at ang mga dapat i-expose.
Pagkuha ng mga pair gamit ang search. Ang agent na fetch lamang ang kayang gawin ay naghihintay na magbigay ka ng mga URL. Magdagdag ng self-hosted na SearXNG search instance upang mahanap nito mismo ang mga ito, gaya ng browser search skill na binuo sa SearXNG. Kapag gumagana na ang daemon, isa itong shared service para sa alinman sa mga self-hosted AI agent na pinapatakbo mo. Kung ang agent side ang bahaging hindi ka gaanong sigurado, ang pagsulat muna ng maliit na agent loop nang mano-mano ay magpapalinaw kung saan ikinakabit ang fetch tool at kung paano ginagamit ng model ang markdown na natatanggap nito.
FAQ
Kailangan ko ba ng headless browser para kumuha ng mga page para sa AI agent?
Hindi para sa karamihan ng mga page. Kumpleto nang ibinabalik ng server-rendered na documentation, blog, at news article ang content gamit ang plain HTTP fetch at HTML-to-markdown na hakbang. Ito ang ginagawa ng Draco sa mas mababang tier nito, na ayon sa sariling figures ng proyekto ay humigit-kumulang 300 ms bawat page nang walang browser. Sulit ang memory na ginagamit ng browser para sa client-rendered application, kung saan empty shell lamang ang HTML na ipinapadala. Sinasaklaw ng V8 isolate ng Draco ang malaking bahagi ng ganitong kaso nang walang browser process. Nag-e-exit ito gamit ang code 3, needs_browser, kapag hindi nito magawa iyon.
Gaano karaming RAM ang kailangan ng self-hosted Firecrawl sa isang VPS?
Nagtatakda ang compose file nito ng 8 GB na limitasyon sa api container at 4 GB sa Playwright container. Kasama rin sa parehong stack ang Redis, RabbitMQ, PostgreSQL, at FoundationDB. Walang inilalabas ang Firecrawl na verified minimum host size para sa stack na ito. Kapag kulang ang memory, tinatapos ng kernel out-of-memory killer ang mga process. Kapag huminto ang isang container, hindi ito awtomatikong nire-restart ng ibinigay na Compose file. Suriin ang docker compose ps --all para sa mga tumigil na container at kumpirmahin ang OOM event gamit ang dmesg -T | tail.
Drop-in replacement ba ang Draco para sa Firecrawl API?
Malapit ang compatibility nito para sa v1 endpoints. Sine-serve nito ang /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape, at /v1/search. Gayunman, nakadepende ang compatibility sa mga hinihiling na feature. Nagbabalik ng HTTP 422 ang screenshots at clicks. Kaya kailangang baguhin ang request ng mga client na humihiling ng mga page action na hindi sinusuportahan, bukod sa pagpapalit ng base URL. Ginagamit ng mga kasalukuyang SDK ng Firecrawl ang v2 bilang default, samantalang v1 routes ang nakalista sa site ng Draco. I-verify muna ang bawat call na ginagawa ng agent mo gamit ang curl.
Ibig bang sabihin ng self-hosting ng scraper ay maaari kong balewalain ang robots.txt?
Hindi. Walang binabago ang lokasyon kung saan tumatakbo ang code sa inilathala ng isang site o sa pinapahintulutan ng mga tuntunin nito. Bilang default, parehong iginagalang ng Draco at Firecrawl ang robots.txt. May override flag para sa mga site na pagmamay-ari mo o kung saan mayroon kang nakasulat na pahintulot na mag-crawl. Ipinatutupad pa rin sa kabilang dulo ang rate limits. Kaya nakatutulong ang isang maayos na --delay na may mababang concurrency upang manatiling gumagana ang IP address mo. Ang stack na gumagana lamang sa pamamagitan ng pag-bypass sa challenge wall ay maaaring huminto nang walang babala.