Mbadala wa Firecrawl kwa VPS: Draco, Hound na Firecrawl
Linganisha Draco, Hound na Firecrawl inayojiendesha kwa kutumia RAM, mahitaji ya headless browser na API. Pata mwongozo wa usakinishaji na muunganisho wa MCP kwa wakala wako.
Nini mbadala wa Firecrawl unaojiendesha lazima ufanye
Mbadala wa Firecrawl unaojiendesha una kazi moja: chukua URL na urejeshe ukurasa kama markdown safi ambayo wakala anaweza kuisoma. API zinazohudumiwa hutoza ada kwa kila ukurasa, kwa hivyo gharama huongezeka kulingana na udadisi wa wakala wako, na VPS unayolipia tayari inaweza kufanya kazi hiyo hiyo. Miradi hii hutofautiana katika swali moja: je, headless browser (injini halisi ya kivinjari inayofanya kazi bila dirisha) lazima ianzishwe kwenye seva yako?
Jibu hilo huamua kiasi cha kumbukumbu kinachotumiwa, gharama ya kila ukurasa, na ni kurasa zipi zitakazorejeshwa zikiwa tupu. Mwongozo huu unalinganisha Draco, Hound na toleo la Firecrawl linalojiendesha, unasakinisha toleo jepesi zaidi kwa kutumia version iliyofungwa, na kuliunganisha na wakala kupitia MCP (model context protocol).
Miradi minne, na ufafanuzi wa kila mmoja
Draco ni binary moja, iliyoandikwa kwa Rust, yenye leseni ya MIT au Apache-2.0. draco scrape <url> huchapisha markdown kwenye stdout. draco serve huendesha daemon inayojibu kwenye 127.0.0.1:3002, port inayotumiwa na Firecrawl. Kama ilivyoandikwa mnamo 12 Oktoba 2026, haitoi container image yoyote na haianzishi kivinjari kwa chaguo-msingi. Kufikia 12 Oktoba 2026, repository yake ya upstream kwenye github.com/0xchasercat/draco, akaunti inayoisimamia, na vipakuliwa vya matoleo yake yote hurudisha 404 Not Found. Kufikia ukaguzi huo, fork ya umma bado ilikuwa na source code na tags hadi v0.24.0 lakini haikuchapisha release builds, kwa hivyo soma sehemu ya usakinishaji hapa chini kabla ya kuipangia kazi.
Firecrawl self-hosted ndiyo injini inayowezesha bidhaa inayohudumiwa (hosted product), chini ya leseni ya AGPL-3.0. docker-compose.yaml yake hufafanua huduma saba: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb na foundationdb-init. Unapata foleni halisi ya crawl (crawl queue), kwa gharama ya kuendesha mfumo mdogo uliosambazwa (distributed system).
Hound inapatikana katika repository ya master-fetch na inasambazwa kwenye PyPI kama hound-mcp, ikiwa na leseni ya MIT, toleo la 13.2.0 (lililochapishwa 26 Agosti 2026) kufikia 12 Oktoba 2026. Inahitaji Python 3.11 au mpya zaidi. Hii ni MCP server kwanza na fetcher pili: hujaribu HTTP ya kawaida na kupanda hadi kivinjari cha Patchright wakati fetch ya kawaida inapozuiwa au kutoa JavaScript shell; usanidi wake wa kivinjari huwasha kivinjari wakati wa kuanza (startup).
Trawl ipo hapa kwa sababu watu hukutana nayo wanapozitafuta nyingine, na inafanya kazi tofauti. Inatatua changamoto za JavaScript na CAPTCHA kwa kutumia Firefox iliyorekebishwa kwa fingerprint, kama mbadala wa FlareSolverr katika stack ya media ya *arr. Sasa pia inasoma Markdown na kutoa JSON iliyopangwa (structured JSON) kupitia MCP. Sehemu ya adabu (etiquette) hapa chini inaelezea kwa nini jukumu lake la kutatua changamoto huamua kama inafaa kuwepo kwenye stack yako ya wakala (agent stack) au la.
Kwa nini bwawa la vivinjari ndilo huua VPS ndogo
Kila tab ya kivinjari iliyo wazi ni mchakato wa renderer tofauti unaoshikilia DOM (document object model) yake na heap ya JavaScript yake. Kwa hivyo, matumizi ya kumbukumbu huongezeka kulingana na kurasa zilizo wazi kwa wakati mmoja, si kulingana na kurasa zilizopakuliwa kwa siku. Miradi miwili kati ya hii huandika gharama hiyo kwenye faili zao za compose.
Data iliyo nyuma ya chati hii
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Faili ya compose ya Firecrawl huweka kikomo cha kontena lake la api katika 8 GB na kontena lake la Playwright katika 4 GB, pamoja na vikomo vinavyolingana vya swap. Faili ya compose ya Hound huweka 3 GB kwa kontena moja linalobeba Chromium iliyounganishwa. Hivi ni vikomo vilivyochaguliwa na miradi hiyo, takwimu zilizochapishwa badala ya vipimo vya mfumo uliotulia, na Redis, RabbitMQ, PostgreSQL na FoundationDB bado zinahitaji sehemu yao juu ya namba za Firecrawl.
Kikomo kilicho juu ya RAM uliyonayo hakihifadhi kumbukumbu hiyo. Seva inapoishiwa na kumbukumbu, kernel out-of-memory killer husitisha mchakato, kwa hivyo kontena hupotea kutoka docker compose ps bila kosa lolote kuandikwa kwenye logi ya programu. Faili ya Compose iliyotolewa na Firecrawl haiweki sera ya kuanza upya kiotomatiki, kwa hivyo kontena lililositishwa na OOM hubaki limezimwa; docker compose ps --all hujumuisha kontena zilizozimwa. Soma dmesg -T | tail baada ya kusimama kusikoelezeka. Firecrawl haichapishi ukubwa wa chini kabisa wa seva kwa ajili ya stack hii, kwa hivyo kadiria ukubwa wa seva kulingana na mzigo wako wa kazi. Kuweka namba kwa kila huduma kumejadiliwa katika vikomo vya kumbukumbu katika Docker Compose.
Maelezo moja zaidi ya kivinjari hugharimu watu jioni nzima. Docker hupa kontena 64 MB ya kumbukumbu iliyoshirikiwa katika /dev/shm, lakini huduma ya Playwright ya Firecrawl huzindua Chromium kwa --disable-dev-shm-usage, ambayo huepuka kizuizi hicho kidogo kwa faili hizi za kumbukumbu iliyoshirikiwa. Faili ya compose ya Hound huiongeza kwa shm_size: "1gb"; tier yake ya kivinjari inayobadilika hurithi --disable-dev-shm-usage kutoka Playwright kupitia Patchright, na wala uondoaji wa switch wa Patchright wala ignore_default_args ya Hound haiondoi hiyo. Faili ya compose ya Firecrawl haiweki shm_size yoyote: block yake ya playwright-service huweka vikomo vya CPU na kumbukumbu na 1 GB tmpfs katika /tmp/.cache, kwa hivyo kontena hilo hubaki na 64 MB ya kawaida. Kagua flags za uzinduzi wa Chromium kabla ya kunakili mstari wa Hound kwenye image unayojenga kuzunguka Playwright.
Ubora wa uchimbaji data kwenye kurasa zenye JavaScript nyingi
Kwenye HTML tuli, blogu inayotolewa na seva, ukurasa wa nyaraka, au makala ya habari, yote haya hurejesha markdown inayofanana karibu kabisa na ile ya haraka zaidi ndiyo inayoshinda. Tofauti huonekana kwenye kurasa zinazotolewa na mteja (client-rendered), ambapo HTML inayowasilishwa ni ganda tupu na maandishi hufika kupitia JavaScript baada ya ukurasa kupakia.
Draco hupanda ngazi kwa hatua. Tier 0 na tier 1 huchanganua HTML bila kutumia JavaScript hata kidogo. Tier 2 huendesha JavaScript ya ukurasa ndani ya V8 isolate ya ndani ya mchakato, ambayo ni injini ya JavaScript bila kivinjari kuizunguka, na README inabainisha kuwa msimbo wa ukurasa haupati uwezo wa kuunganisha na host huko. Hii inashughulikia programu nyingi za ukurasa mmoja (SPA) kwa sehemu ndogo ya kumbukumbu ya kivinjari. Draco inapokutana na kikwazo kisichopitika, draco scrape hutoka na code 3, needs_browser. Iangalie kwenye scripts, kwa sababu faili tupu yenye exit code ya sifuri ndiyo hitilafu inayoharibu muktadha wa wakala kimyakimya:
draco scrape https://example.com > page.md
echo "exit=$?"Huduma ya playwright-service ya Firecrawl huendesha Chromium halisi, kwa hivyo hutoa kile ambacho kivinjari hutoa. Toleo linalojiendesha (self-hosted) bado si bidhaa inayohudumiwa (hosted product): nyaraka zinabainisha kuwa Fire-engine, inayobeba tabia za hali ya juu za kuzuia bot za huduma ya wingu, haijajumuishwa, kwamba picha za skrini na vitendo vya ukurasa havipatikani kwenye stack ya kawaida, na kwa Agent, Browser na interact inakuelekeza kwenye Firecrawl Cloud. Hound hukaa katikati kwa makusudi. Huchota data kupitia HTTP na kupanda ngazi kwa kila ombi, na kivinjari chake chenye joto hufungwa baada ya muda wa kutofanya kazi (idle timeout), kwa hivyo seva tulivu hubaki karibu na matumizi ya kawaida.
Sakinisha Draco kwa kutumia toleo maalum (pinned version)
README ilielezea kisakinishi cha mstari mmoja. Soma kinachofanya kabla ya kukipeleka kwenye shell: kama ilivyoandikwa tarehe 12 Oktoba 2026, kinasakinisha kwenye $HOME/.draco/bin/draco, kinachukua toleo la latest kila wakati, na hakikagui sahihi (signature) au hash yoyote. Kwenye seva, funga toleo (pin) na uhakiki upakuaji. Maelekezo ya v0.20.5 hapa chini yanahifadhi usanidi uliokaguliwa tarehe 12 Oktoba 2026; nyaraka za toleo lililofungwa kutoka kwa mtoa huduma hazipatikani kwa ukaguzi upya.
Kufikia tarehe 12 Oktoba 2026, upakuaji wa matoleo ya mradi huu unarejesha 404 Not Found, kwa sababu hazina ya mtoa huduma haijibu tena, na kikoa cha kisakinishi cha get.draco.sh kinachotangazwa na tovuti ya mradi hakitatuliki (does not resolve). Hakuna URL ya toleo hai ya kupakua, kwa hivyo amri hapa chini zinaanza kwenye mashine ambapo tayari unayo kumbukumbu ya v0.20.5, draco-linux-x86-64.tar.gz, na SHA256SUMS yake katika /tmp, iliyohifadhiwa kutoka kwa upakuaji wa awali au kunakiliwa kutoka kwa mashine unayoiamini. Usijaze pengo hilo kwa kutumia mirror ambayo hujaihakiki: faili ya checksum inayotolewa kutoka kwa mirror hiyo hiyo haithibitishi chochote kuhusu binary hiyo.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSHiyo inachapisha draco-linux-x86-64.tar.gz: OK. Mstari wa FAILED unamaanisha kuwa bytes ulizonazo si zile ambazo mradi ulichapisha, kwa hivyo zifute na uanze upya.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comAmri ya mwisho inachapisha ukurasa wa mfano kama markdown. find si mapambo: mpangilio wa kumbukumbu si sehemu ya mkataba wa umma wa mradi, na kisakinishi rasmi kilichokaguliwa mara ya mwisho tarehe 12 Oktoba 2026 kinapata binary hiyo kwa njia ile ile.
Endesha daemon chini ya akaunti yake badala ya mtumiaji wako wa kuingia. Andika /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health/health inajibu mara tu daemon inaposikiliza. Connection refused inamaanisha haisikilizi, kwa hivyo soma journalctl -u draco -n 50. Sababu ya kawaida ni mchakato mwingine ambao tayari unashikilia 3002, kwa kuwa huo pia ndio port chaguo-msingi ya Firecrawl. --port inahamisha Draco. Firecrawl inayojiendesha (self-hosted) haina flag kama hiyo: port yake inatoka kwa variable ya PORT katika faili yake ya Compose, iliyochapishwa kama "${PORT:-3002}:${INTERNAL_PORT:-3002}", kwa hivyo badilisha port iliyochapishwa hapo na uweke kila mteja (client) kulingana na hiyo. Unit files kwa kina zaidi: systemd service units and timers.
Sasa pakua kwa njia ambayo wakala wako atafanya:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Zuia daemon ya fetch isipatikane kwenye Internet ya umma
API ya fetch isiyo na uthibitishaji (authentication) ni open proxy. Mtu yeyote anayeweza kufikia port hiyo anaweza kuifanya seva yako iombe URL yoyote kwa kutumia IP address yako, na ripoti za matumizi mabaya zitatumwa kwa mtoa huduma wako, si kwao. Bendera za serve za Draco zilizoorodheshwa tarehe 12 Oktoba 2026 hazikujumuisha API key, kwa hivyo ulinzi lazima uwe wa kimtandao. Dumisha bind ya 127.0.0.1 ya kawaida wakati agent anapofanya kazi kwenye mashine hiyo hiyo. Wakati agent yupo mahali pengine, weka ncha zote mbili kwenye private tunnel, WireGuard VPN unayojiendeshea mwenyewe ndiyo jibu la kawaida, na fanya bind kwenye anwani ya tunnel badala ya 0.0.0.0. Kisha hakikisha kutoka kwenye mashine nyingine kuwa IP ya umma haijibu chochote. Misingi ya ufw firewall na akaunti za watumiaji zenye upendeleo mdogo hufunika sehemu hizo mbili.
Je, msimbo wa wakala wako utabadilika? Upatanifu wa API katika utendaji
Draco inajibu njia za Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape na /v1/search, na README yake iliyokaguliwa mara ya mwisho tarehe 12 Oktoba 2026 inasema kuwa sehemu zisizojulikana hukubaliwa na kupuuzwa. Upatanifu hutegemea vipengele vinavyoombwa: tovuti rasmi ya Draco inasema kuwa picha za skrini (screenshots) na mibofyo (clicks) hurejesha HTTP 422, kwa hivyo mteja wa Firecrawl v1 anayeomba vitendo vya ukurasa visivyotumika anahitaji mabadiliko ya ombi pamoja na URL mpya ya msingi. Fuatilia kilichohamia upande mwingine: mwongozo wa self-hosting wa Firecrawl sasa hufanya majaribio ya smoke-test kwa kutumia POST kwenda /v2/scrape, na SDK za sasa hutumia v2 kwa chaguo-msingi, wakati tovuti ya Draco inaorodhesha njia za v1. Jaribu kila mwito kwa kutumia curl kabla ya kuhariri msimbo wa wakala, na usome mwili wa JSON badala ya msimbo wa hali (status code), kwa sababu majina ya sehemu ndipo utekelezaji huu unapotofautiana.
Robots.txt, rate limits, na mstari wa kutovuka
Draco husoma robots.txt kwa chaguo-msingi, na README yake iliyokaguliwa mara ya mwisho tarehe 12 October 2026 inaelekeza --ignore-robots ili kuzima kitendo hicho. Firecrawl inaelekeza chaguo-msingi lilelile. Acha zote mbili kama zilivyo. Hound hukagua robots.txt pale tu respect_robots=True inapopitishwa kwenye smart_fetch, kwa hiyo iwezeshe hapo. Kisha weka kasi yako mwenyewe: kama ilivyoandikwa tarehe 12 October 2026, --delay ya Draco huweka milisekunde kati ya maombi na --max-concurrency hupunguza kazi zinazofanyika sambamba, huku 8 ikiwa ndiyo chaguo-msingi la daemon. Mbili hadi nne ni rafiki zaidi kwa link ya VPS inayoshirikiwa na mara chache huwa polepole kwa ujumla, kwa sababu tovuti inayoanza kukuwekea rate limiting inakugharimu dakika nyingi zaidi kuliko muda unaookolewa na concurrency. Hifadhi (cache) unachokipakua, ili uendeshaji wa pili wa agent usigharimu chanzo chochote. Hiyo pia ndiyo gharama nafuu zaidi katika kudhibiti gharama za AI agent.
Challenge walls ni mada tofauti, na Trawl imejengwa kwa ajili hiyo hasa: Cloudflare Turnstile, reCAPTCHA, hCaptcha na GeeTest. Challenge wall ni tovuti inayokataa trafiki ya kiotomatiki kwa lugha ya wazi. Kujaribu kuikwepa kunakuweka dhidi ya sheria za matumizi za tovuti hiyo, na katika maeneo mengine dhidi ya sheria za nchi, kwa hiyo mwongozo huu unashughulikia miundombinu ya kupakua na kuishia hapo. Mbinu zilezile zinazopita ukuta ndizo wamiliki wa tovuti huzifuatilia na kuzizuia, jambo linalofanya pipeline yoyote iliyojengwa juu yake kuwa dhaifu na isiyo na adabu. Wakati chanzo ni muhimu kiasi hicho, tafuta RSS feed yake, API yake ya umma, au bulk export. Kila moja ni nafuu zaidi kuendesha na hakuna hata moja inayovunjika pale ukuta unapobadilika.
Iunganishe na wakala kupitia MCP
MCP (model context protocol) ni kiolesura ambacho wakala hutumia kuita zana. Zana zipi zinafikia modeli, na kama inaruhusiwa kuita zana bila kukuuliza kwanza, huamuliwa katika ngazi ya juu na mfumo unaoendesha modeli hiyo, kwa hivyo kufanya daemon isikilize ni nusu tu ya kazi ya uunganishaji. Draco hubeba seva ya MCP ndani ya binary ileile, kupitia stdio:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }README iliyokaguliwa mwisho tarehe 12 October 2026 inaorodhesha draco_scrape, draco_discover na draco_search kwa ajili ya stdio; seti ya draco_interact_* ni ya endpoint ya HTTP MCP ya daemon. Stdio hufanya kazi tu wakati mchakato wa wakala na binary viko kwenye mashine moja, kwa sababu usafirishaji hutumia standard input ya mchakato huo. Kwa wakala aliye kwenye host nyingine, Hound hutoa MCP kupitia HTTP badala yake: hound --http --host 127.0.0.1 --port 8765 huchapisha endpoint kwenye http://127.0.0.1:8765/mcp, ambayo unaifikia kupitia tunnel. Chaguzi za usafirishaji na nini cha kufichua viko kwenye kuendesha seva za MCP kwenye VPS.
Kupata jozi kwa kutumia utafutaji. Wakala anayeweza kupata data pekee husubiri umpe URL. Ongeza instance ya utafutaji ya SearXNG inayojiendesha na ataweza kuzipata mwenyewe, kwa muundo uleule wa ujuzi wa utafutaji wa kivinjari uliojengwa kwenye SearXNG. Mara daemon inapokuwa imewashwa, inakuwa huduma moja iliyoshirikiwa kwa yeyote kati ya mawakala wa AI wanaojiendesha unaoendesha. Ikiwa upande wa wakala ndio sehemu ambayo huna uhakika nayo zaidi, kuandika loop ndogo ya wakala kwa mkono kwanza hufanya iwe wazi mahali ambapo zana ya fetch huunganishwa na kile ambacho modeli hufanya na markdown inayopokea.
FAQ
Je, ninahitaji headless browser ili kuchota kurasa kwa ajili ya AI agent?
Si kwa kurasa nyingi. Nyaraka zinazotolewa na seva (server-rendered), blogu, na makala za habari hurejeshwa zikiwa kamili kupitia HTTP fetch ya kawaida ikifuatiwa na hatua ya kugeuza HTML kuwa markdown, jambo ambalo Draco hufanya katika viwango vyake vya chini kwa takriban 300 ms kwa kila ukurasa bila kutumia kivinjari, kulingana na takwimu za mradi wenyewe. Kivinjari hutumia kumbukumbu (RAM) nyingi kwenye programu zinazotolewa na mteja (client-rendered), ambapo HTML inayopokelewa ni ganda tupu. V8 isolate ya Draco hugharamia sehemu kubwa ya mahitaji hayo bila mchakato wa kivinjari, na hutoka na code 3, needs_browser, pale inaposhindwa.
Firecrawl inayojiendesha yenyewe (self-hosted) inahitaji RAM kiasi gani kwenye VPS?
Faili yake ya compose huweka ukomo wa 8 GB kwenye container ya api na 4 GB kwenye container ya Playwright, na stack hiyo hiyo pia huanzisha Redis, RabbitMQ, PostgreSQL na FoundationDB. Firecrawl haijachapisha ukubwa wa chini kabisa wa seva (host) kwa ajili ya stack hii. Chini ya shinikizo la kumbukumbu, kernel out-of-memory killer husitisha michakato; ikiwa container itasimama, faili ya Compose iliyotolewa haianzishi upya container hiyo kiotomatiki. Angalia docker compose ps --all kwa ajili ya container zilizosimama na uthibitishe tukio la OOM kwa dmesg -T | tail.
Je, Draco ni mbadala wa moja kwa moja (drop-in replacement) kwa Firecrawl API?
Kwa endpoints za v1, inakaribia. Inahudumia /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape na /v1/search, lakini utangamano hutegemea vipengele vinavyohitajika: screenshots na mibofyo (clicks) hurejesha HTTP 422, kwa hivyo wateja wanaoomba vitendo vya kurasa visivyotumika wanahitaji kubadilisha maombi yao pamoja na base URL mpya. SDK za sasa za Firecrawl hutumia v2 kwa chaguo-msingi, wakati tovuti ya Draco inaorodhesha njia (routes) za v1. Thibitisha kila wito (call) unaofanywa na agent wako kwa kutumia curl kwanza.
Je, kujiendeshea scraper mwenyewe kunamaanisha ninaweza kupuuza robots.txt?
Hapana. Mahali ambapo msimbo (code) unafanya kazi hakubadilishi chochote kuhusu kile ambacho tovuti imechapisha au kile ambacho sheria zake zinaruhusu. Draco na Firecrawl zote huheshimu robots.txt kwa chaguo-msingi, na bendera (flag) ya kubatilisha ipo kwa ajili ya tovuti unazomiliki au ulizopewa ruhusa ya maandishi kuzichota. Rate limits hutekelezwa na upande wa pili bila kujali, kwa hivyo --delay ya heshima yenye concurrency ya chini huifanya IP address yako iendelee kufanya kazi. Stack inayofanya kazi kwa kuvunja tu ukuta wa changamoto (challenge wall) ni stack inayoweza kuharibika bila onyo.