SSD Nodes Learn Hosting plans →
Gidsen Matt ConnorDoor Matt Connor

Zelfgehost alternatief voor Firecrawl op VPS

Vergelijk Draco, Hound en Firecrawl op RAM-verbruik en headless browser-eisen. Ontdek hoe u deze tools via MCP koppelt en installeert met een vastgezet versienummer.

Waar een zelfgehost alternatief voor Firecrawl aan moet voldoen

Een zelfgehost alternatief voor Firecrawl heeft één taak: een URL ophalen en de pagina teruggeven als schone markdown die een agent kan lezen. De gehoste API's rekenen per pagina af, waardoor de kosten stijgen naarmate uw agent nieuwsgieriger wordt. Een VPS waar u toch al voor betaalt, kan hetzelfde werk verrichten. De projecten verschillen op één punt: moet er een headless browser (een echte browser-engine die zonder venster draait) op uw machine worden gestart?

Dat antwoord bepaalt het geheugengebruik, de kosten per pagina en welke pagina's leeg terugkomen. Deze handleiding vergelijkt Draco, Hound en de zelfgehoste Firecrawl-release, installeert de lichtste versie op een vastgezet versienummer en koppelt deze via MCP (model context protocol) aan een agent.

De vier projecten en wat ze precies inhouden

Draco is één binary, geschreven in Rust, onder een MIT- of Apache-2.0-licentie. draco scrape <url> stuurt markdown naar stdout. draco serve draait een daemon die luistert op 127.0.0.1:3002, de poort die Firecrawl gebruikt. Zoals gedocumenteerd op 12 oktober 2026, levert het geen container-image en start het standaard geen browser. Per 12 oktober 2026 retourneren de upstream-repository op github.com/0xchasercat/draco, het bijbehorende account en de release-downloads allemaal een 404 Not Found-foutmelding. Op het moment van die controle bevatte een publieke fork nog de broncode en tags tot v0.24.0, maar waren er geen release-builds gepubliceerd. Lees daarom de installatiesectie hieronder voordat u uw plannen hierop baseert.

Firecrawl self-hosted is de engine achter het gehoste product, onder de AGPL-3.0-licentie. Het docker-compose.yaml-bestand definieert zeven services: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb en foundationdb-init. U krijgt hiermee de echte crawl-wachtrij, tegen de prijs van het draaien van een klein gedistribueerd systeem.

Hound bevindt zich in de master-fetch-repository en wordt gedistribueerd naar PyPI als hound-mcp, onder een MIT-licentie, versie 13.2.0 (gepubliceerd op 26 augustus 2026) per 12 oktober 2026. Het vereist Python 3.11 of nieuwer. Het is in de eerste plaats een MCP-server en in de tweede plaats een fetcher: het probeert standaard HTTP en schakelt over naar een Patchright-browser wanneer de standaard fetch wordt geblokkeerd of een JavaScript-shell serveert; de browser-geactiveerde configuratie start een browser bij het opstarten.

Trawl staat hier omdat mensen het tegenkomen tijdens het zoeken naar de andere projecten, terwijl het een andere taak uitvoert. Het lost JavaScript-uitdagingen en CAPTCHA's op met een Firefox-versie voorzien van aangepaste fingerprints, als vervanging voor FlareSolverr in een *arr-mediastack. Het leest inmiddels ook Markdown en extraheert gestructureerde JSON via MCP. De sectie over etiquette hieronder legt uit waarom de rol van het oplossen van uitdagingen bepaalt of het überhaupt in uw agent-stack thuishoort.

Waarom de browser-pool de ondergang is van kleine VPS-servers

Elk geopend browsertabblad is een afzonderlijk renderer-proces dat een eigen DOM (Document Object Model) en JavaScript-heap in het geheugen houdt. Het geheugengebruik schaalt daarom mee met het aantal pagina's dat op hetzelfde moment geopend is, niet met het aantal pagina's dat per dag wordt opgehaald. Twee van deze projecten verwerken die kosten in hun eigen compose-bestanden.

GrafiekMemory ceilings each project sets in its own compose file (GB)
De gegevens achter deze grafiek
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Het compose-bestand van Firecrawl begrenst de api-container op 8 GB en de Playwright-container op 4 GB, inclusief bijbehorende swap-limieten. Het compose-bestand van Hound stelt 3 GB in voor één container die een gebundelde Chromium-versie bevat. Dit zijn limieten die door de projecten zelf zijn gekozen; het zijn gepubliceerde cijfers en geen metingen van een inactief systeem. Bovendien eisen Redis, RabbitMQ, PostgreSQL en FoundationDB ook hun deel bovenop de cijfers van Firecrawl.

Een limiet die hoger is dan het fysieke RAM-geheugen dat u bezit, reserveert dat geheugen niet. Wanneer de server geen geheugen meer heeft, beëindigt de out-of-memory killer van de kernel een proces. Hierdoor verdwijnt een container uit docker compose ps zonder dat er een foutmelding in het applicatielogboek wordt geschreven. Het door Firecrawl meegeleverde compose-bestand bevat geen beleid voor automatisch herstarten, waardoor een door OOM beëindigde container gestopt blijft; docker compose ps --all bevat ook gestopte containers. Lees dmesg -T | tail na een onverklaarde stop. Firecrawl publiceert geen geverifieerde minimale hostgrootte voor deze stack, dus stem de grootte van de server af op uw werklast. Het instellen van de limieten per service wordt behandeld in geheugenlimieten in Docker Compose.

Eén extra browserdetail kost gebruikers vaak een hele avond. Docker geeft een container 64 MB aan gedeeld geheugen op /dev/shm, maar de Playwright-service van Firecrawl start Chromium met --disable-dev-shm-usage, wat die kleine partitie voor deze gedeelde geheugenbestanden omzeilt. Het compose-bestand van Hound verhoogt dit met shm_size: "1gb"; de dynamische browser-laag erft --disable-dev-shm-usage van Playwright via Patchright, en noch de verwijderingen van switches in Patchright, noch ignore_default_args van Hound verwijdert dit. Het compose-bestand van Firecrawl stelt helemaal geen shm_size in: het playwright-service blok stelt CPU- en geheugenlimieten in en een 1 GB tmpfs op /tmp/.cache, waardoor die container de standaardwaarde van 64 MB behoudt. Controleer de Chromium-opstartvlaggen voordat u de regel van Hound kopieert naar een image die u rondom Playwright bouwt.

Extractiekwaliteit op JavaScript-intensieve pagina's

Bij statische HTML, een server-rendered blog, een documentatiepagina of een nieuwsartikel, retourneren al deze bronnen vrijwel identieke markdown en wint de snelste variant. Het verschil wordt zichtbaar bij client-rendered pagina's, waarbij de geleverde HTML een lege huls is en de tekst pas na het laden via JavaScript binnenkomt.

Draco escaleert in niveaus. Niveau 0 en niveau 1 parsen de HTML zonder enige JavaScript. Niveau 2 voert de eigen JavaScript van de pagina uit binnen een in-process V8 isolate; dit is de JavaScript-engine zonder browseromgeving. De README vermeldt dat paginacode daar geen toegang heeft tot host-mogelijkheden. Dit dekt veel single-page applicaties voor een fractie van het geheugengebruik van een browser. Wanneer Draco op een muur stuit waar het niet voorbij kan, stopt draco scrape met exitcode 3, needs_browser. Controleer dit in scripts, want een leeg bestand met een exitcode nul is de fout die de context van een agent stilletjes vervuilt:

draco scrape https://example.com > page.md
echo "exit=$?"

De playwright-service van Firecrawl stuurt een echte Chromium aan, waardoor het rendert wat een browser rendert. De self-hosted build is echter niet hetzelfde als het gehoste product: de documentatie stelt dat Fire-engine, die het geavanceerde anti-bot-gedrag van de cloudservice bevat, niet is inbegrepen. Screenshots en pagina-acties zijn niet beschikbaar in de standaard stack, en voor Agent, Browser en interact wordt verwezen naar Firecrawl Cloud. Hound bevindt zich bewust in het midden. Het haalt gegevens op via HTTP en escaleert per verzoek, en de actieve browser sluit na een inactiviteits-timeout, waardoor een rustige server dicht bij het basisverbruik blijft.

Draco installeren met een vastgezette versie

De README documenteerde een installer die uit één regel bestond. Lees wat deze doet voordat u deze naar een shell pipe: zoals gedocumenteerd op 12 oktober 2026, installeert deze naar $HOME/.draco/bin/draco, neemt deze altijd de latest release, en controleert deze geen handtekening of hash. Pin op een server de versie en verifieer de download. De onderstaande instructies voor v0.20.5 behouden de setup zoals gecontroleerd op 12 oktober 2026; de upstream-documentatie van de vastgezette versie is niet langer beschikbaar voor hercontrole.

Sinds 12 oktober 2026 retourneren de release-downloads van het project 404 Not Found, omdat de upstream-repository niet langer reageert en het get.draco.sh installer-domein dat de site van het project adverteert niet resolve. Er is geen actieve release-URL om van te downloaden, dus de onderstaande commando's beginnen op een machine waar u het v0.20.5 archief, draco-linux-x86-64.tar.gz, en de bijbehorende SHA256SUMS in /tmp al bezit, bewaard van een eerdere download of gekopieerd vanaf een machine die u vertrouwt. Vul het gat niet op met een mirror die u niet heeft gecontroleerd: een checksum-bestand dat vanaf dezelfde mirror wordt geserveerd, bewijst niets over het binaire bestand.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Dit print draco-linux-x86-64.tar.gz: OK. Een FAILED regel betekent dat de bytes die u bezit niet de bytes zijn die het project heeft gepubliceerd, dus verwijder ze en begin opnieuw.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

Het laatste commando print de voorbeeldpagina als markdown. De find is geen decoratie: de archiefstructuur maakt geen deel uit van het publieke contract van het project, en de officiële installer die voor het laatst werd gecontroleerd op 12 oktober 2026 lokaliseert het binaire bestand op dezelfde manier.

Draai de daemon onder zijn eigen account in plaats van uw eigen inloggebruiker. Schrijf /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health antwoordt zodra de daemon luistert. Connection refused betekent dat dit niet het geval is, dus lees journalctl -u draco -n 50. De gebruikelijke oorzaak is een ander proces dat poort 3002 al bezet houdt, aangezien dat ook de standaardpoort van Firecrawl is. --port verplaatst Draco. Zelf-gehoste Firecrawl heeft zo'n vlag niet: de poort komt van de PORT variabele in het Compose-bestand, gepubliceerd als "${PORT:-3002}:${INTERNAL_PORT:-3002}", dus wijzig daar de gepubliceerde poort en houd elke client hiermee consistent. Unit-bestanden in meer detail: systemd service units en timers.

Haal nu de gegevens op zoals uw agent dat zal doen:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Houd de fetch-daemon buiten het publieke internet

Een fetch API zonder authenticatie fungeert als een open proxy. Iedereen die de poort kan bereiken, kan uw server elke URL laten opvragen onder uw IP-adres, waarna de misbruikmelding naar uw provider gaat in plaats van naar de aanvaller. De serve-flags van Draco, gedocumenteerd op 12 oktober 2026, bevatten geen API-sleutel; de beveiliging moet daarom op netwerkniveau worden geregeld. Gebruik de standaard 127.0.0.1-binding wanneer de agent op dezelfde machine draait. Wanneer de agent zich elders bevindt, plaatst u beide uiteinden in een privétunnel; een zelfgehoste WireGuard VPN is hiervoor de gebruikelijke oplossing. Bind de service aan het tunneladres in plaats van aan 0.0.0.0. Controleer vervolgens vanaf een andere machine of het publieke IP-adres geen antwoord geeft. Basisprincipes van ufw-firewalls en gebruikersaccounts met minimale rechten behandelen de twee helften van deze beveiliging.

Zal uw agent-code veranderen? API-compatibiliteit in de praktijk

Draco beantwoordt de Firecrawl v1-routes: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape en /v1/search, en de README, voor het laatst gecontroleerd op 12 oktober 2026, stelt dat onbekende velden worden geaccepteerd en genegeerd. Compatibiliteit hangt af van de gevraagde functies: de officiële site van Draco stelt dat screenshots en klikken HTTP 422 retourneren, dus een Firecrawl v1-client die niet-ondersteunde pagina-acties aanvraagt, heeft zowel wijzigingen in het verzoek als een nieuwe base URL nodig. Monitor wat er aan de andere kant is gewijzigd: de eigen self-hosting handleiding van Firecrawl voert nu smoke-tests uit met een POST naar /v2/scrape, en huidige SDK's gebruiken standaard v2, terwijl de site van Draco v1-routes vermeldt. Test elke aanroep met curl voordat u de agent-code bewerkt, en lees de JSON-body in plaats van de statuscode, omdat veldnamen de punten zijn waar deze implementaties van elkaar afwijken.

Robots.txt, rate limits en de grens die u moet respecteren

Draco leest standaard robots.txt, en de README die op 12 oktober 2026 voor het laatst is gecontroleerd, documenteert --ignore-robots om dit uit te schakelen. Firecrawl documenteert hetzelfde standaardgedrag. Wijzig beide niet. Hound controleert robots.txt alleen wanneer respect_robots=True wordt meegegeven aan smart_fetch, dus schakel dit daar in. Bepaal vervolgens uw eigen tempo: zoals gedocumenteerd op 12 oktober 2026, plaatst --delay van Draco milliseconden tussen verzoeken en begrenst --max-concurrency parallelle taken, waarbij 8 de standaardwaarde van de daemon is. Twee tot vier is vriendelijker voor een gedeelde VPS-verbinding en is zelden trager in het totaal, omdat een site die u begint te beperken in snelheid meer tijd kost dan de bespaarde gelijktijdigheid oplevert. Cache wat u ophaalt, zodat een tweede run van de agent de bron niets kost. Dat is tevens de goedkoopste post in beheersing van de kosten van een AI-agent.

Challenge walls zijn een apart onderwerp, en Trawl is precies daarvoor gebouwd: Cloudflare Turnstile, reCAPTCHA, hCaptcha en GeeTest. Een challenge wall is een site die geautomatiseerd verkeer in duidelijke bewoordingen weigert. Het omzeilen hiervan plaatst u tegenover de gebruiksvoorwaarden van de site, en op sommige plaatsen tegenover de wet, dus deze handleiding behandelt de ophaalinfrastructuur en stopt daar. Dezelfde technieken die een wall passeren, zijn de technieken waar site-eigenaren op letten en die ze blokkeren, wat elke pijplijn die daarop is gebouwd zowel fragiel als onbeleefd maakt. Wanneer een bron zo belangrijk is, zoek dan naar de RSS-feed, de publieke API of een bulkexport. Elk daarvan is goedkoper om uit te voeren en geen van deze methoden gaat kapot op het moment dat de wall verandert.

Koppel het aan een agent via MCP

MCP (model context protocol) is de interface die een agent gebruikt om een tool aan te roepen. Welke tools het model überhaupt kunnen bereiken, en of het een tool mag aanroepen zonder u eerst om toestemming te vragen, wordt een niveau hoger bepaald door de harness waarin het model draait. De daemon laten luisteren is dus slechts de helft van de koppeling. Draco bevat een MCP-server in hetzelfde binaire bestand, via stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

De README, voor het laatst gecontroleerd op 12 oktober 2026, vermeldt draco_scrape, draco_discover en draco_search voor stdio; de draco_interact_*-set hoort bij het HTTP MCP-eindpunt van de daemon. Stdio werkt alleen wanneer het agentproces en het binaire bestand op dezelfde machine staan, omdat het transport de standaardinvoer van dat proces is. Voor een agent op een andere host serveert Hound MCP via HTTP: hound --http --host 127.0.0.1 --port 8765 publiceert een eindpunt op http://127.0.0.1:8765/mcp, dat u via de tunnel bereikt. Keuzes voor transport en wat u blootstelt, staan in MCP-servers draaien op een VPS.

Paren ophalen met search. Een agent die alleen kan ophalen, wacht tot u URL's aanlevert. Voeg een zelfgehoste SearXNG-zoekinstantie toe en de agent kan ze zelf vinden, in dezelfde vorm als de browser-zoekvaardigheid gebaseerd op SearXNG. Zodra de daemon draait, is het één gedeelde service voor elk van de zelfgehoste AI-agents die u draait. Als de kant van de agent het onderdeel is waar u het minst zeker van bent, maakt eerst handmatig een kleine agent-loop schrijven duidelijk waar een fetch-tool wordt aangesloten en wat het model doet met de markdown die het terugkrijgt.

FAQ

Heb ik een headless browser nodig om pagina's op te halen voor een AI-agent?

Voor de meeste pagina's niet. Documentatie, blogs en nieuwsartikelen die server-side worden gerenderd, worden volledig opgehaald met een standaard HTTP-verzoek gevolgd door een HTML-naar-markdown-stap. Dit is wat Draco in zijn lagere niveaus doet, met een snelheid van ongeveer 300 ms per pagina zonder browser, volgens de eigen cijfers van het project. Een browser is pas nodig voor client-rendered applicaties, waarbij de geleverde HTML slechts een lege huls is. De V8-isolate van Draco dekt het grootste deel van dit middengebied zonder browserproces, en sluit af met exitcode 3, needs_browser, wanneer dit niet lukt.

Hoeveel RAM heeft zelfgehoste Firecrawl nodig op een VPS?

Het compose-bestand stelt een limiet in van 8 GB voor de api-container en 4 GB voor de Playwright-container. Dezelfde stack start ook Redis, RabbitMQ, PostgreSQL en FoundationDB. Firecrawl publiceert geen geverifieerde minimale hostgrootte voor deze stack. Bij geheugendruk beëindigt de kernel out-of-memory killer processen; als een container stopt, start het meegeleverde Compose-bestand deze niet automatisch opnieuw. Controleer docker compose ps --all op gestopte containers en bevestig een OOM-gebeurtenis met dmesg -T | tail.

Is Draco een directe vervanging voor de Firecrawl API?

Voor de v1-endpoints komt het in de buurt. Het ondersteunt /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape en /v1/search, maar compatibiliteit hangt af van de gevraagde functies: screenshots en klikken retourneren HTTP 422. Clients die niet-ondersteunde pagina-acties aanvragen, moeten daarom zowel hun verzoeken aanpassen als een nieuwe base URL gebruiken. De huidige SDK's van Firecrawl gebruiken standaard v2, terwijl de site van Draco v1-routes vermeldt. Controleer elke aanroep die uw agent doet eerst met curl.

Betekent het zelf hosten van een scraper dat ik robots.txt kan negeren?

Nee. Waar de code draait, verandert niets aan wat een site heeft gepubliceerd of wat de voorwaarden toestaan. Zowel Draco als Firecrawl respecteren standaard robots.txt, en de override-vlag is beschikbaar voor sites die u zelf beheert of waarvoor u schriftelijke toestemming heeft om te crawlen. Rate limits worden aan de ontvangende kant afgedwongen, dus een beleefde --delay met lage gelijktijdigheid zorgt ervoor dat uw IP-adres blijft werken. Een stack die alleen functioneert door een beveiligingsmuur te omzeilen, is een stack die zonder waarschuwing kan uitvallen.

Was dit artikel nuttig?