Firecrawl-Alternativen für den eigenen VPS im Vergleich
Draco, Hound und Firecrawl im Eigenbetrieb: Vergleichen Sie RAM-Bedarf, Headless-Browser, API-Kompatibilität und MCP-Anbindung mit festgelegter Version.
Was eine selbst gehostete Firecrawl-Alternative leisten muss
Eine selbst gehostete Firecrawl-Alternative hat eine Aufgabe: Sie nimmt eine URL entgegen und gibt die Seite als sauberes Markdown zurück, das ein Agent lesen kann. Die gehosteten APIs rechnen pro Seite ab. Die Kosten steigen daher mit der Anzahl der Seiten, die Ihr Agent abruft. Ein VPS, für den Sie bereits bezahlen, kann dieselbe Arbeit übernehmen. Die Projekte unterscheiden sich vor allem in einer Frage: Muss auf Ihrem System ein Headless Browser (eine echte Browser-Engine ohne Fenster) gestartet werden?
Diese Entscheidung bestimmt den Speicherbedarf, die Kosten pro Seite und welche Seiten leer zurückgegeben werden. Dieser Leitfaden vergleicht Draco, Hound und die selbst gehostete Firecrawl-Version, installiert die ressourcenschonendste Variante in einer festgelegten Version und bindet sie über MCP (model context protocol) an einen Agenten an.
Die vier Projekte und was sie tatsächlich sind
Draco ist eine einzelne, in Rust geschriebene Binärdatei unter der MIT- oder Apache-2.0-Lizenz. draco scrape <url> gibt Markdown auf stdout aus. draco serve startet einen Daemon, der auf 127.0.0.1:3002 antwortet, dem von Firecrawl verwendeten Port. Wie am 12. Oktober 2026 dokumentiert, wird kein Container-Image bereitgestellt und standardmäßig kein Browser gestartet. Zum 12. Oktober 2026 lieferten das Upstream-Repository unter github.com/0xchasercat/draco, das dahinterstehende Konto und die Downloads der Releases jeweils 404 Not Found zurück. Zum Zeitpunkt dieser Prüfung enthielt ein öffentlicher Fork weiterhin den Quellcode und die Tags bis v0.24.0, veröffentlichte jedoch keine fertigen Release-Builds. Lesen Sie daher den folgenden Installationsabschnitt, bevor Sie Ihre Planung darauf ausrichten.
Firecrawl self-hosted ist die Engine hinter dem gehosteten Produkt und steht unter der AGPL-3.0-Lizenz. Die Datei docker-compose.yaml definiert sieben Dienste: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb und foundationdb-init. Damit erhalten Sie die echte Crawl-Warteschlange, müssen dafür aber ein kleines verteiltes System betreiben.
Hound befindet sich im Repository master-fetch und wird als hound-mcp auf PyPI bereitgestellt. Es steht unter der MIT-Lizenz und hatte zum 12. Oktober 2026 die Version 13.2.0, veröffentlicht am 26. August 2026. Es benötigt Python 3.11 oder neuer. Hound ist in erster Linie ein MCP-Server und erst in zweiter Linie ein Fetcher: Zunächst versucht es eine einfache HTTP-Anfrage. Wenn diese blockiert wird oder nur ein JavaScript-Shell ausliefert, wechselt es zu einem Patchright-Browser. Die browserbasierte Konfiguration startet beim Hochfahren einen Browser vorab.
Trawl wird hier erwähnt, weil Sie bei der Suche nach den anderen Projekten darauf stoßen und weil es eine andere Aufgabe erfüllt. Es löst JavaScript-Challenges und CAPTCHAs mit einem Firefox mit angepasstem Fingerabdruck und dient als Ersatz für FlareSolverr in einem *arr-Medienstack. Inzwischen liest es auch Markdown und extrahiert strukturiertes JSON über MCP. Der folgende Abschnitt zum verantwortungsvollen Umgang erläutert, warum seine Rolle beim Lösen von Challenges darüber entscheidet, ob es überhaupt in Ihren Agent-Stack gehört.
Warum kleine VPS-Systeme am Browser-Pool scheitern
Jeder geöffnete Browser-Tab läuft in einem eigenen Renderer-Prozess mit einem eigenen DOM (Document Object Model) und einem eigenen JavaScript-Heap. Der Speicherbedarf steigt daher mit der Anzahl der gleichzeitig geöffneten Seiten und nicht mit der Anzahl der pro Tag abgerufenen Seiten. Zwei dieser Projekte schreiben diese Kosten in ihre eigenen Compose-Dateien.
Die Daten hinter diesem Diagramm
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Die Compose-Datei von Firecrawl begrenzt den api-Container auf 8 GB und den Playwright-Container auf 4 GB, jeweils mit passenden Swap-Limits. Die Compose-Datei von Hound setzt 3 GB für einen Container, der ein gebündeltes Chromium enthält. Dies sind von den Projekten festgelegte Obergrenzen und veröffentlichte Werte, keine Messungen eines unbelasteten Systems. Redis, RabbitMQ, PostgreSQL und FoundationDB benötigen zusätzlich ihren Anteil über die Firecrawl-Werte hinaus.
Eine Obergrenze, die über dem verfügbaren RAM liegt, reserviert diesen Speicher nicht. Wenn der Arbeitsspeicher des Systems erschöpft ist, beendet der Out-of-Memory-Killer des Kernels einen Prozess. Dadurch verschwindet ein Container aus docker compose ps, ohne dass ein Fehler im Anwendungs-Log geschrieben wird. Die mitgelieferte Compose-Datei von Firecrawl legt keine automatische Restart-Policy fest. Ein aufgrund von OOM beendeter Container bleibt daher gestoppt. docker compose ps --all enthält auch gestoppte Container. Lesen Sie dmesg -T | tail nach einem unerklärlichen Stopp. Firecrawl veröffentlicht keine verifizierte Mindestgröße für den Host dieses Stacks. Dimensionieren Sie das System daher anhand Ihrer Arbeitslast. Das Festlegen der Werte pro Dienst wird unter Speicherlimits in Docker Compose beschrieben.
Ein weiteres Detail des Browsers kostet häufig einen ganzen Abend. Docker stellt einem Container unter /dev/shm 64 MB Shared Memory bereit. Der Playwright-Dienst von Firecrawl startet Chromium jedoch mit --disable-dev-shm-usage. Dadurch wird diese kleine Partition für diese Shared-Memory-Dateien umgangen. Die Compose-Datei von Hound vergrößert sie mit shm_size: "1gb". Die dynamische Browser-Schicht übernimmt --disable-dev-shm-usage über Patchright aus Playwright. Weder die von Patchright entfernten Switches noch die ignore_default_args-Liste von Hound entfernen diese Einstellung. Die Compose-Datei von Firecrawl setzt shm_size überhaupt nicht. Der Block für playwright-service legt CPU- und Speicherlimits sowie ein 1-GB-tmpfs unter /tmp/.cache fest. Dieser Container behält daher den Standardwert von 64 MB. Prüfen Sie die Chromium-Startparameter, bevor Sie die Zeile von Hound in ein Image übernehmen, das Sie für Playwright erstellen.
Extraktionsqualität auf JavaScript-lastigen Seiten
Bei statischem HTML, einem serverseitig gerenderten Blog, einer Dokumentationsseite oder einem Nachrichtenartikel liefern alle Varianten nahezu identisches Markdown. Die schnellste Variante gewinnt. Der Unterschied zeigt sich bei clientseitig gerenderten Seiten. Das ausgelieferte HTML ist dort nur ein leeres Grundgerüst. Der Text wird erst nach dem Laden durch JavaScript eingefügt.
Draco arbeitet mit mehreren Stufen. Stufe 0 und Stufe 1 analysieren das HTML vollständig ohne JavaScript. Stufe 2 führt das JavaScript der Seite in einer V8-Isolierung innerhalb des Prozesses aus. V8 ist dabei die JavaScript-Engine ohne umgebenden Browser. Laut README erhält der Seitencode dort keine Bindings für Funktionen des Hosts. Damit lassen sich viele Single-Page-Anwendungen mit einem Bruchteil des Speicherbedarfs eines Browsers verarbeiten. Wenn Draco auf eine nicht überwindbare Einschränkung stößt, wird draco scrape mit Exit-Code 3 beendet, needs_browser. Prüfen Sie dies in Skripten. Eine leere Datei mit Exit-Code 0 ist ein Fehler, der den Kontext eines Agenten unbemerkt verfälscht:
draco scrape https://example.com > page.md
echo "exit=$?"Der playwright-service von Firecrawl steuert ein echtes Chromium und rendert daher dieselben Inhalte wie ein Browser. Die selbst gehostete Variante ist jedoch nicht mit dem gehosteten Produkt gleichzusetzen. Die Dokumentation weist darauf hin, dass Fire-engine nicht enthalten ist. Diese Komponente stellt das erweiterte Anti-Bot-Verhalten des Cloud-Dienstes bereit. Screenshots und Seitenaktionen sind im Standard-Stack ebenfalls nicht verfügbar. Für Agent, Browser und interact verweist die Dokumentation auf Firecrawl Cloud. Hound liegt bewusst dazwischen. Es ruft Inhalte über HTTP ab und eskaliert pro Anfrage. Sein aufgewärmter Browser wird nach einer Leerlaufzeit beendet. Ein wenig ausgelasteter Server bleibt dadurch nahe am Grundverbrauch.
Draco mit einer festgelegten Version installieren
Die README dokumentiert einen Einzeilen-Installer. Lesen Sie vor dem Weiterleiten an eine Shell, was er tut: Nach dem Stand vom 12. Oktober 2026 installiert er nach $HOME/.draco/bin/draco, verwendet immer das Release latest und prüft weder eine Signatur noch einen Hash. Auf einem Server sollten Sie die Version festlegen und den Download verifizieren. Die folgenden Anweisungen für v0.20.5 entsprechen weiterhin dem am 12. Oktober 2026 geprüften Setup; die Upstream-Dokumentation der festgelegten Version ist nicht verfügbar und kann daher nicht erneut geprüft werden.
Mit Stand vom 12. Oktober 2026 liefern die Release-Downloads 404 Not Found, weil das Upstream-Repository nicht mehr antwortet. Außerdem wird die von der Projektwebsite beworbene get.draco.sh-Installer-Domain nicht aufgelöst. Es gibt keine aktive Release-URL, von der Sie herunterladen können. Die folgenden Befehle beginnen daher auf einem System, auf dem Sie das v0.20.5-Archiv draco-linux-x86-64.tar.gz und dessen SHA256SUMS bereits in /tmp besitzen. Sie stammen aus einem früheren Download oder wurden von einem vertrauenswürdigen System kopiert. Verwenden Sie nicht ersatzweise einen Mirror, den Sie nicht geprüft haben: Eine Prüfsummendatei, die vom selben Mirror bereitgestellt wird, sagt nichts über die Binärdatei aus.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSDer Befehl gibt draco-linux-x86-64.tar.gz: OK aus. Eine Zeile mit FAILED bedeutet, dass die vorhandenen Bytes nicht den vom Projekt veröffentlichten Bytes entsprechen. Löschen Sie die Dateien und beginnen Sie erneut.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comDer letzte Befehl gibt die Beispielseite als Markdown aus. find ist keine Dekoration: Das Layout des Archivs gehört nicht zum öffentlichen Vertrag des Projekts, und der offizielle Installer ermittelt die Binärdatei nach derselben Methode, die zuletzt am 12. Oktober 2026 geprüft wurde.
Führen Sie den Daemon unter einem eigenen Account aus, nicht unter Ihrem Login-User. Schreiben Sie /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health/health antwortet, sobald der Daemon auf Verbindungen wartet. Connection refused bedeutet, dass dies nicht der Fall ist. Lesen Sie daher journalctl -u draco -n 50. Die übliche Ursache ist ein anderer Prozess, der Port 3002 bereits belegt, da dies auch der Standardport von Firecrawl ist. --port verschiebt Draco. Self-hosted Firecrawl hat kein entsprechendes Flag: Der Port wird durch die Variable PORT in der Compose-Datei festgelegt und als "${PORT:-3002}:${INTERNAL_PORT:-3002}" veröffentlicht. Ändern Sie dort den veröffentlichten Port und verwenden Sie ihn einheitlich für alle Clients. Weitere Informationen zu Unit-Dateien: systemd-Service-Units und Timer.
Rufen Sie nun die Anwendung so ab, wie es Ihr Agent tun wird:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Halten Sie den Fetch-Daemon vom öffentlichen Internet fern
Eine Fetch-API ohne Authentifizierung ist ein offener Proxy. Jeder, der den Port erreichen kann, bringt Ihren Server dazu, beliebige URLs unter Ihrer IP-Adresse abzufragen. Die Missbrauchsmeldung geht an Ihren Provider und nicht an diese Person. Dracos am 12 October 2026 dokumentierte serve-Flags enthielten keinen API-Schlüssel. Der Schutz muss daher über das Netzwerk erfolgen. Behalten Sie die standardmäßige 127.0.0.1-Bind-Adresse bei, wenn der Agent auf demselben System läuft. Wenn der Agent auf einem anderen System läuft, verbinden Sie beide Enden über einen privaten Tunnel. Ein selbst gehostetes WireGuard-VPN ist dafür die übliche Lösung. Binden Sie den Dienst an die Tunneladresse und nicht an 0.0.0.0. Prüfen Sie anschließend von einem anderen System aus, dass die öffentliche IP-Adresse keine Antworten liefert. Grundlagen der ufw-Firewall und Benutzerkonten mit geringsten Rechten behandeln die beiden Teilbereiche.
Ändert sich der Agent-Code? API-Kompatibilität in der Praxis
Draco beantwortet die Firecrawl-v1-Routen: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape und /v1/search. In der zuletzt am 12. Oktober 2026 geprüften README steht außerdem, dass unbekannte Felder akzeptiert und ignoriert werden. Die Kompatibilität hängt von den angeforderten Funktionen ab: Auf der offiziellen Draco-Website steht, dass Screenshots und Klicks den HTTP-Statuscode 422 zurückgeben. Ein Firecrawl-v1-Client, der nicht unterstützte Seitenaktionen anfordert, benötigt daher neben einer neuen Basis-URL auch Änderungen an den Requests. Prüfen Sie, was sich auf der anderen Seite geändert hat: Die Firecrawl-Anleitung zum Self-Hosting führt den Smoke-Test jetzt mit einem POST an /v2/scrape aus, und aktuelle SDKs verwenden standardmäßig v2, während auf der Draco-Website v1-Routen aufgeführt sind. Testen Sie jeden Aufruf mit curl, bevor Sie den Agent-Code ändern. Lesen Sie außerdem den JSON-Body und nicht nur den Statuscode, da sich die Implementierungen vor allem bei den Feldnamen unterscheiden.
Robots.txt, Rate-Limits und die Grenze, die Sie einhalten sollten
Draco liest robots.txt standardmäßig aus. In der am 12 October 2026 zuletzt geprüften README wird --ignore-robots dokumentiert, um dieses Verhalten zu deaktivieren. Firecrawl dokumentiert denselben Standard. Lassen Sie beide Einstellungen unverändert. Hound prüft robots.txt nur, wenn respect_robots=True an smart_fetch übergeben wird. Aktivieren Sie die Prüfung daher dort. Legen Sie anschließend Ihre eigene Abfragerate fest: Wie am 12 October 2026 dokumentiert, fügt Dracos --delay zwischen Anfragen Millisekunden ein. --max-concurrency begrenzt die Anzahl paralleler Aufgaben, wobei 8 der Standardwert des Daemons ist. Zwei bis vier sind für eine gemeinsam genutzte VPS-Verbindung schonender und insgesamt selten langsamer. Eine Website, die Ihre Anfragen zu begrenzen beginnt, kostet Sie mehr Minuten, als Sie durch die zusätzliche Parallelität sparen. Cachen Sie abgerufene Daten, damit ein zweiter Agent-Lauf die Quelle nicht erneut belastet. Das ist außerdem der günstigste Posten beim Kontrollieren der Kosten eines KI-Agenten.
Challenge-Seiten sind ein separates Thema. Trawl ist genau dafür ausgelegt: Cloudflare Turnstile, reCAPTCHA, hCaptcha und GeeTest. Eine Challenge-Seite verweigert automatisierten Datenverkehr ausdrücklich. Wenn Sie diese Sperre umgehen, verstoßen Sie gegen die Nutzungsbedingungen der Website und an manchen Orten auch gegen geltendes Recht. Dieser Leitfaden behandelt daher die Infrastruktur zum Abrufen von Daten und geht nicht darüber hinaus. Dieselben Techniken, mit denen sich eine Sperre umgehen lässt, werden von Website-Betreibern erkannt und blockiert. Dadurch werden darauf basierende Pipelines nicht nur unhöflich, sondern auch instabil. Wenn eine Quelle so wichtig ist, suchen Sie nach ihrem RSS-Feed, ihrer öffentlichen API oder einem Bulk-Export. Jede dieser Optionen ist im Betrieb günstiger. Außerdem fällt keine davon in der Woche aus, in der die Challenge-Seite geändert wird.
Verbinden Sie es über MCP mit einem Agenten
MCP (Model Context Protocol) ist die Schnittstelle, über die ein Agent ein Tool aufruft. Welche Tools das Modell überhaupt erreichen und ob es eines ohne Ihre vorherige Zustimmung aufrufen darf, wird eine Ebene höher durch die Harness-Umgebung festgelegt, in der das Modell ausgeführt wird. Deshalb ist das Aktivieren des Daemons nur die halbe Konfiguration. Draco enthält im selben Binary einen MCP-Server, der über stdio arbeitet:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }Die zuletzt am 12 October 2026 geprüfte README nennt draco_scrape, draco_discover und draco_search für stdio. Die Gruppe draco_interact_* gehört zum HTTP-MCP-Endpunkt des Daemons. Stdio funktioniert nur, wenn der Agent-Prozess und das Binary auf demselben Rechner ausgeführt werden, da der Transport die Standardeingabe dieses Prozesses verwendet. Für einen Agenten auf einem anderen Host stellt Hound MCP stattdessen über HTTP bereit: hound --http --host 127.0.0.1 --port 8765 veröffentlicht einen Endpunkt unter http://127.0.0.1:8765/mcp, den Sie über den Tunnel erreichen. Die Auswahl des Transports und die Festlegung, was veröffentlicht werden soll, werden unter MCP-Server auf einem VPS betreiben beschrieben.
Paare mit einer Suche abrufen. Ein Agent, der nur Daten abrufen kann, wartet darauf, dass Sie ihm URLs bereitstellen. Fügen Sie eine selbst gehostete SearXNG-Suchinstanz hinzu. Dann kann er die URLs selbst finden, ähnlich wie beim Browser-Such-Skill auf Basis von SearXNG. Sobald der Daemon läuft, steht der Dienst allen von Ihnen betriebenen selbst gehosteten KI-Agenten gemeinsam zur Verfügung. Wenn Sie beim Agenten selbst am unsichersten sind, zeigt zuerst eine kleine Agentenschleife von Hand schreiben deutlich, an welcher Stelle ein Fetch-Tool eingebunden wird und was das Modell mit dem zurückgegebenen Markdown macht.
FAQ
Brauche ich einen Headless-Browser, um Seiten für einen KI-Agenten abzurufen?
Für die meisten Seiten nicht. Serverseitig gerenderte Dokumentationen, Blogs und Nachrichtenartikel werden mit einem einfachen HTTP-Abruf und einer anschließenden Konvertierung von HTML in Markdown vollständig zurückgegeben. Genau so arbeitet Draco in seinen niedrigeren Tarifen nach eigenen Projektangaben mit ungefähr 300 ms pro Seite und ohne Browser. Bei clientseitig gerenderten Anwendungen lohnt sich der Speicherverbrauch eines Browsers, weil das gelieferte HTML dort nur ein leeres Grundgerüst ist. Dracos V8-Isolate deckt einen großen Teil dieses Zwischenbereichs ohne Browserprozess ab. Wenn dies nicht möglich ist, wird der Prozess mit dem Exit-Code 3, needs_browser, beendet.
Wie viel RAM benötigt selbst gehostetes Firecrawl auf einem VPS?
Die Compose-Datei legt ein Limit von 8 GB für den api-Container und 4 GB für den Playwright-Container fest. Derselbe Stack startet außerdem Redis, RabbitMQ, PostgreSQL und FoundationDB. Firecrawl veröffentlicht für diesen Stack keine verifizierte Mindestgröße des Hosts. Bei Speicherdruck beendet der Out-of-Memory-Killer des Kernels Prozesse. Wenn ein Container beendet wird, startet die bereitgestellte Compose-Datei ihn nicht automatisch neu. Prüfen Sie docker compose ps --all auf beendete Container und bestätigen Sie ein OOM-Ereignis mit dmesg -T | tail.
Ist Draco ein direkter Ersatz für die Firecrawl API?
Für die v1-Endpunkte ist die Kompatibilität weitgehend gegeben. Draco stellt /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape und /v1/search bereit. Die Kompatibilität hängt jedoch von den angeforderten Funktionen ab: Screenshots und Klicks geben HTTP 422 zurück. Clients, die nicht unterstützte Seitenaktionen anfordern, benötigen daher sowohl Änderungen an den Anfragen als auch eine neue Basis-URL. Die aktuellen SDKs von Firecrawl verwenden standardmäßig v2, während die Website von Draco v1-Routen aufführt. Prüfen Sie zuerst jeden Aufruf, den Ihr Agent ausführt, mit curl.
Bedeutet das Selbst-Hosten eines Scrapers, dass ich robots.txt ignorieren kann?
Nein. Wo der Code ausgeführt wird, ändert nichts daran, was eine Website veröffentlicht hat oder welche Nutzung ihre Bedingungen erlauben. Sowohl Draco als auch Firecrawl respektieren robots.txt standardmäßig. Das Überschreibungs-Flag ist für Websites vorgesehen, die Ihnen gehören oder für deren Crawling Sie eine schriftliche Genehmigung haben. Am Zielsystem gelten unabhängig davon weiterhin Rate-Limits. Ein höfliches --delay mit niedriger Parallelität sorgt dafür, dass Ihre IP-Adresse erreichbar bleibt. Ein Stack, der nur funktioniert, indem er eine Challenge-Wall umgeht, kann ohne Vorwarnung ausfallen.