SSD Nodes Learn Hosting plans →
Guides Matt ConnorPar Matt Connor

Alternatives à Firecrawl auto-hébergées sur un VPS

Comparez Draco, Hound et Firecrawl auto-hébergé selon la RAM, le navigateur headless et la compatibilité API. Installation épinglée et connexion MCP incluses.

Ce qu’une alternative à Firecrawl auto-hébergée doit faire

Une alternative à Firecrawl auto-hébergée a une seule fonction : recevoir une URL et renvoyer le contenu de la page sous forme de markdown propre qu’un agent peut lire. Les API hébergées facturent chaque page. La facture augmente donc avec la curiosité de votre agent. Un VPS que vous payez déjà peut effectuer le même travail. Les projets se distinguent sur un point : faut-il démarrer un navigateur headless (un véritable moteur de navigateur exécuté sans fenêtre) sur votre serveur ?

Cette réponse détermine l’empreinte mémoire, le coût de chaque page et les pages qui reviennent vides. Ce guide compare Draco, Hound et la version auto-hébergée de Firecrawl, installe la solution la plus légère à une version épinglée et la connecte à un agent via MCP (model context protocol).

Les quatre projets et ce qu’ils sont réellement

Draco est un binaire unique, écrit en Rust, sous licence MIT ou Apache-2.0. draco scrape <url> affiche du Markdown sur stdout. draco serve exécute un daemon qui répond sur 127.0.0.1:3002, le port utilisé par Firecrawl. D’après la documentation du 12 octobre 2026, il ne fournit aucune container image et ne démarre aucun navigateur par défaut. Au 12 octobre 2026, son dépôt upstream à github.com/0xchasercat/draco, le compte associé et ses téléchargements de releases renvoient tous 404 Not Found. Lors de cette vérification, un fork public contenait encore le code source et les tags jusqu’à v0.24.0, mais ne publiait aucun binaire de release. Consultez donc la section consacrée à l’installation ci-dessous avant de baser votre architecture dessus.

Firecrawl self-hosted est le moteur du produit hébergé, sous licence AGPL-3.0. Son docker-compose.yaml définit sept services : playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb et foundationdb-init. Vous bénéficiez de la véritable file d’attente de crawl, au prix de l’exploitation d’un petit système distribué.

Hound se trouve dans le dépôt master-fetch et est publié sur PyPI sous le nom hound-mcp, sous licence MIT, en version 13.2.0 (publiée le 26 août 2026) au 12 octobre 2026. Il nécessite Python 3.11 ou une version ultérieure. C’est d’abord un serveur MCP et ensuite un fetcher : il tente une requête HTTP classique, puis utilise un navigateur Patchright lorsque la requête classique est bloquée ou renvoie une shell JavaScript. Sa configuration avec navigateur préchauffe un navigateur au démarrage.

Trawl est mentionné ici parce que les recherches sur les autres projets y conduisent souvent, mais il remplit une fonction différente. Il résout les challenges JavaScript et les CAPTCHA avec un Firefox dont l’empreinte a été modifiée, en remplacement de FlareSolverr dans une stack media *arr. Il lit également désormais le Markdown et extrait du JSON structuré via MCP. La section consacrée aux bonnes pratiques ci-dessous explique pourquoi son rôle de résolution des challenges détermine s’il a réellement sa place dans votre stack d’agents.

Pourquoi le pool de navigateurs fait tomber les petits VPS

Chaque onglet de navigateur ouvert correspond à un processus de rendu distinct, qui conserve son propre DOM (document object model) et son propre tas JavaScript. La mémoire évolue donc selon le nombre de pages ouvertes simultanément, et non selon le nombre de pages récupérées par jour. Les fichiers Compose de ces deux projets intègrent directement ce coût.

GraphiqueMemory ceilings each project sets in its own compose file (GB)
Les données de ce graphique
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Le fichier Compose de Firecrawl limite le conteneur api à 8 Go et son conteneur Playwright à 4 Go, avec des limites de swap correspondantes. Le fichier Compose de Hound définit 3 Go pour un conteneur qui embarque Chromium. Ces valeurs sont les plafonds choisis par les projets et publiés par leurs auteurs, pas des mesures effectuées sur un système peu chargé. Redis, RabbitMQ, PostgreSQL et FoundationDB ont en outre besoin de leur part de mémoire, en plus des valeurs indiquées pour Firecrawl.

Un plafond supérieur à la RAM dont vous disposez ne réserve pas cette mémoire. Lorsque la machine n’a plus de mémoire, l’out-of-memory killer du kernel termine un processus. Le conteneur disparaît alors de docker compose ps sans qu’aucune erreur soit écrite dans le log de l’application. Le fichier Compose fourni par Firecrawl ne définit aucune restart policy automatique. Un conteneur terminé par un OOM reste donc arrêté ; docker compose ps --all inclut les conteneurs arrêtés. Consultez dmesg -T | tail après un arrêt inexpliqué. Firecrawl ne publie aucune taille minimale vérifiée pour l’hôte exécutant cette stack. Dimensionnez donc la machine selon votre charge. Le réglage de ces valeurs par service est expliqué dans les limites mémoire dans Docker Compose.

Un autre détail lié au navigateur peut vous faire perdre une soirée. Docker attribue 64 MB de mémoire partagée à un conteneur via /dev/shm. Le service Playwright de Firecrawl lance toutefois Chromium avec --disable-dev-shm-usage, ce qui évite cette petite partition pour ces fichiers de mémoire partagée. Le fichier Compose de Hound augmente cette valeur avec shm_size: "1gb". Son niveau de navigateurs dynamique hérite de --disable-dev-shm-usage de Playwright via Patchright. Ni la suppression de switches par Patchright ni la liste ignore_default_args de Hound ne la suppriment. Le fichier Compose de Firecrawl ne définit pas du tout shm_size : son bloc playwright-service définit des limites CPU et mémoire ainsi qu’un tmpfs de 1 GB sur /tmp/.cache. Ce conteneur conserve donc la valeur par défaut de 64 MB. Vérifiez les flags de lancement de Chromium avant de copier la ligne de Hound dans une image que vous construisez autour de Playwright.

Qualité d'extraction sur les pages riches en JavaScript

Sur du HTML statique, un blog rendu côté serveur, une page de documentation ou un article de presse, le résultat est un markdown quasi identique et le plus rapide l'emporte. La différence apparaît sur les pages rendues côté client, où le HTML délivré est une coquille vide et où le texte arrive via JavaScript après le chargement.

Draco procède par paliers. Les paliers 0 et 1 analysent le HTML sans aucun JavaScript. Le palier 2 exécute le JavaScript de la page au sein d'un isolat V8 en processus, c'est-à-dire le moteur JavaScript sans navigateur autour ; le README précise que le code de la page n'y dispose d'aucune liaison aux capacités de l'hôte. Cela couvre de nombreuses applications monopages pour une fraction de la mémoire requise par un navigateur. Lorsque Draco rencontre un obstacle infranchissable, draco scrape s'arrête avec le code 3, needs_browser. Vérifiez ce point dans vos scripts, car un fichier vide avec un code de sortie zéro est l'échec qui corrompt silencieusement le contexte d'un agent :

draco scrape https://example.com > page.md
echo "exit=$?"

Le playwright-service de Firecrawl pilote un véritable Chromium, il rend donc ce qu'un navigateur rend. La version auto-hébergée n'est pas le produit cloud : la documentation précise que Fire-engine, qui embarque les comportements anti-bot avancés du service cloud, n'est pas inclus, que les captures d'écran et les actions sur les pages ne sont pas disponibles dans la pile par défaut, et pour Agent, Browser et interact, elle vous renvoie vers Firecrawl Cloud. Hound se positionne volontairement entre les deux. Il récupère les données via HTTP et monte en charge par requête, et son navigateur « chaud » se ferme après un délai d'inactivité, permettant ainsi à une machine peu sollicitée de rester proche de sa consommation de base.

Installer Draco avec une version épinglée

Le README documente un script d'installation en une ligne. Lisez son contenu avant de le transmettre à un shell : tel que documenté le 12 octobre 2026, il installe dans $HOME/.draco/bin/draco, il récupère toujours la release latest, et il ne vérifie aucune signature ni aucun hash. Sur un serveur, épinglez la version et vérifiez le téléchargement. Les instructions ci-dessous pour la v0.20.5 conservent la configuration vérifiée le 12 octobre 2026 ; la documentation amont de la version épinglée n'est plus disponible pour vérification.

Au 12 octobre 2026, les téléchargements de releases du projet renvoient une erreur 404 Not Found, car le dépôt amont ne répond plus et le domaine de l'installateur get.draco.sh promu par le site du projet ne résout pas. Il n'existe aucune URL de release active pour le téléchargement, les commandes ci-dessous partent donc du principe que vous possédez déjà l'archive v0.20.5, draco-linux-x86-64.tar.gz, ainsi que son SHA256SUMS dans /tmp, conservés depuis un téléchargement précédent ou copiés depuis une machine de confiance. Ne comblez pas ce manque avec un miroir que vous n'avez pas audité : un fichier de checksum servi par le même miroir ne prouve rien sur le binaire.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Cela affiche draco-linux-x86-64.tar.gz: OK. Une ligne FAILED signifie que les octets en votre possession ne correspondent pas à ceux publiés par le projet ; supprimez-les et recommencez.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

La dernière commande affiche la page d'exemple au format markdown. Le find n'est pas là pour la décoration : la structure de l'archive ne fait pas partie du contrat public du projet, et l'installateur officiel vérifié le 12 octobre 2026 localise le binaire de la même manière.

Exécutez le daemon sous son propre compte plutôt qu'avec votre utilisateur de connexion. Créez /etc/systemd/system/draco.service :

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health répond dès que le daemon est à l'écoute. Connection refused signifie qu'il ne l'est pas, consultez alors journalctl -u draco -n 50. La cause habituelle est un autre processus qui occupe déjà le port 3002, car c'est aussi le port par défaut de Firecrawl. --port déplace Draco. Firecrawl auto-hébergé ne possède pas un tel flag : son port provient de la variable PORT dans son fichier Compose, publié en tant que "${PORT:-3002}:${INTERNAL_PORT:-3002}" ; modifiez donc le port publié à cet endroit et assurez-vous que chaque client est cohérent avec ce choix. Pour approfondir les fichiers d'unité : unités de service et timers systemd.

Récupérez maintenant les données comme le fera votre agent :

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Maintenir le démon de récupération hors de l'internet public

Une API de récupération sans authentification constitue un proxy ouvert. Toute personne pouvant atteindre le port force votre serveur à requêter n'importe quelle URL sous votre adresse IP, et les signalements d'abus sont envoyés à votre fournisseur, pas à l'auteur de l'abus. Les flags serve de Draco documentés le 12 octobre 2026 n'incluaient aucune clé d'API, la protection doit donc être assurée par le réseau. Conservez le bind par défaut 127.0.0.1 lorsque l'agent s'exécute sur la même machine. Lorsque l'agent est distant, placez les deux extrémités sur un tunnel privé ; un VPN WireGuard que vous hébergez vous-même est la solution habituelle, et liez-vous à l'adresse du tunnel plutôt qu'à 0.0.0.0. Vérifiez ensuite depuis une autre machine que l'IP publique ne répond à rien. Les bases du pare-feu ufw et les comptes utilisateurs avec le moindre privilège couvrent les deux volets de cette approche.

Le code de votre agent va-t-il changer ? La compatibilité API en pratique

Draco répond aux routes Firecrawl v1 : /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape et /v1/search, et son README, vérifié pour la dernière fois le 12 octobre 2026, indique que les champs inconnus sont acceptés et ignorés. La compatibilité dépend des fonctionnalités demandées : le site officiel de Draco précise que les captures d'écran et les clics renvoient une erreur HTTP 422. Par conséquent, un client Firecrawl v1 demandant des actions de page non prises en charge nécessite des modifications de requête ainsi qu'une nouvelle URL de base. Surveillez les changements côté serveur : le guide d'auto-hébergement de Firecrawl effectue désormais des tests de fumée avec un POST vers /v2/scrape, et les SDK actuels utilisent la v2 par défaut, alors que le site de Draco liste des routes v1. Testez chaque appel avec curl avant de modifier le code de l'agent, et lisez le corps JSON plutôt que le code de statut, car c'est au niveau des noms de champs que ces implémentations divergent.

Robots.txt, limites de débit et la ligne à ne pas franchir

Draco lit robots.txt par défaut, et son README, consulté pour la dernière fois le 12 octobre 2026, documente --ignore-robots pour désactiver ce comportement. Firecrawl documente le même comportement par défaut. Ne modifiez aucun des deux. Hound ne vérifie robots.txt que si respect_robots=True est passé à smart_fetch, activez-le donc à cet endroit. Définissez ensuite votre propre rythme : comme documenté le 12 octobre 2026, --delay de Draco insère des millisecondes entre les requêtes et --max-concurrency limite les tâches parallèles, avec 8 comme valeur par défaut du démon. Deux à quatre est plus respectueux sur une liaison VPS partagée et rarement plus lent globalement, car un site qui commence à limiter votre débit vous coûte plus de minutes que la concurrence économisée. Mettez en cache ce que vous récupérez, ainsi une seconde exécution de l'agent ne coûte rien à la source. C'est également le poste de dépense le plus faible dans contrôler ce qu'un agent IA vous coûte.

Les murs de défis sont un sujet distinct, et Trawl est conçu exactement pour cela : Cloudflare Turnstile, reCAPTCHA, hCaptcha et GeeTest. Un mur de défi est un site qui refuse explicitement le trafic automatisé. Le contourner vous place en infraction avec les conditions d'utilisation du site, et dans certains endroits avec la loi ; ce guide couvre donc l'infrastructure de récupération et s'arrête là. Les mêmes techniques qui permettent de passer un mur sont celles que les propriétaires de sites surveillent et bloquent, ce qui rend toute pipeline construite sur ces méthodes fragile et impolie. Lorsqu'une source est importante à ce point, recherchez son flux RSS, son API publique ou une exportation en masse. Chacune de ces solutions est moins coûteuse à exploiter et aucune ne tombe en panne la semaine où le mur est modifié.

Connectez-le à un agent via MCP

MCP (model context protocol) est l’interface qu’un agent utilise pour appeler un outil. Le niveau supérieur, c’est-à-dire le harness dans lequel le modèle s’exécute, détermine quels outils sont accessibles au modèle et s’il peut appeler un outil sans vous le demander au préalable. Faire écouter le daemon n’est donc que la moitié de la configuration. Draco intègre un serveur MCP dans le même binaire, via stdin :

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

Le README consulté pour la dernière fois le 12 octobre 2026 indique que draco_scrape, draco_discover et draco_search sont utilisés pour stdio ; l’ensemble draco_interact_* concerne l’endpoint MCP HTTP du daemon. Stdio ne fonctionne que lorsque le processus de l’agent et le binaire se trouvent sur la même machine, car le transport utilise l’entrée standard de ce processus. Pour un agent exécuté sur un autre hôte, Hound sert MCP via HTTP : hound --http --host 127.0.0.1 --port 8765 publie un endpoint à l’adresse http://127.0.0.1:8765/mcp, accessible à travers le tunnel. Les choix de transport et les éléments à exposer sont détaillés dans exécuter des serveurs MCP sur un VPS.

Associer la recherche à la récupération des pages. Un agent qui peut uniquement récupérer des pages attend que vous lui fournissiez les URL. Ajoutez une instance SearXNG auto-hébergée pour la recherche : il pourra alors les trouver lui-même, selon le même principe que la compétence de recherche dans un navigateur basée sur SearXNG. Une fois le daemon démarré, il s’agit d’un service partagé par tous les agents IA auto-hébergés que vous utilisez. Si la partie agent est celle que vous maîtrisez le moins, écrire d’abord manuellement une petite boucle d’agent permet de voir clairement où un outil de récupération des pages s’intègre et ce que le modèle fait du markdown qu’il reçoit.

FAQ

Ai-je besoin d'un navigateur headless pour récupérer des pages pour un agent IA ?

Pas pour la plupart des pages. La documentation, les blogs et les articles d'actualité rendus côté serveur sont récupérés intégralement par une simple requête HTTP suivie d'une conversion HTML vers Markdown. C'est ce que fait Draco dans ses niveaux inférieurs en environ 300 ms par page sans navigateur, selon les chiffres du projet. Un navigateur consomme de la mémoire sur les applications rendues côté client, où le HTML fourni est une coquille vide. L'isolat V8 de Draco couvre une grande partie de ce besoin sans processus de navigateur, et il se termine avec le code 3, needs_browser, en cas d'échec.

De combien de RAM Firecrawl auto-hébergé a-t-il besoin sur un VPS ?

Son fichier compose définit une limite de 8 Go sur le conteneur api et de 4 Go sur le conteneur Playwright. La même stack lance également Redis, RabbitMQ, PostgreSQL et FoundationDB. Firecrawl ne publie aucune taille d'hôte minimale vérifiée pour cette stack. Sous pression mémoire, le tueur OOM (out-of-memory) du noyau termine les processus ; si un conteneur s'arrête, le fichier Compose fourni ne le redémarre pas automatiquement. Vérifiez docker compose ps --all pour les conteneurs arrêtés et confirmez un événement OOM avec dmesg -T | tail.

Draco est-il un remplacement direct pour l'API Firecrawl ?

Pour les endpoints v1, c'est proche. Il dessert /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape et /v1/search, mais la compatibilité dépend des fonctionnalités demandées : les captures d'écran et les clics renvoient une erreur HTTP 422. Les clients demandant des actions de page non prises en charge doivent donc modifier leurs requêtes en plus de changer l'URL de base. Les SDK actuels de Firecrawl utilisent la v2 par défaut, tandis que le site de Draco liste des routes v1. Vérifiez chaque appel effectué par votre agent avec curl au préalable.

L'auto-hébergement d'un scraper signifie-t-il que je peux ignorer robots.txt ?

Non. L'endroit où le code s'exécute ne change rien à ce qu'un site a publié ou à ce que ses conditions d'utilisation autorisent. Draco et Firecrawl respectent tous deux robots.txt par défaut, et le flag de contournement existe pour les sites que vous possédez ou pour lesquels vous avez une autorisation écrite de crawler. Les limites de débit sont appliquées à l'autre extrémité de toute façon, donc un --delay poli avec une faible concurrence permet à votre adresse IP de continuer à fonctionner. Une stack qui ne fonctionne qu'en contournant un mur de protection est une stack qui tombera en panne sans avertissement.

Cet article vous a-t-il été utile ?