SSD Nodes Learn Hosting plans →
Guide Matt ConnorDi Matt Connor

Alternative self-hosted a Firecrawl per un VPS

Confronto tra Draco, Hound e Firecrawl self-hosted: RAM, browser headless, compatibilita API, installazione a versione fissata e collegamento MCP.

Cosa deve fare un'alternativa self-hosted a Firecrawl

Un'alternativa self-hosted a Firecrawl ha un solo compito: ricevere un URL e restituire il contenuto della pagina in formato Markdown pulito, leggibile da un agent. Le API in hosting applicano un costo per pagina, quindi la spesa aumenta in base alla quantità di contenuti che l'agent richiede. Un VPS già disponibile può eseguire lo stesso lavoro. I progetti si distinguono per una domanda: sul server deve essere avviato un browser headless, cioè un motore browser reale eseguito senza interfaccia grafica?

La risposta determina l'occupazione di memoria, il costo per ogni pagina e le pagine che vengono restituite vuote. Questa guida confronta Draco, Hound e la release self-hosted di Firecrawl, installa la soluzione più leggera a una versione fissata e la collega a un agent tramite MCP (model context protocol).

I quattro progetti e la loro funzione effettiva

Draco è un singolo binario scritto in Rust e distribuito con licenza MIT o Apache-2.0. draco scrape <url> stampa Markdown su stdout. draco serve esegue un daemon che risponde su 127.0.0.1:3002, la porta utilizzata da Firecrawl. Secondo la documentazione del 12 ottobre 2026, non distribuisce alcuna container image e, per impostazione predefinita, non avvia alcun browser. Al 12 ottobre 2026, il repository upstream all’indirizzo github.com/0xchasercat/draco, l’account associato e i relativi download delle release restituiscono tutti 404 Not Found. Al momento della verifica, un fork pubblico conteneva ancora il codice sorgente e i tag fino a v0.24.0, ma non pubblicava build delle release. Consulta quindi la sezione sull’installazione prima di basare il tuo progetto su questo componente.

Firecrawl self-hosted è il motore alla base del prodotto hosted ed è distribuito con licenza AGPL-3.0. Il relativo docker-compose.yaml definisce sette servizi: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb e foundationdb-init. Ottieni la coda di crawling completa, ma devi gestire un piccolo sistema distribuito.

Hound si trova nel repository master-fetch ed è distribuito su PyPI come hound-mcp, con licenza MIT e versione 13.2.0 (pubblicata il 26 agosto 2026) al 12 ottobre 2026. Richiede Python 3.11 o versioni successive. È principalmente un server MCP e solo secondariamente un fetcher: prova prima HTTP semplice e passa a un browser Patchright quando la richiesta HTTP viene bloccata o restituisce un’applicazione JavaScript priva del contenuto effettivo. La configurazione con browser abilita inoltre l’avvio anticipato di un browser all’avvio.

Trawl viene incluso perché gli utenti lo incontrano cercando gli altri progetti, ma svolge una funzione diversa. Risolve le challenge JavaScript e i CAPTCHA con Firefox modificato per alterare il fingerprint, come alternativa a FlareSolverr in uno stack multimediale *arr. Ora legge anche Markdown ed estrae JSON strutturato tramite MCP. La sezione seguente sull’uso responsabile spiega perché la sua funzione di risoluzione delle challenge determina se debba essere incluso o meno nel tuo stack di agent.

Perché il pool dei browser è il punto in cui i piccoli VPS esauriscono le risorse

Ogni scheda del browser aperta è un processo renderer separato, con il proprio DOM (document object model) e il proprio heap JavaScript. Il consumo di memoria cresce quindi con il numero di pagine aperte nello stesso momento, non con il numero di pagine recuperate nell'arco della giornata. Due di questi progetti dichiarano questo costo nei rispettivi file Compose.

GraficoMemory ceilings each project sets in its own compose file (GB)
I dati alla base di questo grafico
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Il file Compose di Firecrawl limita il container api a 8 GB e il container Playwright a 4 GB, con limiti di swap corrispondenti. Il file Compose di Hound imposta 3 GB per un container che include Chromium. Questi sono limiti massimi scelti dai progetti e pubblicati come valori di riferimento, non misurazioni di un sistema inattivo. Inoltre, Redis, RabbitMQ, PostgreSQL e FoundationDB richiedono una quota di memoria aggiuntiva rispetto ai valori indicati per Firecrawl.

Un limite superiore alla RAM disponibile non riserva quella memoria. Quando il server esaurisce la memoria, il kernel termina un processo tramite l'out-of-memory killer. Di conseguenza, un container può scomparire da docker compose ps senza che venga scritto alcun errore nel log dell'applicazione. Il file Compose fornito da Firecrawl non imposta alcuna policy di riavvio automatico, quindi un container terminato per OOM resta arrestato; docker compose ps --all include anche i container arrestati. Leggere dmesg -T | tail dopo un arresto non spiegato. Firecrawl non pubblica una dimensione minima verificata dell'host per questo stack. Dimensionare quindi il server in base al carico di lavoro. L'impostazione dei valori per singolo servizio è descritta in limiti di memoria in Docker Compose.

Un altro dettaglio relativo al browser può richiedere ore di diagnosi. Docker assegna a un container 64 MB di memoria condivisa in /dev/shm, ma il servizio Playwright di Firecrawl avvia Chromium con --disable-dev-shm-usage. In questo modo, per questi file di memoria condivisa, evita quella piccola partizione. Il file Compose di Hound aumenta questo valore con shm_size: "1gb". Il suo livello browser dinamico eredita --disable-dev-shm-usage da Playwright tramite Patchright, e né la rimozione degli switch di Patchright né l'elenco ignore_default_args di Hound lo rimuovono. Il file Compose di Firecrawl non imposta affatto shm_size: il blocco playwright-service imposta limiti di CPU e memoria e un tmpfs da 1 GB in /tmp/.cache. Di conseguenza, quel container mantiene il valore predefinito di 64 MB. Controllare i flag di avvio di Chromium prima di copiare la riga di Hound in un'immagine basata su Playwright.

Qualità dell'estrazione nelle pagine con molto JavaScript

Per l'HTML statico, un blog con rendering lato server, una pagina di documentazione o un articolo di notizie restituiscono tutti un Markdown quasi identico, quindi vince l'opzione più veloce. La differenza emerge nelle pagine con rendering lato client, dove l'HTML ricevuto è solo uno scheletro vuoto e il testo viene caricato da JavaScript dopo il caricamento.

Draco aumenta il livello di elaborazione per gradi. I livelli 0 e 1 analizzano l'HTML senza eseguire JavaScript. Il livello 2 esegue il JavaScript della pagina all'interno di un isolamento V8 nello stesso processo. In pratica, usa il motore JavaScript senza un browser, e il README specifica che il codice della pagina non riceve associazioni alle funzionalità dell'host. Questo copre molte applicazioni a pagina singola usando una frazione della memoria richiesta da un browser. Quando Draco incontra un limite che non può superare, draco scrape termina con il codice 3, needs_browser. Verificate questo caso negli script, perché un file vuoto con codice di uscita 0 rappresenta un errore che contamina silenziosamente il contesto di un agente:

draco scrape https://example.com > page.md
echo "exit=$?"

Il servizio playwright-service di Firecrawl controlla un Chromium reale, quindi esegue il rendering come farebbe un browser. La versione self-hosted non corrisponde comunque al prodotto hosted: la documentazione specifica che Fire-engine, che include il comportamento avanzato anti-bot del servizio cloud, non è incluso; inoltre, screenshot e azioni sulla pagina non sono disponibili nello stack predefinito. Per Agent, Browser e interact, la documentazione indirizza a Firecrawl Cloud. Hound si colloca intenzionalmente tra queste due soluzioni. Recupera i contenuti tramite HTTP e aumenta il livello di elaborazione per ogni richiesta. Il browser mantenuto attivo viene chiuso dopo un timeout di inattività, quindi un host poco utilizzato resta vicino al consumo di risorse normale.

Installare Draco con una versione bloccata

Il README documentava un installer a riga singola. Prima di passarlo a una shell, leggi cosa fa: come documentato il 12 ottobre 2026, installa in $HOME/.draco/bin/draco, usa sempre la release latest e non verifica alcuna firma o hash. Su un server, blocca la versione e verifica il download. Le istruzioni per v0.20.5 riportate di seguito mantengono la configurazione verificata il 12 ottobre 2026; la documentazione upstream della versione bloccata non è disponibile per una nuova verifica.

Al 12 ottobre 2026, i download delle release del progetto restituiscono 404 Not Found perché il repository upstream non risponde più, e il dominio dell'installer get.draco.sh, pubblicizzato dal sito del progetto, non risolve. Non esiste un URL di release attivo da cui effettuare il download. Per questo i comandi seguenti partono da un sistema sul quale disponi già dell'archivio v0.20.5, draco-linux-x86-64.tar.gz, e del relativo SHA256SUMS in /tmp, conservati da un download precedente o copiati da una macchina attendibile. Non colmare questa lacuna con un mirror che non hai verificato: un file di checksum pubblicato dallo stesso mirror non dimostra nulla sull'autenticità del binario.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Il comando stampa draco-linux-x86-64.tar.gz: OK. Una riga FAILED indica che i byte disponibili non corrispondono a quelli pubblicati dal progetto. Eliminali e ricomincia.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

L'ultimo comando stampa la pagina di esempio in formato Markdown. find non è ornamentale: la struttura dell'archivio non fa parte del contratto pubblico del progetto e l'installer ufficiale, verificato l'ultima volta il 12 ottobre 2026, individua il binario nello stesso modo.

Esegui il daemon con un account dedicato, invece che con il tuo utente di accesso. Scrivi /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health risponde non appena il daemon è in ascolto. Connection refused indica che non lo è, quindi leggi journalctl -u draco -n 50. La causa abituale è un altro processo che utilizza già la porta 3002, poiché questa è anche la porta predefinita di Firecrawl. --port sposta Draco. Firecrawl self-hosted non dispone di questo flag: la porta deriva dalla variabile PORT nel relativo file Compose, pubblicata come "${PORT:-3002}:${INTERNAL_PORT:-3002}". Modifica quindi la porta pubblicata in quel file e mantienila coerente per tutti i client. Per maggiori dettagli sui file di unità: file di unità e timer systemd.

Ora esegui il fetch nel modo in cui lo farà il tuo agent:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Mantieni il daemon di fetch fuori da Internet pubblico

Un'API di fetch senza autenticazione è un proxy aperto. Chiunque possa raggiungere la porta può fare in modo che il server richieda qualsiasi URL usando il tuo indirizzo IP, mentre la segnalazione dell'abuso arriva al tuo provider, non a chi lo ha causato. I flag serve di Draco documentati il 12 October 2026 non includevano alcuna API key, quindi la protezione deve essere fornita dalla rete. Mantieni il bind predefinito 127.0.0.1 quando l'agent viene eseguito sullo stesso host. Quando l'agent si trova altrove, collega entrambe le estremità tramite un tunnel privato; una VPN WireGuard gestita autonomamente è in genere la soluzione standard, e imposta il bind sull'indirizzo del tunnel anziché su 0.0.0.0. Verifica quindi da un'altra macchina che l'IP pubblico non risponda a nulla. Le nozioni di base sul firewall ufw e gli account utente con privilegi minimi coprono i due aspetti.

Il codice dell’agente cambierà? Compatibilità delle API nella pratica

Draco risponde alle route Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape e /v1/search, e il suo README, verificato l’ultima volta il 12 ottobre 2026, indica che i campi sconosciuti vengono accettati e ignorati. La compatibilità dipende dalle funzionalità richieste: il sito ufficiale di Draco indica che gli screenshot e i clic restituiscono HTTP 422. Di conseguenza, un client Firecrawl v1 che richiede azioni di pagina non supportate deve modificare le richieste oltre a usare un nuovo URL di base. Verificate che cosa è cambiato dall’altra parte: la guida ufficiale di Firecrawl per il self-hosting ora esegue uno smoke test con una richiesta POST a /v2/scrape, mentre gli SDK attuali usano v2 per impostazione predefinita e il sito di Draco elenca route v1. Testate ogni chiamata con curl prima di modificare il codice dell’agente e leggete il corpo JSON invece del solo codice di stato, perché è nei nomi dei campi che queste implementazioni divergono.

Robots.txt, i limiti di frequenza e il limite da non superare

Draco legge robots.txt per impostazione predefinita e il relativo README, verificato l'ultima volta il 12 October 2026, documenta --ignore-robots per disabilitare questo comportamento. Firecrawl documenta la stessa impostazione predefinita. Non modificare nessuno dei due. Hound controlla robots.txt soltanto quando respect_robots=True viene passato a smart_fetch, quindi abilitalo in quel punto. Imposta quindi il tuo ritmo: come documentato il 12 October 2026, --delay di Draco inserisce un intervallo espresso in millisecondi tra le richieste e --max-concurrency limita i job paralleli, con 8 come valore predefinito del daemon. Un valore compreso tra 2 e 4 è più rispettoso su una connessione VPS condivisa e raramente rallenta l'esecuzione complessiva, perché un sito che inizia ad applicare il rate limiting richiede più minuti di quanti ne faccia risparmiare il livello di concorrenza. Memorizza nella cache i dati recuperati, così una seconda esecuzione dell'agente non genera alcun costo per la fonte. Questa è anche la voce meno costosa in controllare quanto ti costa un agente AI.

I sistemi di challenge sono un argomento distinto e Trawl è progettato proprio per gestirli: Cloudflare Turnstile, reCAPTCHA, hCaptcha e GeeTest. Un sistema di challenge è, in termini semplici, il rifiuto del traffico automatizzato da parte di un sito. Aggirarlo significa violare i termini di utilizzo del sito e, in alcuni luoghi, anche la legge; per questo questa guida tratta l'infrastruttura per il recupero dei dati e si ferma qui. Le stesse tecniche che consentono di superare un sistema di challenge sono quelle che i proprietari dei siti monitorano e bloccano, rendendo fragile oltre che scorretta qualsiasi pipeline basata su di esse. Quando una fonte è così importante, cerca il relativo feed RSS, la sua API pubblica o un'esportazione massiva. Ognuna di queste opzioni è più economica da eseguire e nessuna smette di funzionare nella settimana in cui il sistema di challenge cambia.

Collegarlo a un agent tramite MCP

MCP (model context protocol) è l’interfaccia che un agent usa per chiamare uno strumento. Quali strumenti possono raggiungere il modello e se il modello può chiamarne uno senza chiederti prima l’autorizzazione viene deciso dal livello superiore, cioè l’harness in cui viene eseguito il modello. Per questo, fare in modo che il daemon sia in ascolto è soltanto metà della configurazione. Draco include un server MCP nello stesso binario e comunica tramite stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

Il README verificato l’ultima volta il 12 October 2026 indica draco_scrape, draco_discover e draco_search per stdio; il set draco_interact_* appartiene all’endpoint HTTP MCP del daemon. Stdio funziona soltanto quando il processo dell’agent e il binario si trovano sulla stessa macchina, perché il trasporto usa lo standard input di quel processo. Per un agent eseguito su un altro host, Hound espone invece MCP tramite HTTP: hound --http --host 127.0.0.1 --port 8765 pubblica un endpoint su http://127.0.0.1:8765/mcp, raggiungibile attraverso il tunnel. Le opzioni di trasporto e i criteri per stabilire cosa esporre sono descritti in eseguire server MCP su un VPS.

Recuperare coppie con la ricerca. Un agent che può soltanto recuperare contenuti resta in attesa che tu gli fornisca gli URL. Aggiungi un’istanza SearXNG self-hosted per la ricerca e l’agent potrà trovarli autonomamente, con la stessa struttura della funzionalità di ricerca nel browser basata su SearXNG. Quando il daemon è attivo, diventa un servizio condiviso per qualsiasi agent AI self-hosted tu esegua. Se il componente dell’agent è quello che conosci meno, scrivere prima a mano un piccolo ciclo dell’agent rende evidente dove si collega uno strumento di recupero e come il modello utilizza il markdown che riceve.

FAQ

Per recuperare pagine per un agente AI serve un browser headless?

Non per la maggior parte delle pagine. La documentazione, i blog e gli articoli di notizie renderizzati dal server vengono restituiti completi con una semplice richiesta HTTP seguita dalla conversione da HTML a Markdown. È il funzionamento di Draco nei piani inferiori, con un tempo di circa 300 ms per pagina senza browser, secondo i dati pubblicati dal progetto. Un browser è necessario per le applicazioni renderizzate lato client, nelle quali l'HTML ricevuto è soltanto uno shell vuoto. L'isolato V8 di Draco copre gran parte dei casi intermedi senza avviare un processo browser e restituisce il codice 3, needs_browser, quando non è in grado di farlo.

Quanta RAM richiede Firecrawl self-hosted su un VPS?

Il file Compose imposta un limite di 8 GB per il container api e di 4 GB per il container Playwright. Lo stesso stack avvia anche Redis, RabbitMQ, PostgreSQL e FoundationDB. Firecrawl non pubblica una dimensione minima verificata dell'host per questo stack. In caso di pressione sulla memoria, l'out-of-memory killer del kernel termina i processi. Se un container si arresta, il file Compose fornito non lo riavvia automaticamente. Controlla docker compose ps --all per i container arrestati e conferma un evento OOM con dmesg -T | tail.

Draco è un sostituto diretto dell'API di Firecrawl?

Per gli endpoint v1, la compatibilità è elevata. Draco espone /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape e /v1/search, ma la compatibilità dipende dalle funzionalità richieste: le schermate e i clic restituiscono HTTP 422. I client che richiedono azioni di pagina non supportate devono quindi modificare le richieste oltre ad adottare un nuovo URL di base. Gli SDK attuali di Firecrawl usano v2 per impostazione predefinita, mentre il sito di Draco elenca route v1. Verifica prima ogni chiamata eseguita dall'agente con curl.

Il self-hosting di uno scraper significa che posso ignorare robots.txt?

No. Il luogo in cui viene eseguito il codice non modifica ciò che un sito ha pubblicato né ciò che i relativi termini consentono. Draco e Firecrawl rispettano robots.txt per impostazione predefinita. Il flag di override esiste per i siti che possiedi o per i quali hai un'autorizzazione scritta alla scansione. I limiti di frequenza vengono applicati comunque dal sistema remoto. Un --delay eseguito con concorrenza bassa mantiene operativo il tuo indirizzo IP. Uno stack che funziona soltanto aggirando una pagina di verifica è uno stack che può smettere di funzionare senza preavviso.

Questo articolo ti è stato utile?