SSD Nodes Learn Hosting plans →
Guias Matt ConnorPor Matt Connor

Alternativas self-hosted ao Firecrawl para VPS

Compare Draco, Hound e Firecrawl self-hosted por RAM, browser headless e compatibilidade de API. Veja a instalação fixada e a conexão MCP.

O que uma alternativa self-hosted ao Firecrawl tem de fazer

Uma alternativa self-hosted ao Firecrawl tem uma tarefa: receber um URL e devolver a página em Markdown limpo, que um agente consiga ler. As APIs alojadas cobram por página. Por isso, o custo aumenta à medida que o agente faz mais consultas. Um VPS que já paga pode fazer o mesmo trabalho. Os projetos diferem numa questão: é necessário iniciar no seu servidor um navegador headless (um motor de navegador real executado sem janela)?

Essa resposta determina o consumo de memória, o custo de cada página e quais páginas são devolvidas vazias. Este guia compara Draco, Hound e a versão self-hosted do Firecrawl, instala a opção mais leve numa versão fixada e liga-a a um agente através de MCP (model context protocol).

Os quatro projetos e o que cada um realmente é

Draco é um único binário, escrito em Rust e licenciado sob MIT ou Apache-2.0. draco scrape <url> imprime Markdown em stdout. draco serve executa um daemon que responde em 127.0.0.1:3002, a porta usada pelo Firecrawl. Conforme documentado em 12 October 2026, ele não fornece uma imagem de container e não inicia um browser por padrão. Em 12 October 2026, o seu repositório upstream em github.com/0xchasercat/draco, a conta responsável por ele e os downloads das releases retornavam todos 404 Not Found. Nessa verificação, um fork público ainda continha o código-fonte e as tags até v0.24.0, mas não publicava builds de release. Leia, portanto, a seção de instalação abaixo antes de basear o seu planeamento nele.

Firecrawl self-hosted é o engine por trás do produto hospedado, sob a licença AGPL-3.0. O seu docker-compose.yaml define sete serviços: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb e foundationdb-init. Você obtém a fila de crawling real, mas precisa executar um pequeno sistema distribuído.

Hound está no repositório master-fetch e é publicado no PyPI como hound-mcp, sob a licença MIT, na versão 13.2.0 (publicada em 26 August 2026), conforme verificado em 12 October 2026. Ele requer Python 3.11 ou mais recente. É primeiro um servidor MCP e, depois, um fetcher: tenta usar HTTP simples e recorre a um browser Patchright quando o fetch simples retorna uma resposta bloqueada ou serve um shell JavaScript; a configuração com browser habilitado inicializa um browser durante o arranque.

Trawl aparece aqui porque as pessoas o encontram ao procurar os outros projetos, mas ele executa uma tarefa diferente. Resolve desafios JavaScript e CAPTCHAs com um Firefox com fingerprint corrigida, como substituto do FlareSolverr numa stack de media *arr. Atualmente, também lê Markdown e extrai JSON estruturado por MCP. A seção sobre boas práticas abaixo explica por que a função de resolver desafios determina se ele deve fazer parte da sua stack de agents.

Por que o pool de navegadores é onde pequenos VPS ficam sem recursos

Cada aba de navegador aberta é um processo de renderização separado, que mantém o seu próprio DOM (document object model) e o seu próprio heap JavaScript. Por isso, o consumo de memória aumenta com o número de páginas abertas ao mesmo tempo, não com o número de páginas obtidas por dia. Dois destes projetos registram esse custo nos próprios ficheiros Compose.

GráficoMemory ceilings each project sets in its own compose file (GB)
Os dados por trás deste gráfico
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

O ficheiro Compose do Firecrawl limita o seu contentor api a 8 GB e o seu contentor Playwright a 4 GB, com limites de swap correspondentes. O Compose do Hound define 3 GB para um contentor que inclui um Chromium integrado. Estes são limites máximos escolhidos pelos projetos e publicados como referência, não medições de um sistema ocioso. Além disso, Redis, RabbitMQ, PostgreSQL e FoundationDB ainda precisam da sua parcela acima dos valores do Firecrawl.

Um limite máximo acima da RAM disponível não reserva essa memória. Quando o servidor fica sem memória, o OOM killer do kernel encerra um processo. Assim, um contentor desaparece de docker compose ps sem que seja escrito qualquer erro no log da aplicação. O ficheiro Compose fornecido pelo Firecrawl não define uma política de reinício automático. Por isso, um contentor terminado por OOM permanece parado; docker compose ps --all inclui contentores parados. Consulte dmesg -T | tail depois de uma paragem sem explicação. O Firecrawl não publica um tamanho mínimo verificado para o host desta stack. Dimensione o servidor de acordo com a sua carga de trabalho. A definição dos valores por serviço é explicada em limites de memória no Docker Compose.

Outro detalhe do navegador pode consumir uma tarde de diagnóstico. O Docker atribui 64 MB de memória partilhada a um contentor em /dev/shm. No entanto, o serviço Playwright do Firecrawl inicia o Chromium com --disable-dev-shm-usage. Isso evita essa pequena partição para estes ficheiros de memória partilhada. O Compose do Hound aumenta esse valor com shm_size: "1gb". A sua camada dinâmica de navegadores herda --disable-dev-shm-usage do Playwright através do Patchright, e nem a remoção de switches do Patchright nem a lista ignore_default_args do Hound o remove. O Compose do Firecrawl não define shm_size. O bloco playwright-service define limites de CPU e memória e um tmpfs de 1 GB em /tmp/.cache. Por isso, esse contentor mantém o valor predefinido de 64 MB. Verifique os flags de inicialização do Chromium antes de copiar a linha do Hound para uma imagem que esteja a criar em torno do Playwright.

Qualidade da extração em páginas com muito JavaScript

Em HTML estático, num blogue renderizado no servidor, numa página de documentação ou num artigo de notícias, o markdown devolvido é praticamente idêntico e vence a opção mais rápida. A diferença surge nas páginas renderizadas no cliente, onde o HTML entregue é apenas uma estrutura vazia e o texto chega através de JavaScript depois do carregamento.

O Draco escala por níveis. Os níveis 0 e 1 analisam o HTML sem executar JavaScript. O nível 2 executa o JavaScript da página num isolamento V8 dentro do processo. Trata-se do motor JavaScript sem um navegador à sua volta, e o README indica que o código da página não recebe bindings de capacidades do host nesse ambiente. Isto abrange muitas aplicações de página única com uma fração da memória de um navegador. Quando o Draco encontra um obstáculo que não consegue ultrapassar, draco scrape termina com o código 3, needs_browser. Verifique esse código nos scripts, porque um ficheiro vazio com código de saída 0 é uma falha que corrompe silenciosamente o contexto de um agente:

draco scrape https://example.com > page.md
echo "exit=$?"

O playwright-service do Firecrawl controla um Chromium real, por isso renderiza o que um navegador renderiza. A versão autoalojada continua a não ser o produto alojado: a documentação indica que o Fire-engine, que inclui o comportamento avançado contra bots do serviço cloud, não está incluído; as capturas de ecrã e as ações na página não estão disponíveis na stack predefinida; e, para Agent, Browser e interact, a documentação encaminha-o para o Firecrawl Cloud. O Hound fica deliberadamente entre os dois. Obtém conteúdo por HTTP e escala por pedido. O seu navegador mantido em memória encerra depois de um tempo limite de inatividade, por isso um servidor sem atividade permanece próximo do consumo base.

Instalar o Draco com uma versão fixada

O README documentava um instalador de uma linha. Leia o que ele faz antes de o encaminhar para uma shell: conforme documentado em 12 October 2026, instala em $HOME/.draco/bin/draco, obtém sempre a release latest e não verifica nenhuma assinatura ou hash. Num servidor, fixe a versão e verifique o download. As instruções para v0.20.5 abaixo mantêm a configuração verificada em 12 October 2026; a documentação upstream da versão fixada não está disponível para nova verificação.

Em 12 October 2026, os downloads das releases do projeto devolvem 404 Not Found, porque o repositório upstream deixou de responder, e o domínio do instalador get.draco.sh anunciado pelo site do projeto não resolve. Não existe um URL de release ativo de onde fazer o download. Por isso, os comandos abaixo começam numa máquina onde já tem o arquivo v0.20.5, draco-linux-x86-64.tar.gz, e o respetivo SHA256SUMS em /tmp, guardados de um download anterior ou copiados de uma máquina em que confia. Não preencha esta lacuna com um mirror que não tenha validado: um ficheiro de checksum servido pelo mesmo mirror não prova nada sobre o binário.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Isto imprime draco-linux-x86-64.tar.gz: OK. Uma linha FAILED significa que os bytes que tem não são os bytes publicados pelo projeto. Apague-os e comece novamente.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

O último comando imprime a página de exemplo em markdown. O find não é decorativo: a estrutura do arquivo não faz parte do contrato público do projeto, e o instalador oficial verificado pela última vez em 12 October 2026 localiza o binário da mesma forma.

Execute o daemon com a sua própria conta, em vez do seu utilizador de login. Escreva /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health responde assim que o daemon está a escutar. Connection refused significa que não está, por isso leia journalctl -u draco -n 50. A causa habitual é outro processo já estar a ocupar a porta 3002, porque essa também é a porta predefinida do Firecrawl. --port move o Draco. O Firecrawl self-hosted não tem essa flag: a porta vem da variável PORT no ficheiro Compose, publicada como "${PORT:-3002}:${INTERNAL_PORT:-3002}". Altere aí a porta publicada e mantenha todos os clientes consistentes com ela. Consulte mais detalhes sobre ficheiros de unidade em: unidades e temporizadores de serviço do systemd.

Agora faça o fetch da forma como o seu agente fará:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Mantenha o daemon de fetch fora da Internet pública

Uma API de fetch sem autenticação é um proxy aberto. Qualquer pessoa que consiga alcançar a porta pode fazer o seu servidor solicitar qualquer URL através do seu endereço IP. O relatório de abuso será enviado ao seu fornecedor, não ao responsável pelo abuso. As flags serve do Draco documentadas em 12 October 2026 não incluíam uma chave de API. Portanto, a proteção tem de ser feita pela rede. Mantenha o bind predefinido 127.0.0.1 quando o agente estiver a ser executado no mesmo servidor. Quando o agente estiver noutro local, coloque ambas as extremidades num túnel privado. Uma VPN WireGuard alojada por si é normalmente a opção adequada. Faça o bind ao endereço do túnel, em vez de 0.0.0.0. Depois, a partir de outra máquina, confirme que o IP público não responde. Noções básicas da firewall ufw e Contas de utilizador com privilégios mínimos abrangem as duas partes dessa configuração.

O código do seu agente vai mudar? Compatibilidade de API na prática

O Draco responde às rotas v1 do Firecrawl: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape e /v1/search, e o README, verificado pela última vez em 12 October 2026, informa que os campos desconhecidos são aceites e ignorados. A compatibilidade depende das funcionalidades solicitadas: o site oficial do Draco informa que screenshots e cliques devolvem HTTP 422. Portanto, um cliente Firecrawl v1 que solicite ações de página não suportadas precisa de alterações nos pedidos, além de um novo URL base. Verifique o que mudou do outro lado: o guia oficial de self-hosting do Firecrawl agora testa o funcionamento com um POST para /v2/scrape, e os SDKs atuais usam v2 por predefinição, enquanto o site do Draco lista rotas v1. Teste cada chamada com curl antes de editar o código do agente e leia o corpo JSON, não apenas o código de estado, porque é nos nomes dos campos que estas implementações divergem.

Robots.txt, limites de pedidos e o limite que deve respeitar

O Draco lê robots.txt por predefinição, e o README consultado pela última vez em 12 October 2026 documenta --ignore-robots para desativar esse comportamento. O Firecrawl documenta a mesma predefinição. Não altere nenhum dos dois. O Hound verifica robots.txt apenas quando respect_robots=True é passado a smart_fetch, por isso ative-o nesse ponto. Depois, defina o seu próprio ritmo: conforme documentado em 12 October 2026, o --delay do Draco insere milissegundos entre pedidos e --max-concurrency limita os trabalhos paralelos, com 8 como predefinição do daemon. Dois a quatro causam menos carga numa ligação partilhada de VPS e raramente são mais lentos no total, porque um site que começa a limitar os seus pedidos consome mais minutos do que os poupados pela concorrência. Coloque em cache o que obtiver, para que uma segunda execução do agente não gere custo para a fonte. Esse também é o item mais barato em controlar o custo de um agente de IA.

As páginas de desafio são um assunto separado, e o Trawl foi criado precisamente para isso: Cloudflare Turnstile, reCAPTCHA, hCaptcha e GeeTest. Uma página de desafio é uma recusa explícita do site ao tráfego automatizado. Contorná-la pode violar os termos de utilização do site e, em alguns locais, a lei. Por isso, este guia aborda apenas a infraestrutura de obtenção de dados. As mesmas técnicas que ultrapassam uma página de desafio são as que os proprietários dos sites monitorizam e bloqueiam, o que torna qualquer pipeline baseado nelas frágil e inadequado. Quando uma fonte é assim tão importante, procure o respetivo feed RSS, a API pública ou uma exportação em massa. Cada opção é mais barata de executar, e nenhuma deixa de funcionar na semana em que a página de desafio muda.

Ligue-o a um agente por MCP

MCP (model context protocol) é a interface que um agente usa para chamar uma ferramenta. As ferramentas que chegam ao modelo e a possibilidade de este as chamar sem lhe pedir confirmação são decididas um nível acima, pelo harness onde o modelo é executado. Por isso, deixar o daemon a escutar é apenas metade da configuração. O Draco inclui um servidor MCP no mesmo binário, através de stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

O README verificado pela última vez em 12 October 2026 lista draco_scrape, draco_discover e draco_search para stdio. O conjunto draco_interact_* pertence ao endpoint HTTP MCP do daemon. O stdio só funciona quando o processo do agente e o binário estão na mesma máquina, porque o transporte usa a entrada padrão desse processo. Para um agente noutro host, o Hound disponibiliza MCP através de HTTP. hound --http --host 127.0.0.1 --port 8765 publica um endpoint em http://127.0.0.1:8765/mcp, ao qual acede através do túnel. As opções de transporte e o que deve ser exposto estão descritos em executar servidores MCP num VPS.

Obtenha pares com uma pesquisa. Um agente que só consegue obter conteúdo fica à espera que lhe forneça URLs. Adicione uma instância SearXNG de pesquisa self-hosted para que possa encontrá-los sozinho, com a mesma estrutura da competência de pesquisa no browser baseada em SearXNG. Depois de o daemon estar ativo, fica disponível como um serviço partilhado para qualquer um dos agentes de IA self-hosted que executar. Se a parte do agente for aquela sobre a qual tem menos certezas, escrever primeiro um pequeno ciclo de agente manualmente torna evidente onde uma ferramenta de obtenção de conteúdo é ligada e o que o modelo faz com o markdown recebido.

FAQ

Preciso de um navegador headless para obter páginas para um agente de IA?

Não para a maioria das páginas. Documentação, blogs e artigos de notícias renderizados no servidor são devolvidos completos com uma simples obtenção HTTP seguida de uma conversão de HTML para Markdown, que é o que o Draco faz nos níveis inferiores, em cerca de 300 ms por página sem navegador, segundo os próprios números do projeto. Um navegador justifica o consumo de memória em aplicações renderizadas no cliente, nas quais o HTML entregue é apenas uma estrutura vazia. O isolamento V8 do Draco cobre grande parte desses casos intermédios sem um processo de navegador e termina com o código 3, needs_browser, quando não consegue fazê-lo.

De quanta RAM precisa o Firecrawl autoalojado numa VPS?

O ficheiro Compose define um limite de 8 GB para o contentor api e de 4 GB para o contentor Playwright. A mesma stack também inicia Redis, RabbitMQ, PostgreSQL e FoundationDB. O Firecrawl não publica um tamanho mínimo verificado para o host desta stack. Sob pressão de memória, o kernel termina processos através do mecanismo out-of-memory killer; se um contentor parar, o ficheiro Compose fornecido não o reinicia automaticamente. Consulte docker compose ps --all para verificar contentores parados e confirme um evento OOM com dmesg -T | tail.

O Draco é um substituto direto da API do Firecrawl?

Para os endpoints v1, é bastante compatível. Disponibiliza /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape e /v1/search, mas a compatibilidade depende das funcionalidades solicitadas: os screenshots e os cliques devolvem HTTP 422, pelo que os clientes que solicitam ações de página não suportadas precisam de alterações nos pedidos, além de um novo URL base. Os SDKs atuais do Firecrawl usam v2 por predefinição, enquanto o site do Draco lista rotas v1. Verifique primeiro cada chamada feita pelo seu agente com curl.

Autoalojar um scraper significa que posso ignorar o robots.txt?

Não. O local onde o código é executado não altera o que um site publicou nem o que os seus termos permitem. Tanto o Draco como o Firecrawl respeitam robots.txt por predefinição, e a flag de substituição existe para sites que lhe pertencem ou para os quais tem autorização escrita para fazer crawling. Os limites de taxa são aplicados pelo destino em qualquer caso, pelo que um --delay educado, com baixa concorrência, mantém o seu endereço IP a funcionar. Uma stack que só funciona ao contornar uma página de desafio é uma stack que pode deixar de funcionar sem aviso.

Este artigo foi útil?