SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

VPS自托管Firecrawl替代方案:Draco、Hound对比

对比 Draco、Hound 与自托管 Firecrawl 的内存、无头浏览器需求和 API 兼容性,提供固定版本安装方法及 MCP 连接配置;同时说明 Draco 下载地址返回 404 的风险。

自托管 Firecrawl 替代方案必须具备的功能

自托管 Firecrawl 替代方案只需完成一项工作:接收 URL,并返回代理可以读取的干净 Markdown。托管 API 按页面收费,因此代理抓取的页面越多,费用越高;而您已经在使用的 VPS 也可以完成相同的工作。这些项目的主要区别在于:是否必须在您的服务器上启动无头浏览器(在没有窗口的情况下运行的真实浏览器引擎)。

这个选择会决定内存占用、每个页面的处理成本,以及哪些页面会返回空内容。本指南将比较 Draco、Hound 和自托管 Firecrawl 版本,以固定版本安装其中资源占用最低的方案,并通过 MCP(模型上下文协议)将其连接到代理。

四个项目分别是什么,以及它们的实际用途

Draco 是一个使用 Rust 编写的单一二进制程序,采用 MIT 或 Apache-2.0 许可证。draco scrape <url> 将 Markdown 输出到 stdout。draco serve 运行一个守护进程,在 127.0.0.1:3002 上提供服务;这是 Firecrawl 使用的端口。截至 2026 年 10 月 12 日的文档记录,它不提供容器镜像,默认也不会启动浏览器。截至 2026 年 10 月 12 日,其上游仓库 github.com/0xchasercat/draco、背后的账户以及发布下载地址均返回 404 Not Found。截至该次检查,一个公开 fork 仍保留源代码和截至 v0.24.0 的标签,但没有发布构建产物。因此,在据此规划部署前,请先阅读下面的安装部分。

Firecrawl self-hosted 是托管产品所使用的引擎,采用 AGPL-3.0 许可证。其 docker-compose.yaml 定义了七个服务:playwright-service、api、redis、rabbitmq、nuq-postgres、foundationdb 和 foundationdb-init。您可以获得真正的抓取队列,但需要运行一个小型分布式系统。

Hound 位于 master-fetch 仓库,并以 hound-mcp 的名称发布到 PyPI;截至 2026 年 10 月 12 日,其许可证为 MIT,版本为 13.2.0(发布于 2026 年 8 月 26 日)。它需要 Python 3.11 或更高版本。它首先是 MCP 服务器,其次才是抓取器:它会先尝试普通 HTTP 请求;如果普通请求被阻止,或返回 JavaScript 外壳页面,则升级为使用 Patchright 浏览器。启用浏览器的配置会在启动时预热浏览器。

Trawl 之所以列在这里,是因为人们搜索其他项目时经常会遇到它,而且它的用途不同。它使用修改了指纹特征的 Firefox 解决 JavaScript 挑战和 CAPTCHA,可在 *arr 媒体技术栈中替代 FlareSolverr。现在它还可以读取 Markdown,并通过 MCP 提取结构化 JSON。下面的使用规范部分会说明:它的挑战解决功能决定了它是否适合加入您的代理技术栈。

为什么浏览器池会耗垮小型 VPS

每个打开的浏览器标签页都是一个独立的渲染器进程,并持有自己的 DOM(文档对象模型)和 JavaScript 堆。因此,内存占用取决于同时打开的页面数量,而不是每天抓取的页面数量。其中两个项目会在各自的 compose 文件中明确写出这项开销。

图表Memory ceilings each project sets in its own compose file (GB)
此图表背后的数据
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Firecrawl 的 compose 文件将其 api 容器的内存上限设为 8 GB,将其 Playwright 容器的内存上限设为 4 GB,并设置相应的 swap 上限。Hound 的 compose 为一个内置 Chromium 的容器设置了 3 GB。这些是项目选择并公开的上限,不是安静系统的实测值;此外,Redis、RabbitMQ、PostgreSQL 和 FoundationDB 仍需在 Firecrawl 的数值之外占用内存。

高于实际 RAM 容量的上限不会预留相应内存。当服务器耗尽内存时,内核的 out-of-memory killer 会终止某个进程,因此容器可能直接从 docker compose ps 中消失,而应用日志不会记录错误。Firecrawl 提供的 Compose 文件没有设置自动重启策略,因此被 OOM 终止的容器会保持停止状态;docker compose ps --all 包含已停止的容器。遇到无法解释的停止时,请查看 dmesg -T | tail。Firecrawl 没有公布该堆栈经过验证的最低主机规格,因此应根据工作负载规划服务器容量。按服务设置这些数值的方法见Docker Compose 中的内存限制。

还有一个浏览器细节,可能让人排查数小时。Docker 会在 /dev/shm 为容器提供 64 MB 的共享内存,但 Firecrawl 的 Playwright 服务会使用 --disable-dev-shm-usage 启动 Chromium,从而绕过这个用于共享内存文件的小分区。Hound 的 compose 通过 shm_size: "1gb" 提高该容量;其动态浏览器层通过 Patchright 从 Playwright 继承 --disable-dev-shm-usage,Patchright 移除的开关和 Hound 的 ignore_default_args 列表都不会将其移除。Firecrawl 的 compose 完全没有设置 shm_size:其 playwright-service 块设置了 CPU 和内存限制,并在 /tmp/.cache 挂载了 1 GB 的 tmpfs,因此该容器仍使用默认的 64 MB。将 Hound 的配置行复制到基于 Playwright 构建的镜像前,请先检查 Chromium 的启动参数。

JavaScript 重度页面上的提取质量

对于静态 HTML、服务端渲染的博客、文档页面和新闻文章,所有工具返回的 Markdown 几乎相同,因此速度最快的工具胜出。差异出现在客户端渲染的页面上:返回的 HTML 只是空壳,页面加载后,文本才由 JavaScript 注入。

Draco 按层级逐步升级。第 0 层和第 1 层完全不运行 JavaScript,只解析 HTML。第 2 层会在进程内的 V8 隔离环境中运行页面自身的 JavaScript。这个环境只有 JavaScript 引擎,没有浏览器提供的其他能力,README 说明页面代码在其中无法获得宿主能力绑定。这样可以用远低于浏览器的内存开销处理许多单页应用。当 Draco 遇到无法跨越的限制时,draco scrape 会以代码 3 退出,needs_browser。请在脚本中检查这一点,因为空文件加零退出码会悄悄污染代理的上下文:

draco scrape https://example.com > page.md
echo "exit=$?"

Firecrawl 的 playwright-service 驱动真实的 Chromium,因此会渲染浏览器实际渲染的内容。但自托管版本仍不等同于托管产品:文档说明,承载云服务高级反机器人行为的 Fire-engine 不包含在内,默认技术栈也不提供截图和页面操作;对于 Agent、Browser 和 interact,文档将用户指向 Firecrawl Cloud。Hound 则有意处于两者之间。它通过 HTTP 获取页面,并按请求逐步升级;其常驻浏览器会在空闲超时后关闭,因此空闲主机的资源使用量会接近基线。

安装固定版本的 Draco

README 中记录了一个单行安装程序。将它通过管道传给 shell 前,先阅读其执行内容:截至 12 October 2026,安装位置为 $HOME/.draco/bin/draco,始终获取 latest 版本,并且不检查签名或哈希值。在服务器上,应固定版本并验证下载内容。下面的 v0.20.5 说明保留了截至 12 October 2026 检查过的设置;固定版本的上游文档目前无法重新核对。

截至 12 October 2026,项目的版本下载地址返回 404 Not Found,因为上游仓库已不再响应;项目网站宣传的 get.draco.sh 安装程序域名也无法解析。目前没有可供获取的有效版本 URL,因此下面的命令从这样一台主机开始:您已经持有 v0.20.5 压缩包 draco-linux-x86-64.tar.gz 及其 SHA256SUMS,并将它们放在 /tmp 中。这些文件可以来自之前的下载,或从您信任的机器复制而来。不要使用未经验证的镜像来填补这一空缺:如果校验和文件与二进制文件来自同一个镜像,它无法证明二进制文件的真实性。

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

该命令会输出 draco-linux-x86-64.tar.gz: OK。如果出现 FAILED 行,说明您持有的字节与项目发布的字节不一致。请删除这些文件并重新开始。

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

最后一条命令会以 markdown 格式输出示例页面。find 并非装饰内容:压缩包布局不属于项目的公开契约,而截至 12 October 2026 最后检查过的官方安装程序正是通过这种方式定位二进制文件的。

请使用专用账户运行守护进程,不要使用您的登录用户。写入 /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

守护进程开始监听后,/health 会立即返回。Connection refused 表示它未在监听,因此请读取 journalctl -u draco -n 50。通常原因是其他进程已经占用了 3002,因为这也是 Firecrawl 的默认端口。--port 会更改 Draco 使用的端口。自托管 Firecrawl 没有对应的标志:其端口由 Compose 文件中的 PORT 变量决定,并发布为 "${PORT:-3002}:${INTERNAL_PORT:-3002}",因此请在那里修改发布端口,并确保所有客户端使用相同的端口。有关单元文件的更多内容:systemd 服务单元和计时器。

现在按照代理实际使用的方式获取:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

让 fetch 守护进程不暴露在公网

没有身份验证的 fetch API 就是开放代理。任何能够访问该端口的人,都可以让您的服务器使用您的 IP 地址请求任意 URL。滥用报告会发送给您的服务提供商,而不是这些请求发起者。Draco 在 2026 年 10 月 12 日记录的 serve 标志中不包含 API 密钥,因此必须通过网络提供保护。代理与 agent 在同一台主机上运行时,保持默认的 127.0.0.1 绑定。代理与 agent 位于不同主机时,应将两端都放入私有隧道;自行托管的 WireGuard VPN 通常是合适的方案,并绑定到隧道地址,而不是 0.0.0.0。然后从另一台机器进行检查,确认公网 IP 不响应任何请求。ufw 防火墙基础和最小权限用户账户分别介绍这两部分内容。

代理代码会改变吗?实践中的 API 兼容性

Draco 响应 Firecrawl v1 路由:/v1/scrape、/v1/map、/v1/crawl、/v1/batch/scrape 和 /v1/search。其 README 最后于 12 October 2026 检查时说明,未知字段会被接受并忽略。兼容性取决于所请求的功能:Draco 官方网站说明,截图和点击请求会返回 HTTP 422。因此,请求不受支持的页面操作的 Firecrawl v1 客户端不仅需要更换 base URL,还需要修改请求内容。还要确认对端的接口变化:Firecrawl 自己的自托管指南现在通过向 /v2/scrape 发送 POST 请求来执行基本测试,当前 SDK 默认使用 v2,而 Draco 网站列出的是 v1 路由。在修改代理代码前,先使用 curl 测试每个调用,并读取 JSON 响应体,而不要只看状态码,因为不同实现之间最容易出现差异的是字段名称。

robots.txt、速率限制,以及应当守住的界限

Draco 默认读取 robots.txt。其 README 在 12 October 2026 的最新检查记录中说明,可通过 --ignore-robots 将其关闭。Firecrawl 也记录了相同的默认行为。不要更改这两个默认设置。Hound 仅在向 smart_fetch 传入 respect_robots=True 时检查 robots.txt,因此应在此处启用该选项。然后设置自己的请求速率:根据 12 October 2026 的文档,Draco 的 --delay 会在请求之间加入毫秒级间隔,--max-concurrency 会限制并行任务数,守护进程默认值为 8。在共享 VPS 链路上,设置为 2 到 4 更为合适,而且总体速度通常不会更慢,因为网站开始限制你的请求后,耗费的时间往往会超过并发数节省的时间。缓存已获取的内容,这样第二次运行代理时就不会再次给源站增加开销。这也是控制 AI 代理给你带来的成本中最便宜的一项。

挑战页面是另一个主题,而 Trawl 正是为此构建的:Cloudflare Turnstile、reCAPTCHA、hCaptcha 和 GeeTest。挑战页面就是网站明确拒绝自动化流量。绕过挑战页面会违反网站的使用条款,在某些地区还可能违法,因此本指南只介绍内容获取基础设施,到此为止。能够绕过挑战页面的技术,也正是网站所有者会监控并拦截的技术,因此基于这些技术构建的流水线既脆弱,也无礼。当某个来源重要到这种程度时,应查找其 RSS feed、公开 API 或批量导出。每种方式的运行成本都更低,而且挑战页面发生变化时,它们都不会在当周失效。

通过 MCP 将其连接到代理

MCP(模型上下文协议)是代理调用工具所使用的接口。哪些工具能够被模型访问,以及模型是否可以在不先征得您同意的情况下调用工具,由更上一层的 模型运行所在的控制框架决定,因此让守护进程开始监听只是连接工作的一半。Draco 在同一个二进制文件中通过标准输入输出提供 MCP 服务器:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

README 在 2026 年 10 月 12 日最后检查时,将 draco_scrape、draco_discover 和 draco_search 列为标准输入输出配置;draco_interact_* 配置属于守护进程的 HTTP MCP 端点。只有当代理进程和二进制文件位于同一台机器上时,标准输入输出方式才可用,因为传输使用的是该进程的标准输入。对于位于其他主机上的代理,Hound 则通过 HTTP 提供 MCP:hound --http --host 127.0.0.1 --port 8765 会在 http://127.0.0.1:8765/mcp 发布一个端点,您可以通过隧道访问该端点。传输方式和需要公开的内容见在 VPS 上运行 MCP 服务器。

通过搜索获取资源对。只能获取资源的代理需要您提供 URL。添加自托管的 SearXNG 搜索实例后,代理便可自行查找这些 URL,其工作方式与基于 SearXNG 构建的浏览器搜索技能相同。守护进程启动后,它就是您运行的任意自托管 AI 代理共享的一项服务。如果您最不确定的是代理端,先手动编写一个小型代理循环可以明确获取工具的接入位置,以及模型如何处理它收到的 Markdown。

FAQ

获取页面供 AI 代理使用时,是否需要无头浏览器?

大多数页面不需要。服务器端渲染的文档、博客和新闻文章,通过普通 HTTP 抓取再执行 HTML 转 Markdown 即可返回完整内容;根据 Draco 项目自己的数据,其较低层级的处理通常无需浏览器,每页耗时约 300 ms。对于客户端渲染的应用,浏览器才有必要,因为返回的 HTML 只是空壳。Draco 的 V8 isolate 无需启动浏览器进程即可覆盖其中许多场景;如果无法处理,它会以退出码 3、needs_browser 退出。

在 VPS 上自行托管 Firecrawl 需要多少 RAM?

其 compose 文件为 api 容器设置了 8 GB 的上限,为 Playwright 容器设置了 4 GB 的上限;同一套服务还会启动 Redis、RabbitMQ、PostgreSQL 和 FoundationDB。Firecrawl 没有公布这套服务经过验证的主机最低配置。内存压力过大时,内核的 out-of-memory killer 会终止进程;如果容器停止,随附的 Compose 文件不会自动重启它。使用 docker compose ps --all 检查已停止的容器,并使用 dmesg -T | tail 确认是否发生 OOM 事件。

Draco 是否可以直接替代 Firecrawl API?

对于 v1 端点,两者较为接近。它支持 /v1/scrape、/v1/map、/v1/crawl、/v1/batch/scrape 和 /v1/search,但兼容性取决于请求的功能:截图和点击操作会返回 HTTP 422,因此请求不受支持的页面操作时,客户端不仅需要更换基础 URL,还需要修改请求。Firecrawl 当前的 SDK 默认使用 v2,而 Draco 的网站列出的是 v1 路由。请先使用 curl 验证代理发出的每个调用。

自行托管抓取器后,是否可以忽略 robots.txt?

不可以。代码在哪里运行,不会改变网站发布的内容,也不会改变网站条款允许的操作。Draco 和 Firecrawl 默认都会遵守 robots.txt;对于您拥有或已获得书面抓取许可的网站,可以使用覆盖标志。无论如何,远端都会执行速率限制,因此使用低并发的礼貌型 --delay 可以保持您的 IP 地址正常工作。只能通过绕过挑战墙才能运行的服务,在挑战机制变化时就可能毫无预警地失效。

这篇文章对您有帮助吗?