SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor

So sánh Firecrawl tự host và Draco, Hound trên VPS

So sánh Draco, Hound và Firecrawl tự host theo RAM, nhu cầu headless browser và tương thích API. Có lệnh cài version cố định và kết nối MCP.

Một lựa chọn thay thế Firecrawl tự host phải làm được gì

Một lựa chọn thay thế Firecrawl tự host chỉ có một nhiệm vụ: nhận URL và trả về nội dung trang dưới dạng markdown sạch để agent có thể đọc. Các API hosted tính phí theo từng trang, nên chi phí tăng theo mức độ tìm hiểu của agent. VPS bạn đã trả phí có thể xử lý công việc tương tự. Các project khác nhau ở một câu hỏi: trên máy của bạn có cần khởi động headless browser (browser engine thực chạy mà không mở cửa sổ) hay không?

Câu trả lời này quyết định footprint bộ nhớ, chi phí xử lý từng trang và những trang nào sẽ trả về nội dung rỗng. Hướng dẫn này so sánh Draco, Hound và bản release Firecrawl tự host, cài lựa chọn nhẹ nhất ở một version cố định, rồi kết nối nó với agent qua MCP (model context protocol).

Bốn dự án và bản chất thực tế của từng dự án

Draco là một binary duy nhất, được viết bằng Rust và cấp phép theo MIT hoặc Apache-2.0. draco scrape <url> in markdown ra stdout. draco serve chạy một daemon lắng nghe trên 127.0.0.1:3002, là cổng mà Firecrawl sử dụng. Theo tài liệu tại thời điểm 12 October 2026, dự án không phát hành container image và mặc định không khởi động browser. Tính đến 12 October 2026, upstream repository tại github.com/0xchasercat/draco, account đứng sau dự án và các bản tải xuống release của dự án đều trả về 404 Not Found. Tại thời điểm kiểm tra đó, một public fork vẫn còn source và các tag đến v0.24.0 nhưng không publish release build nào. Vì vậy, hãy đọc phần cài đặt bên dưới trước khi lập kế hoạch dựa trên dự án này.

Firecrawl self-hosted là engine phía sau hosted product, được cấp phép theo AGPL-3.0. docker-compose.yaml của dự án định nghĩa 7 service: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb và foundationdb-init. Bạn có đầy đủ crawl queue thực tế, đổi lại phải vận hành một distributed system nhỏ.

Hound nằm trong repository master-fetch và được phát hành lên PyPI với tên hound-mcp, cấp phép MIT, phiên bản 13.2.0 (phát hành ngày 26 August 2026) tại thời điểm 12 October 2026. Dự án yêu cầu Python 3.11 trở lên. Hound trước hết là một MCP server, sau đó mới là fetcher: nó thử HTTP thuần trước và chuyển sang browser Patchright khi fetch thuần bị chặn hoặc trả về một JavaScript shell. Cấu hình có browser sẽ khởi động browser ngay khi service start.

Trawl được đề cập vì người dùng thường gặp nó khi tìm các dự án còn lại, nhưng nó thực hiện một công việc khác. Trawl xử lý các JavaScript challenge và CAPTCHA bằng Firefox đã được patch fingerprint, thay thế cho FlareSolverr trong một *arr media stack. Hiện tại Trawl cũng đọc Markdown và trích xuất JSON có cấu trúc qua MCP. Phần về cách sử dụng có trách nhiệm bên dưới giải thích vì sao vai trò xử lý challenge quyết định việc Trawl có phù hợp với agent stack của bạn hay không.

Tại sao browser pool là nguyên nhân khiến các VPS nhỏ bị sập

Mỗi tab trình duyệt đang mở là một tiến trình renderer riêng biệt, giữ DOM (document object model) và heap JavaScript của riêng nó. Do đó, bộ nhớ tiêu thụ tỉ lệ thuận với số trang đang mở tại cùng một thời điểm, chứ không phải số trang được tải mỗi ngày. Hai trong số các dự án này ghi rõ chi phí đó vào file compose của họ.

Biểu đồMemory ceilings each project sets in its own compose file (GB)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

File compose của Firecrawl giới hạn container api ở mức 8 GB và container Playwright ở mức 4 GB, kèm theo các giới hạn swap tương ứng. File compose của Hound đặt mức 3 GB cho một container chứa sẵn Chromium. Đây là các mức trần do dự án lựa chọn, là những con số được công bố thay vì kết quả đo đạc trên một hệ thống nhàn rỗi, và Redis, RabbitMQ, PostgreSQL cùng FoundationDB vẫn cần phần tài nguyên của chúng bên cạnh các con số của Firecrawl.

Mức trần cao hơn RAM bạn có không có nghĩa là bộ nhớ đó được dành riêng. Khi máy chủ hết RAM, kernel out-of-memory killer sẽ kết thúc một tiến trình, khiến container biến mất khỏi docker compose ps mà không có lỗi nào được ghi lại trong log của ứng dụng. File Compose do Firecrawl cung cấp không đặt chính sách tự động khởi động lại, nên container bị OOM-terminated sẽ dừng hẳn; docker compose ps --all bao gồm cả các container đã dừng. Hãy đọc dmesg -T | tail sau khi gặp tình trạng dừng đột ngột không rõ nguyên nhân. Firecrawl không công bố kích thước host tối thiểu đã xác thực cho stack này, vì vậy hãy chọn kích thước máy chủ dựa trên khối lượng công việc của bạn. Việc thiết lập các con số cho từng service được đề cập trong giới hạn bộ nhớ trong Docker Compose.

Một chi tiết nữa về trình duyệt thường khiến người dùng mất cả buổi tối. Docker cấp cho container 64 MB bộ nhớ chia sẻ tại /dev/shm, nhưng service Playwright của Firecrawl khởi chạy Chromium với --disable-dev-shm-usage, giúp tránh phân vùng nhỏ đó cho các file bộ nhớ chia sẻ này. File compose của Hound tăng mức này bằng shm_size: "1gb"; tầng trình duyệt động của nó kế thừa --disable-dev-shm-usage từ Playwright thông qua Patchright, và cả việc loại bỏ switch của Patchright lẫn ignore_default_args của Hound đều không xóa bỏ nó. File compose của Firecrawl không đặt shm_size nào cả: khối playwright-service của nó đặt giới hạn CPU, bộ nhớ và 1 GB tmpfs tại /tmp/.cache, vì vậy container đó vẫn giữ mức mặc định 64 MB. Hãy kiểm tra các flag khởi chạy Chromium trước khi sao chép dòng lệnh của Hound vào một image mà bạn build dựa trên Playwright.

Chất lượng trích xuất trên các trang dùng nhiều JavaScript

Với HTML tĩnh, blog render phía server, trang tài liệu hoặc bài tin tức, tất cả các công cụ này thường trả về markdown gần như giống nhau, nên công cụ nhanh nhất sẽ thắng. Khác biệt xuất hiện trên các trang render phía client, nơi HTML được gửi xuống chỉ là một shell rỗng còn nội dung văn bản được JavaScript tải sau khi trang load.

Draco nâng cấp theo từng tier. Tier 0 và tier 1 parse HTML hoàn toàn không dùng JavaScript. Tier 2 chạy JavaScript của chính trang trong một V8 isolate nội bộ. Đây là JavaScript engine không có browser bao quanh, và README nêu rõ code của trang không được cấp các host capability binding trong môi trường này. Cách này xử lý được nhiều single-page application với lượng memory chỉ bằng một phần so với browser. Khi Draco gặp một giới hạn mà nó không thể vượt qua, draco scrape thoát với code 3, needs_browser. Hãy kiểm tra giá trị này trong script, vì file rỗng với exit code bằng 0 là dạng lỗi âm thầm làm hỏng context của agent:

draco scrape https://example.com > page.md
echo "exit=$?"

playwright-service của Firecrawl điều khiển một Chromium thực, nên nó render đúng những gì browser render. Bản self-hosted vẫn không phải là hosted product: tài liệu nêu rõ Fire-engine, thành phần cung cấp cơ chế chống bot nâng cao của cloud service, không được tích hợp; screenshots và page actions cũng không có trong stack mặc định; còn với Agent, Browser và interact, tài liệu hướng bạn đến Firecrawl Cloud. Hound được thiết kế nằm ở giữa hai lựa chọn này. Nó fetch qua HTTP và nâng cấp theo từng request. Browser được giữ nóng của nó sẽ đóng sau một khoảng thời gian idle, nên một máy ít hoạt động vẫn gần mức sử dụng tài nguyên cơ bản.

Cài đặt Draco với phiên bản cố định (pinned version)

README có ghi lại một dòng lệnh cài đặt. Hãy đọc kỹ những gì nó thực hiện trước khi pipe vào shell: theo tài liệu ngày 12 tháng 10 năm 2026, nó cài đặt vào $HOME/.draco/bin/draco, luôn lấy bản release latest và không kiểm tra chữ ký hay hash. Trên server, hãy cố định phiên bản và xác thực file tải về. Hướng dẫn cho v0.20.5 dưới đây giữ nguyên thiết lập đã kiểm tra vào ngày 12 tháng 10 năm 2026; tài liệu upstream của phiên bản này hiện không còn khả dụng để kiểm tra lại.

Tính đến ngày 12 tháng 10 năm 2026, các link tải release của dự án trả về 404 Not Found vì repository upstream không còn phản hồi, và domain cài đặt get.draco.sh mà trang web dự án quảng bá cũng không phân giải được. Không có URL release trực tuyến nào để tải về, vì vậy các lệnh dưới đây bắt đầu trên một máy chủ nơi bạn đã có sẵn file lưu trữ v0.20.5, draco-linux-x86-64.tar.gz, và SHA256SUMS của nó trong /tmp, được lưu từ lần tải trước hoặc sao chép từ một máy bạn tin tưởng. Đừng thay thế bằng một mirror mà bạn chưa kiểm duyệt: file checksum được cung cấp từ cùng một mirror đó không chứng minh được gì về file binary.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Lệnh đó in ra draco-linux-x86-64.tar.gz: OK. Dòng FAILED nghĩa là các byte bạn đang giữ không khớp với các byte mà dự án đã công bố, vì vậy hãy xóa chúng và bắt đầu lại.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

Lệnh cuối cùng in trang ví dụ dưới dạng markdown. find không phải là trang trí: cấu trúc file lưu trữ không nằm trong cam kết công khai của dự án, và trình cài đặt chính thức được kiểm tra lần cuối vào ngày 12 tháng 10 năm 2026 định vị file binary theo cùng cách đó.

Chạy daemon dưới tài khoản riêng của nó thay vì user đăng nhập của bạn. Viết /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health phản hồi ngay khi daemon đang lắng nghe. Connection refused nghĩa là nó không lắng nghe, vì vậy hãy đọc journalctl -u draco -n 50. Nguyên nhân thường gặp là một tiến trình khác đã chiếm cổng 3002, vì đây cũng là cổng mặc định của Firecrawl. --port di chuyển Draco. Firecrawl tự host không có flag này: cổng của nó đến từ biến PORT trong file Compose, được publish là "${PORT:-3002}:${INTERNAL_PORT:-3002}", vì vậy hãy thay đổi cổng được publish ở đó và giữ cho mọi client đồng nhất với nó. Tìm hiểu sâu hơn về unit file: systemd service units and timers.

Bây giờ hãy thực hiện fetch theo cách mà agent của bạn sẽ làm:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Giữ fetch daemon tránh xa public internet

Một fetch API không có xác thực chính là một open proxy. Bất kỳ ai truy cập được vào cổng này đều có thể bắt máy chủ của bạn gửi yêu cầu đến bất kỳ URL nào dưới địa chỉ IP của bạn, và báo cáo lạm dụng sẽ gửi về nhà cung cấp dịch vụ của bạn chứ không phải họ. Các flag serve của Draco được ghi lại vào ngày 12 tháng 10 năm 2026 không bao gồm API key, vì vậy bạn phải bảo vệ bằng mạng. Hãy giữ bind mặc định 127.0.0.1 khi agent chạy trên cùng một máy. Khi agent ở nơi khác, hãy đặt cả hai đầu trên một đường hầm riêng tư, một WireGuard VPN do bạn tự host là giải pháp thông thường, và bind vào địa chỉ của đường hầm thay vì 0.0.0.0. Sau đó, hãy kiểm tra từ một máy khác để đảm bảo IP công cộng không phản hồi bất cứ điều gì. Các kiến thức cơ bản về ufw firewall và các tài khoản người dùng với đặc quyền tối thiểu bao gồm hai phần của việc này.

Mã agent của bạn có thay đổi không? Khả năng tương thích API trong thực tế

Draco phản hồi các route v1 của Firecrawl: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape và /v1/search, và README của nó được kiểm tra lần cuối vào ngày 12 tháng 10 năm 2026 nêu rõ rằng các trường không xác định sẽ được chấp nhận và bỏ qua. Khả năng tương thích phụ thuộc vào các tính năng được yêu cầu: trang web chính thức của Draco nêu rằng ảnh chụp màn hình và thao tác click trả về HTTP 422, vì vậy một client Firecrawl v1 khi yêu cầu các hành động trên trang không được hỗ trợ sẽ cần thay đổi request cũng như base URL mới. Hãy theo dõi những thay đổi ở phía bên kia: hướng dẫn tự host của chính Firecrawl hiện thực hiện smoke-test bằng một POST tới /v2/scrape, và các SDK hiện tại mặc định sử dụng v2, trong khi trang web của Draco liệt kê các route v1. Hãy kiểm tra từng lệnh gọi bằng curl trước khi bạn chỉnh sửa mã agent, và đọc phần body JSON thay vì mã trạng thái, vì tên trường là nơi các triển khai này bắt đầu khác biệt.

Robots.txt, giới hạn tốc độ và ranh giới cần tuân thủ

Draco mặc định đọc robots.txt và README của nó, được kiểm tra lần cuối vào ngày 12 tháng 10 năm 2026, có tài liệu hướng dẫn --ignore-robots để tắt tính năng này. Firecrawl cũng có mặc định tương tự. Hãy giữ nguyên cả hai. Hound chỉ kiểm tra robots.txt khi respect_robots=True được truyền vào smart_fetch, vì vậy hãy bật nó ở đó. Sau đó, hãy tự thiết lập tốc độ của bạn: như đã ghi trong tài liệu ngày 12 tháng 10 năm 2026, --delay của Draco đặt số mili giây giữa các yêu cầu và --max-concurrency giới hạn các tác vụ chạy song song, với giá trị mặc định của daemon là 8. Mức từ 2 đến 4 sẽ thân thiện hơn với đường truyền trên VPS dùng chung và hiếm khi chậm hơn về tổng thể, vì một trang web bắt đầu giới hạn tốc độ của bạn sẽ gây tốn thời gian hơn nhiều so với việc tiết kiệm được nhờ chạy song song. Hãy cache những gì bạn đã fetch để lần chạy agent thứ hai không làm tiêu tốn tài nguyên của nguồn dữ liệu. Đó cũng là khoản mục chi phí rẻ nhất trong kiểm soát chi phí cho AI agent.

Các tường chắn thử thách (challenge wall) là một chủ đề riêng biệt và Trawl được xây dựng chính xác cho mục đích đó: Cloudflare Turnstile, reCAPTCHA, hCaptcha và GeeTest. Một tường chắn thử thách là cách một trang web từ chối lưu lượng truy cập tự động một cách rõ ràng. Việc tìm cách vượt qua nó sẽ khiến bạn vi phạm điều khoản sử dụng của trang web và ở một số nơi là vi phạm pháp luật, vì vậy hướng dẫn này chỉ đề cập đến cơ sở hạ tầng để fetch dữ liệu và dừng lại ở đó. Các kỹ thuật vượt tường chắn cũng chính là những gì chủ sở hữu trang web theo dõi và chặn, điều này làm cho bất kỳ pipeline nào xây dựng dựa trên chúng trở nên mong manh và thiếu lịch sự. Khi một nguồn dữ liệu thực sự quan trọng, hãy tìm RSS feed, API công khai hoặc bản xuất dữ liệu hàng loạt của nó. Mỗi phương thức này đều rẻ hơn để vận hành và không bị hỏng ngay trong tuần mà tường chắn thay đổi.

Kết nối với agent qua MCP

MCP (model context protocol) là interface để agent gọi một tool. Những tool nào được cung cấp cho model, và model có được phép gọi tool đó mà không hỏi bạn trước hay không, được quyết định ở một tầng cao hơn bởi harness nơi model chạy bên trong. Vì vậy, để daemon listen chỉ là một nửa việc kết nối. Draco tích hợp MCP server trong cùng binary và dùng stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

README được kiểm tra lần gần nhất vào ngày 12 October 2026 liệt kê draco_scrape, draco_discover và draco_search cho stdio; bộ draco_interact_* thuộc về HTTP MCP endpoint của daemon. Stdio chỉ hoạt động khi process của agent và binary nằm trên cùng một máy, vì transport sử dụng standard input của process đó. Với agent chạy trên host khác, Hound cung cấp MCP qua HTTP: hound --http --host 127.0.0.1 --port 8765 công bố endpoint tại http://127.0.0.1:8765/mcp, và bạn truy cập endpoint này qua tunnel. Các lựa chọn transport và nội dung cần expose được trình bày trong chạy MCP server trên VPS.

Kết hợp việc fetch với search. Agent chỉ có khả năng fetch sẽ phải chờ bạn cung cấp URL. Thêm một search instance SearXNG tự host để agent tự tìm các URL đó, tương tự browser search skill xây dựng trên SearXNG. Khi daemon đã chạy, đây là một shared service dùng chung cho bất kỳ agent nào trong số các AI agent tự host mà bạn đang chạy. Nếu phần agent là phần bạn chưa chắc nhất, tự viết một agent loop nhỏ trước sẽ cho thấy rõ fetch tool được gắn vào đâu và model xử lý markdown nhận được như thế nào.

FAQ

Tôi có cần headless browser để lấy nội dung trang cho AI agent không?

Hầu hết các trang thì không. Tài liệu, blog và bài báo được render từ phía server sẽ trả về đầy đủ nội dung chỉ với một lệnh HTTP fetch đơn giản kết hợp với bước chuyển đổi HTML sang markdown. Đây là cách Draco thực hiện ở các tầng thấp hơn với tốc độ khoảng 300 ms mỗi trang mà không cần trình duyệt, theo số liệu của dự án. Trình duyệt chỉ thực sự cần thiết đối với các ứng dụng client-rendered, nơi HTML trả về chỉ là một khung rỗng. V8 isolate của Draco xử lý được phần lớn các trường hợp này mà không cần tiến trình trình duyệt, và nó sẽ thoát với mã lỗi 3, needs_browser, khi không thể thực hiện.

Firecrawl tự host cần bao nhiêu RAM trên VPS?

File compose của nó đặt giới hạn 8 GB cho container api và 4 GB cho container Playwright, ngoài ra stack này còn khởi chạy Redis, RabbitMQ, PostgreSQL và FoundationDB. Firecrawl không công bố kích thước host tối thiểu được xác thực cho stack này. Khi bị áp lực bộ nhớ, kernel sẽ kích hoạt OOM killer để kết thúc các tiến trình; nếu một container dừng lại, file Compose được cung cấp sẽ không tự động khởi động lại nó. Hãy kiểm tra docker compose ps --all để xem các container đã dừng và xác nhận sự kiện OOM bằng dmesg -T | tail.

Draco có phải là giải pháp thay thế trực tiếp cho Firecrawl API không?

Đối với các endpoint v1 thì khá gần. Nó phục vụ /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape và /v1/search, nhưng khả năng tương thích phụ thuộc vào các tính năng được yêu cầu: ảnh chụp màn hình và thao tác click sẽ trả về HTTP 422, vì vậy các client yêu cầu những hành động không được hỗ trợ cần phải thay đổi request cũng như cập nhật base URL mới. Các SDK hiện tại của Firecrawl mặc định sử dụng v2, trong khi trang web của Draco liệt kê các route v1. Hãy xác thực từng lệnh gọi mà agent của bạn thực hiện bằng curl trước.

Tự host một trình cào dữ liệu có nghĩa là tôi có thể bỏ qua robots.txt không?

Không. Nơi mã nguồn chạy không làm thay đổi những gì một trang web đã công bố hoặc những gì điều khoản của họ cho phép. Cả Draco và Firecrawl đều mặc định tuân thủ robots.txt, và cờ ghi đè chỉ tồn tại cho các trang web bạn sở hữu hoặc đã có văn bản cho phép cào dữ liệu. Giới hạn tốc độ (rate limit) vẫn được thực thi ở phía server bất kể bạn làm gì, vì vậy một cấu hình --delay lịch sự với độ đồng thời thấp sẽ giúp địa chỉ IP của bạn hoạt động ổn định. Một stack chỉ hoạt động bằng cách vượt qua các tường chắn (challenge wall) là một stack sẽ bị hỏng mà không có cảnh báo trước.

Bài viết này có hữu ích không?