SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Alternatif Firecrawl untuk VPS yang Dihoskan Sendiri

Bandingkan Draco, Hound dan Firecrawl yang dihoskan sendiri dari segi RAM, keperluan pelayar tanpa kepala dan keserasian API, termasuk pemasangan dipinkan serta sambungan MCP.

Keperluan alternatif Firecrawl yang dihoskan sendiri

Alternatif Firecrawl yang dihoskan sendiri mempunyai satu tugas: mengambil URL dan mengembalikan halaman tersebut sebagai markdown bersih yang boleh dibaca oleh ejen. API yang dihoskan mengenakan caj bagi setiap halaman, jadi bil akan meningkat mengikut tahap keingintahuan ejen anda, sedangkan VPS yang anda sudah bayar boleh melakukan kerja yang sama. Projek-projek ini terbahagi kepada satu persoalan: adakah pelayar tanpa kepala (enjin pelayar sebenar yang berjalan tanpa tetingkap) perlu dimulakan pada pelayan anda?

Jawapan tersebut menentukan penggunaan memori, kos setiap halaman, dan halaman mana yang akan kembali kosong. Panduan ini membandingkan Draco, Hound, dan keluaran Firecrawl yang dihoskan sendiri, memasang versi yang paling ringan pada versi yang ditetapkan, serta menyambungkannya kepada ejen melalui MCP (model context protocol).

Empat projek ini dan fungsi sebenar setiap satunya

Draco ialah satu binari yang ditulis dalam Rust dan dilesenkan di bawah MIT atau Apache-2.0. draco scrape <url> mencetak markdown ke stdout. draco serve menjalankan daemon yang menerima sambungan pada 127.0.0.1:3002, iaitu port yang digunakan oleh Firecrawl. Seperti yang didokumentasikan pada 12 October 2026, projek ini tidak menyediakan imej kontena dan tidak memulakan pelayar secara lalai. Pada 12 October 2026, repositori huluannya di github.com/0xchasercat/draco, akaun yang mengendalikannya dan semua muat turun keluarannya memulangkan 404 Not Found. Pada semakan itu, satu fork awam masih mengandungi kod sumber dan tag sehingga v0.24.0, tetapi tidak menerbitkan binaan keluaran. Oleh itu, baca bahagian pemasangan di bawah sebelum membuat perancangan berdasarkan projek ini.

Firecrawl self-hosted ialah enjin di sebalik produk yang dihoskan, di bawah lesen AGPL-3.0. Fail docker-compose.yaml mentakrifkan tujuh servis: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb dan foundationdb-init. Anda mendapat baris gilir crawl sebenar, tetapi perlu mengendalikan sistem teragih yang kecil.

Hound berada dalam repositori master-fetch dan diterbitkan ke PyPI sebagai hound-mcp, dilesenkan di bawah MIT, dengan versi 13.2.0 (diterbitkan pada 26 August 2026) setakat 12 October 2026. Ia memerlukan Python 3.11 atau lebih baharu. Ia mengutamakan fungsi sebagai pelayan MCP dan hanya menjadi fetcher sebagai fungsi kedua. Ia mencuba HTTP biasa dahulu, kemudian menggunakan pelayar Patchright apabila fetch biasa disekat atau hanya menerima shell JavaScript. Konfigurasi yang mengaktifkan pelayar akan memulakan pelayar semasa permulaan.

Trawl disertakan kerana pengguna menemuinya ketika mencari projek lain, tetapi fungsinya berbeza. Ia menyelesaikan cabaran JavaScript dan CAPTCHA menggunakan Firefox yang telah ditampal cap jarinya, sebagai pengganti FlareSolverr dalam tindanan media *arr. Kini ia juga membaca Markdown dan mengekstrak JSON berstruktur melalui MCP. Bahagian tentang etika penggunaan di bawah menerangkan sebab fungsi penyelesaian cabaran ini menentukan sama ada Trawl wajar dimasukkan ke dalam tindanan ejen anda.

Mengapa kumpulan pelayar web menjadi punca kegagalan VPS bersaiz kecil

Setiap tab pelayar yang dibuka merupakan proses pemapar (renderer process) berasingan yang memegang DOM (document object model) dan heap JavaScript tersendiri. Oleh itu, penggunaan memori meningkat mengikut jumlah halaman yang dibuka pada satu-satu masa, bukan mengikut jumlah halaman yang dicapai setiap hari. Dua daripada projek ini menulis kos tersebut ke dalam fail compose masing-masing.

CartaMemory ceilings each project sets in its own compose file (GB)
Data di sebalik carta ini
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Fail compose Firecrawl mengehadkan bekas api kepada 8 GB dan bekas Playwright kepada 4 GB, dengan had swap yang sepadan. Fail compose Hound menetapkan 3 GB untuk satu bekas yang membawa Chromium terbina dalam. Ini adalah had siling yang dipilih oleh projek tersebut, iaitu angka yang diterbitkan dan bukannya ukuran sistem dalam keadaan melahu, manakala Redis, RabbitMQ, PostgreSQL dan FoundationDB masih memerlukan bahagian memori mereka di samping angka Firecrawl tersebut.

Had siling yang melebihi jumlah RAM yang anda miliki tidak menempah memori tersebut. Apabila pelayan kehabisan memori, kernel out-of-memory killer akan menamatkan sesuatu proses, menyebabkan bekas hilang daripada docker compose ps tanpa sebarang ralat ditulis dalam log aplikasi. Fail Compose yang dibekalkan oleh Firecrawl tidak menetapkan polisi mulakan semula automatik, jadi bekas yang ditamatkan akibat OOM akan kekal berhenti; docker compose ps --all merangkumi bekas yang telah berhenti. Baca dmesg -T | tail selepas berlakunya pemberhentian yang tidak dapat dijelaskan. Firecrawl tidak menerbitkan saiz hos minimum yang disahkan untuk tindanan ini, jadi tentukan saiz pelayan berdasarkan beban kerja anda. Penetapan angka bagi setiap servis diliputi dalam had memori dalam Docker Compose.

Satu lagi perincian pelayar web yang sering membuang masa pengguna ialah memori kongsi. Docker memberikan bekas 64 MB memori kongsi pada /dev/shm, tetapi servis Playwright Firecrawl melancarkan Chromium dengan --disable-dev-shm-usage, yang mengelakkan sekatan kecil tersebut bagi fail memori kongsi ini. Fail compose Hound meningkatkannya dengan shm_size: "1gb"; lapisan pelayar dinamiknya mewarisi --disable-dev-shm-usage daripada Playwright melalui Patchright, dan sama ada pembuangan suis Patchright mahupun senarai ignore_default_args Hound tidak membuangnya. Fail compose Firecrawl tidak menetapkan shm_size langsung: blok playwright-service miliknya menetapkan had CPU dan memori serta 1 GB tmpfs pada /tmp/.cache, jadi bekas tersebut mengekalkan nilai lalai 64 MB. Semak flag pelancaran Chromium sebelum menyalin baris Hound ke dalam imej yang anda bina di sekitar Playwright.

Kualiti pengekstrakan pada halaman yang berat dengan JavaScript

Pada HTML statik, blog yang dirender oleh pelayan, halaman dokumentasi, atau artikel berita, kesemuanya mengembalikan markdown yang hampir serupa dan yang terpantas akan menang. Perbezaan muncul pada halaman yang dirender oleh klien, di mana HTML yang dihantar hanyalah kerangka kosong dan teks tiba daripada JavaScript selepas pemuatan selesai.

Draco meningkat mengikut peringkat. Peringkat 0 dan peringkat 1 menghuraikan HTML tanpa sebarang JavaScript. Peringkat 2 menjalankan JavaScript halaman itu sendiri di dalam V8 isolate dalam proses, iaitu enjin JavaScript tanpa pelayar di sekelilingnya, dan README menyatakan kod halaman tidak mendapat sebarang pengikatan keupayaan hos di sana. Ini meliputi banyak aplikasi satu halaman dengan sebahagian kecil daripada memori pelayar. Apabila Draco menemui halangan yang tidak dapat dilalui, draco scrape akan keluar dengan kod 3, needs_browser. Semak perkara ini dalam skrip, kerana fail kosong dengan kod keluar sifar adalah kegagalan yang merosakkan konteks ejen secara senyap:

draco scrape https://example.com > page.md
echo "exit=$?"

playwright-service milik Firecrawl memacu Chromium sebenar, jadi ia merender apa yang dirender oleh pelayar. Binaan yang dihoskan sendiri masih bukan produk yang dihoskan: dokumentasi menyatakan bahawa Fire-engine, yang membawa tingkah laku anti-bot lanjutan perkhidmatan awan, tidak disertakan, bahawa tangkapan skrin dan tindakan halaman tidak tersedia dalam tindanan lalai, dan untuk Agent, Browser serta interact, ia mengarahkan anda kepada Firecrawl Cloud. Hound berada di antara kedua-duanya secara sengaja. Ia mengambil data melalui HTTP dan meningkat mengikut permintaan, dan pelayar hangatnya ditutup selepas tamat masa melahu, jadi kotak yang tenang kekal hampir pada tahap asas.

Memasang Draco dengan versi yang ditetapkan (pinned)

README mendokumentasikan pemasang satu baris. Baca fungsinya sebelum menyalurkannya (pipe) ke shell: seperti yang didokumentasikan pada 12 Oktober 2026, ia memasang ke $HOME/.draco/bin/draco, ia sentiasa mengambil keluaran latest, dan ia tidak menyemak sebarang tandatangan atau hash. Pada pelayan, tetapkan versi dan sahkan muat turun. Arahan v0.20.5 di bawah mengekalkan persediaan yang disemak pada 12 Oktober 2026; dokumentasi hulu (upstream) bagi versi yang ditetapkan itu tidak tersedia untuk disemak semula.

Sehingga 12 Oktober 2026, muat turun keluaran projek tersebut mengembalikan 404 Not Found, kerana repositori hulu tidak lagi menjawab, dan domain pemasang get.draco.sh yang diiklankan oleh tapak projek tersebut tidak dapat diselesaikan (resolve). Tiada URL keluaran langsung untuk diambil, jadi arahan di bawah bermula pada kotak di mana anda sudah mempunyai arkib v0.20.5, draco-linux-x86-64.tar.gz, dan SHA256SUMS miliknya dalam /tmp, yang disimpan daripada muat turun terdahulu atau disalin daripada mesin yang anda percayai. Jangan isi jurang tersebut dengan cermin (mirror) yang belum anda periksa: fail checksum yang dihidangkan daripada cermin yang sama tidak membuktikan apa-apa tentang binari tersebut.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Itu mencetak draco-linux-x86-64.tar.gz: OK. Baris FAILED bermaksud bait yang anda pegang bukanlah bait yang diterbitkan oleh projek tersebut, jadi padamkannya dan mulakan semula.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

Arahan terakhir mencetak halaman contoh sebagai markdown. find bukanlah hiasan: susun atur arkib bukanlah sebahagian daripada kontrak awam projek tersebut, dan pemasang rasmi yang terakhir disemak pada 12 Oktober 2026 mencari binari dengan cara yang sama.

Jalankan daemon di bawah akaunnya sendiri dan bukannya pengguna log masuk anda. Tulis /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health menjawab sebaik sahaja daemon mendengar. Connection refused bermaksud ia tidak mendengar, jadi baca journalctl -u draco -n 50. Punca biasa ialah proses lain sudah memegang 3002, memandangkan itu juga merupakan port lalai Firecrawl. --port mengalihkan Draco. Firecrawl yang dihoskan sendiri tidak mempunyai flag sedemikian: portnya datang daripada pemboleh ubah PORT dalam fail Compose miliknya, yang diterbitkan sebagai "${PORT:-3002}:${INTERNAL_PORT:-3002}", jadi tukar port yang diterbitkan di sana dan pastikan setiap klien konsisten dengannya. Fail unit dengan lebih mendalam: unit perkhidmatan dan pemasa systemd.

Sekarang ambil cara ejen anda akan lakukan:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Pastikan daemon fetch tidak terdedah kepada internet awam

API fetch tanpa pengesahan adalah proksi terbuka. Sesiapa sahaja yang boleh mencapai port tersebut akan menyebabkan pelayan anda membuat permintaan ke mana-mana URL di bawah alamat IP anda, dan laporan penyalahgunaan akan dihantar kepada penyedia perkhidmatan anda, bukan kepada mereka. Flag serve Draco yang didokumenkan pada 12 Oktober 2026 tidak menyertakan kunci API, jadi perlindungan mestilah dilakukan melalui rangkaian. Kekalkan bind 127.0.0.1 lalai apabila ejen berjalan pada mesin yang sama. Apabila ejen berada di tempat lain, letakkan kedua-dua hujung pada terowong peribadi, VPN WireGuard yang anda hos sendiri adalah penyelesaian biasa, dan bind kepada alamat terowong dan bukannya 0.0.0.0. Kemudian, semak daripada mesin lain untuk memastikan IP awam tidak memberikan sebarang respons. Asas firewall ufw dan akaun pengguna dengan keistimewaan minimum merangkumi kedua-dua aspek tersebut.

Adakah kod ejen anda akan berubah? Keserasian API dalam praktis

Draco menjawab laluan Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape dan /v1/search, dan README-nya yang disemak terakhir pada 12 Oktober 2026 menyatakan bahawa medan yang tidak diketahui akan diterima dan diabaikan. Keserasian bergantung pada ciri yang diminta: laman rasmi Draco menyatakan bahawa tangkapan skrin dan klik mengembalikan HTTP 422, jadi klien Firecrawl v1 yang meminta tindakan halaman yang tidak disokong memerlukan perubahan permintaan serta URL asas yang baharu. Pantau perkara yang berubah pada pihak satu lagi: panduan self-hosting Firecrawl sendiri kini melakukan ujian asap (smoke-test) dengan POST ke /v2/scrape, dan SDK semasa menggunakan v2 secara lalai, manakala laman Draco menyenaraikan laluan v1. Uji setiap panggilan dengan curl sebelum anda menyunting kod ejen, dan baca badan JSON dan bukannya kod status, kerana nama medan adalah tempat di mana pelaksanaan ini mula berbeza.

Robots.txt, had kadar, dan sempadan yang perlu dipatuhi

Draco membaca robots.txt secara lalai, dan README-nya yang terakhir disemak pada 12 Oktober 2026 mendokumentasikan --ignore-robots untuk mematikan fungsi tersebut. Firecrawl mendokumentasikan tetapan lalai yang sama. Biarkan kedua-duanya seperti asal. Hound hanya menyemak robots.txt apabila respect_robots=True diluluskan kepada smart_fetch, jadi aktifkannya di sana. Kemudian, tetapkan kelajuan anda sendiri: seperti yang didokumentasikan pada 12 Oktober 2026, --delay milik Draco meletakkan milisaat antara permintaan dan --max-concurrency mengehadkan kerja selari, dengan 8 sebagai lalai daemon. Dua hingga empat adalah lebih baik untuk pautan VPS kongsi dan jarang sekali lebih perlahan secara keseluruhan, kerana tapak yang mula mengehadkan kadar anda akan memakan lebih banyak minit berbanding penjimatan daripada konkurensi. Simpan dalam cache apa yang anda ambil, supaya larian ejen kali kedua tidak membebankan sumber asal. Itu juga merupakan item kos paling murah dalam mengawal kos ejen AI anda.

Dinding cabaran adalah subjek yang berasingan, dan Trawl dibina khusus untuk itu: Cloudflare Turnstile, reCAPTCHA, hCaptcha dan GeeTest. Dinding cabaran ialah tapak yang menolak trafik automatik secara terang-terangan. Mengatasi hal ini meletakkan anda bertentangan dengan syarat penggunaan tapak tersebut, dan di sesetengah tempat bertentangan dengan undang-undang, jadi panduan ini hanya merangkumi infrastruktur pengambilan dan berhenti di situ. Teknik yang sama yang melepasi dinding adalah teknik yang diperhatikan dan disekat oleh pemilik tapak, yang menjadikan mana-mana saluran paip yang dibina di atasnya rapuh serta tidak beretika. Apabila sesuatu sumber sangat penting, cari suapan RSS-nya, API awamnya, atau eksport pukal. Setiap satunya lebih murah untuk dijalankan dan tiada satu pun daripadanya akan rosak apabila dinding tersebut berubah pada minggu itu.

Sambungkan kepada agent melalui MCP

MCP (model context protocol) ialah antara muka yang digunakan oleh agent untuk memanggil alat. Alat yang boleh dicapai oleh model, serta sama ada alat itu dibenarkan untuk dipanggil tanpa meminta kebenaran anda terlebih dahulu, ditentukan satu tahap lebih tinggi oleh harness tempat model dijalankan. Oleh itu, menjadikan daemon mendengar hanya melengkapkan separuh daripada konfigurasi sambungan. Draco menyertakan pelayan MCP dalam binary yang sama melalui stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

README yang kali terakhir disemak pada 12 October 2026 menyenaraikan draco_scrape, draco_discover dan draco_search untuk stdio. Set draco_interact_* pula adalah untuk endpoint HTTP MCP daemon. Stdio hanya berfungsi apabila proses agent dan binary berada pada mesin yang sama kerana transport itu menggunakan input standard proses tersebut. Untuk agent pada host lain, Hound menyediakan MCP melalui HTTP. hound --http --host 127.0.0.1 --port 8765 menerbitkan endpoint pada http://127.0.0.1:8765/mcp, yang boleh dicapai melalui tunnel. Pilihan transport dan perkara yang perlu didedahkan diterangkan dalam menjalankan pelayan MCP pada VPS.

Gabungkan pengambilan data dengan carian. Agent yang hanya boleh mengambil data perlu menunggu anda membekalkan URL. Tambahkan instance carian SearXNG yang dihoskan sendiri supaya agent boleh mencarinya sendiri, dengan bentuk yang sama seperti skill carian pelayar yang dibina pada SearXNG. Selepas daemon berjalan, ia menjadi satu servis dikongsi untuk mana-mana agent AI yang dihoskan sendiri yang anda jalankan. Jika bahagian agent ialah perkara yang paling kurang anda fahami, menulis gelung agent kecil secara manual terlebih dahulu akan menjelaskan tempat alat fetch disambungkan dan cara model memproses markdown yang diterimanya.

FAQ

Adakah saya memerlukan pelayar tanpa kepala (headless browser) untuk mengambil halaman bagi ejen AI?

Tidak untuk kebanyakan halaman. Dokumentasi, blog dan artikel berita yang dirender oleh pelayan akan diterima sepenuhnya melalui pengambilan HTTP biasa ditambah dengan langkah penukaran HTML-ke-markdown, iaitu kaedah yang digunakan oleh Draco pada peringkat rendahnya dengan kelajuan kira-kira 300 ms setiap halaman tanpa pelayar, berdasarkan angka projek tersebut. Pelayar hanya diperlukan untuk aplikasi yang dirender oleh klien, di mana HTML yang dihantar hanyalah kerangka kosong. V8 isolate milik Draco meliputi sebahagian besar keperluan tersebut tanpa proses pelayar, dan ia akan keluar dengan kod 3, needs_browser, apabila ia gagal melakukannya.

Berapakah RAM yang diperlukan oleh Firecrawl yang dihoskan sendiri pada VPS?

Fail compose-nya menetapkan had 8 GB pada bekas api dan 4 GB pada bekas Playwright, dan stack yang sama juga memulakan Redis, RabbitMQ, PostgreSQL dan FoundationDB. Firecrawl tidak menerbitkan saiz hos minimum yang disahkan untuk stack ini. Di bawah tekanan memori, kernel out-of-memory killer akan menamatkan proses; jika sesuatu bekas berhenti, fail Compose yang dibekalkan tidak akan memulakannya semula secara automatik. Semak docker compose ps --all untuk bekas yang berhenti dan sahkan peristiwa OOM dengan dmesg -T | tail.

Adakah Draco pengganti terus (drop-in replacement) untuk API Firecrawl?

Untuk endpoint v1, ia hampir sama. Ia menyediakan /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape dan /v1/search, tetapi keserasian bergantung pada ciri yang diminta: tangkapan skrin dan klik akan mengembalikan HTTP 422, jadi klien yang meminta tindakan halaman yang tidak disokong perlu menukar permintaan serta menggunakan URL asas yang baharu. SDK semasa Firecrawl menggunakan v2 secara lalai, manakala tapak Draco menyenaraikan laluan v1. Sahkan setiap panggilan yang dibuat oleh ejen anda dengan curl terlebih dahulu.

Adakah menghoskan sendiri pengikis (scraper) bermakna saya boleh mengabaikan robots.txt?

Tidak. Tempat kod dijalankan tidak mengubah apa yang diterbitkan oleh sesuatu tapak atau apa yang dibenarkan oleh terma penggunaannya. Kedua-dua Draco dan Firecrawl menghormati robots.txt secara lalai, dan bendera pengabaian (override flag) wujud untuk tapak yang anda miliki atau mempunyai kebenaran bertulis untuk dikikis. Had kadar (rate limits) tetap dikuatkuasakan di hujung sana walau apa pun, jadi penggunaan --delay yang berhemah dengan konkurensi rendah akan memastikan alamat IP anda terus berfungsi. Stack yang hanya berfungsi dengan menewaskan tembok cabaran (challenge wall) adalah stack yang akan rosak tanpa amaran.

Adakah artikel ini berguna?

#scraping#firecrawl#ai-agents#self-hosting#markdown