Alternatif Firecrawl Self-Hosted untuk VPS
Bandingkan Draco, Hound, dan Firecrawl self-hosted berdasarkan RAM, kebutuhan browser headless, kompatibilitas API, instalasi versi tetap, serta koneksi MCP.
Hal yang harus dilakukan alternatif Firecrawl yang di-host sendiri
Alternatif Firecrawl yang di-host sendiri memiliki satu tugas: menerima URL dan mengembalikan halaman sebagai markdown bersih yang dapat dibaca agen. API hosted mengenakan biaya per halaman, sehingga tagihan bertambah seiring agen Anda mengambil lebih banyak halaman. VPS yang sudah Anda bayar dapat melakukan pekerjaan yang sama. Proyek-proyek ini berbeda pada satu pertanyaan: apakah headless browser (mesin browser sungguhan yang berjalan tanpa jendela) harus dijalankan di server Anda?
Jawaban tersebut menentukan jejak memori, biaya setiap halaman, dan halaman mana yang dikembalikan dalam keadaan kosong. Panduan ini membandingkan Draco, Hound, dan rilis Firecrawl yang di-host sendiri, memasang opsi paling ringan pada versi yang ditetapkan, serta menghubungkannya ke agen melalui MCP (model context protocol).
Empat proyek ini dan fungsi sebenarnya masing-masing
Draco adalah satu binary yang ditulis dalam Rust dan dilisensikan di bawah MIT atau Apache-2.0. draco scrape <url> mencetak Markdown ke stdout. draco serve menjalankan daemon yang menerima koneksi pada 127.0.0.1:3002, yaitu port yang digunakan Firecrawl. Menurut dokumentasi pada 12 October 2026, proyek ini tidak menyediakan container image dan secara default tidak menjalankan browser. Per 12 October 2026, repository upstream-nya di github.com/0xchasercat/draco, akun yang mengelolanya, dan seluruh unduhan rilisnya mengembalikan 404 Not Found. Pada pemeriksaan tersebut, sebuah fork publik masih menyediakan source code dan tag hingga v0.24.0, tetapi tidak menerbitkan build rilis. Karena itu, baca bagian instalasi di bawah sebelum menjadikannya dasar perencanaan.
Firecrawl self-hosted adalah engine di balik produk hosted dan dilisensikan di bawah AGPL-3.0. docker-compose.yaml-nya mendefinisikan tujuh service: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb, dan foundationdb-init. Anda mendapatkan antrean crawl yang sebenarnya, tetapi harus menjalankan sistem terdistribusi berskala kecil.
Hound berada di repository master-fetch dan didistribusikan ke PyPI sebagai hound-mcp, dengan lisensi MIT dan versi 13.2.0 (diterbitkan pada 26 August 2026) per 12 October 2026. Hound memerlukan Python 3.11 atau yang lebih baru. Hound terutama merupakan server MCP dan baru kemudian fetcher: Hound mencoba HTTP biasa, lalu beralih ke browser Patchright jika hasil fetch biasa diblokir atau mengembalikan shell JavaScript; konfigurasi yang mengaktifkan browser memanaskan browser saat startup.
Trawl dibahas di sini karena orang menemukannya saat mencari proyek lain, meskipun fungsinya berbeda. Trawl menyelesaikan challenge JavaScript dan CAPTCHA menggunakan Firefox yang telah dipatch untuk fingerprint, sebagai pengganti FlareSolverr dalam media stack *arr. Trawl kini juga membaca Markdown dan mengekstrak JSON terstruktur melalui MCP. Bagian tentang etika di bawah menjelaskan mengapa perannya dalam menyelesaikan challenge menentukan apakah Trawl layak dimasukkan ke dalam agent stack Anda.
Mengapa pool browser menjadi titik kegagalan VPS kecil
Setiap tab browser yang terbuka merupakan proses renderer terpisah yang menyimpan DOM (document object model) dan heap JavaScript-nya sendiri. Karena itu, penggunaan memori bertambah berdasarkan jumlah halaman yang terbuka pada saat yang sama, bukan berdasarkan jumlah halaman yang diambil per hari. Dua proyek ini menuliskan kebutuhan tersebut dalam file compose masing-masing.
Data di balik grafik ini
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]File compose Firecrawl membatasi container api hingga 8 GB dan container Playwright hingga 4 GB, dengan batas swap yang sama. Compose Hound menetapkan 3 GB untuk satu container yang menyertakan Chromium. Angka-angka ini merupakan batas yang dipilih dan dipublikasikan oleh proyek tersebut, bukan hasil pengukuran sistem saat tidak sibuk. Redis, RabbitMQ, PostgreSQL, dan FoundationDB tetap membutuhkan bagian memori mereka di luar angka Firecrawl.
Batas yang lebih besar daripada RAM yang Anda miliki tidak berarti memori tersebut dicadangkan. Saat memori pada server habis, kernel menjalankan out-of-memory killer untuk menghentikan suatu proses. Akibatnya, container dapat hilang dari docker compose ps tanpa error yang ditulis ke log aplikasi. File Compose yang disediakan Firecrawl tidak menetapkan kebijakan restart otomatis, sehingga container yang dihentikan karena OOM tetap berhenti; docker compose ps --all mencakup container yang berhenti. Baca dmesg -T | tail setelah container berhenti tanpa penjelasan. Firecrawl tidak memublikasikan ukuran minimum host yang telah diverifikasi untuk stack ini, jadi sesuaikan ukuran server dengan beban kerja Anda. Pengaturan angka untuk setiap service dibahas dalam batas memori di Docker Compose.
Ada satu detail browser lain yang dapat menghabiskan waktu berjam-jam untuk ditangani. Docker memberikan shared memory sebesar 64 MB kepada container di /dev/shm, tetapi service Playwright milik Firecrawl menjalankan Chromium dengan --disable-dev-shm-usage. Opsi ini menghindari partisi kecil tersebut untuk file shared memory. Compose Hound memperbesar ukurannya dengan shm_size: "1gb"; tingkat browser dinamisnya mewarisi --disable-dev-shm-usage dari Playwright melalui Patchright, dan penghapusan switch oleh Patchright maupun daftar ignore_default_args milik Hound tidak menghapusnya. Compose Firecrawl sama sekali tidak menetapkan shm_size: blok playwright-service menetapkan batas CPU dan memori serta tmpfs sebesar 1 GB pada /tmp/.cache, sehingga container tersebut tetap menggunakan default 64 MB. Periksa flag saat Chromium dijalankan sebelum menyalin baris Hound ke image yang Anda bangun menggunakan Playwright.
Kualitas ekstraksi pada halaman yang banyak menggunakan JavaScript
Pada HTML statis, blog yang dirender di server, halaman dokumentasi, atau artikel berita, semua opsi ini menghasilkan Markdown yang hampir identik. Opsi tercepat menjadi pemenang. Perbedaannya terlihat pada halaman yang dirender di sisi klien. HTML yang dikirim hanya berupa kerangka kosong, sedangkan teks dimuat oleh JavaScript setelah halaman selesai dimuat.
Draco meningkatkan tingkat pemrosesan secara bertahap. Tingkat 0 dan tingkat 1 mengurai HTML tanpa JavaScript sama sekali. Tingkat 2 menjalankan JavaScript milik halaman di dalam V8 isolate dalam proses. V8 isolate adalah mesin JavaScript tanpa browser. README menyatakan bahwa kode halaman tidak memperoleh binding kapabilitas host di sana. Pendekatan ini mencakup banyak aplikasi satu halaman dengan penggunaan memori yang jauh lebih kecil daripada browser. Jika Draco menemui batas yang tidak dapat dilewatinya, draco scrape keluar dengan kode 3, needs_browser. Periksa kondisi ini dalam skrip. File kosong dengan kode keluar 0 merupakan kegagalan yang dapat diam-diam merusak konteks agen:
draco scrape https://example.com > page.md
echo "exit=$?"playwright-service milik Firecrawl mengendalikan Chromium sungguhan. Karena itu, layanan ini merender halaman seperti yang dirender browser. Build yang di-host sendiri tetap berbeda dari produk yang di-host. Dokumentasi menyatakan bahwa Fire-engine, yang menyediakan perilaku anti-bot tingkat lanjut pada layanan cloud, tidak disertakan. Dokumentasi juga menyatakan bahwa screenshot dan tindakan pada halaman tidak tersedia dalam stack default. Untuk fitur Agent, Browser, dan interact, dokumentasi mengarahkan Anda ke Firecrawl Cloud. Hound sengaja berada di antara keduanya. Hound mengambil data melalui HTTP dan meningkatkan tingkat pemrosesan untuk setiap permintaan. Browser yang tetap aktif akan ditutup setelah periode idle. Dengan demikian, server yang tidak sibuk tetap menggunakan sumber daya mendekati kondisi normal.
Instal Draco dengan versi yang ditetapkan
README mendokumentasikan installer satu baris. Baca tindakan installer tersebut sebelum menyalurkannya ke shell: berdasarkan dokumentasi pada 12 October 2026, installer memasangnya ke $HOME/.draco/bin/draco, selalu mengambil rilis latest, serta tidak memeriksa tanda tangan atau hash. Pada server, tetapkan versinya dan verifikasi unduhan. Instruksi v0.20.5 di bawah ini mempertahankan penyiapan yang diperiksa pada 12 October 2026; dokumentasi upstream untuk versi yang ditetapkan tidak tersedia untuk diperiksa ulang.
Pada 12 October 2026, unduhan rilis proyek mengembalikan 404 Not Found karena repository upstream tidak lagi merespons, dan domain installer get.draco.sh yang dicantumkan situs proyek tidak dapat di-resolve. Tidak ada URL rilis aktif yang dapat diakses, sehingga perintah di bawah ini dimulai pada mesin yang sudah menyimpan arsip v0.20.5, draco-linux-x86-64.tar.gz, serta SHA256SUMS-nya di /tmp. Arsip dan checksum tersebut harus berasal dari unduhan sebelumnya atau disalin dari mesin yang Anda percaya. Jangan mengganti kekosongan ini dengan mirror yang belum Anda verifikasi: file checksum yang disajikan dari mirror yang sama tidak membuktikan keaslian binary.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSPerintah tersebut mencetak draco-linux-x86-64.tar.gz: OK. Baris FAILED berarti byte yang Anda simpan tidak sama dengan byte yang dipublikasikan proyek. Hapus file tersebut dan mulai lagi.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comPerintah terakhir mencetak halaman contoh dalam format markdown. find bukan sekadar hiasan: tata letak arsip bukan bagian dari kontrak publik proyek, dan installer resmi yang terakhir diperiksa pada 12 October 2026 menemukan binary dengan cara yang sama.
Jalankan daemon menggunakan akunnya sendiri, bukan akun pengguna login Anda. Tulis /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health/health memberikan respons segera setelah daemon mulai listening. Connection refused berarti daemon belum listening, jadi baca journalctl -u draco -n 50. Penyebab yang umum adalah proses lain sudah menggunakan port 3002 karena port tersebut juga merupakan port default Firecrawl. --port memindahkan Draco. Firecrawl yang di-self-host tidak memiliki flag tersebut. Portnya berasal dari variabel PORT dalam file Compose, yang dipublikasikan sebagai "${PORT:-3002}:${INTERNAL_PORT:-3002}". Karena itu, ubah published port di sana dan gunakan port tersebut secara konsisten pada semua client. Pelajari unit file lebih lanjut di: unit service dan timer systemd.
Sekarang ambil konten dengan cara yang akan digunakan agent Anda:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Jauhkan daemon fetch dari Internet publik
API fetch tanpa autentikasi merupakan open proxy. Siapa pun yang dapat menjangkau port tersebut dapat membuat server Anda meminta URL apa pun menggunakan alamat IP Anda. Laporan penyalahgunaan akan ditujukan kepada provider Anda, bukan kepada pelakunya. Flag serve milik Draco yang didokumentasikan pada 12 October 2026 tidak mencakup API key. Karena itu, perlindungannya harus berasal dari jaringan. Gunakan bind default 127.0.0.1 ketika agent berjalan pada mesin yang sama. Jika agent berada di mesin lain, tempatkan kedua endpoint dalam tunnel privat. WireGuard VPN yang Anda kelola sendiri biasanya merupakan pilihan yang tepat. Lakukan bind ke alamat tunnel, bukan ke 0.0.0.0. Kemudian, periksa dari mesin lain bahwa IP publik tidak memberikan respons apa pun. Dasar-dasar firewall ufw dan akun pengguna dengan hak akses minimum membahas kedua bagian tersebut.
Apakah kode agen Anda akan berubah? Kompatibilitas API dalam praktik
Draco menjawab rute Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape, dan /v1/search. README-nya, yang terakhir diperiksa pada 12 October 2026, menyatakan bahwa field yang tidak dikenal diterima dan diabaikan. Kompatibilitas bergantung pada fitur yang diminta. Situs resmi Draco menyatakan bahwa screenshot dan klik mengembalikan HTTP 422. Jadi, klien Firecrawl v1 yang meminta tindakan halaman yang tidak didukung memerlukan perubahan request serta base URL baru. Perhatikan perubahan pada sisi lain. Panduan self-hosting Firecrawl sendiri sekarang menguji secara singkat dengan POST ke /v2/scrape, dan SDK saat ini menggunakan v2 secara default, sedangkan situs Draco mencantumkan rute v1. Uji setiap panggilan dengan curl sebelum mengubah kode agen. Baca body JSON, bukan hanya status code, karena nama field merupakan bagian yang paling sering berbeda antara implementasi tersebut.
Robots.txt, batas laju, dan batas yang harus dipatuhi
Draco membaca robots.txt secara default, dan README-nya yang terakhir diperiksa pada 12 October 2026 mendokumentasikan --ignore-robots untuk menonaktifkannya. Firecrawl mendokumentasikan default yang sama. Biarkan keduanya tetap pada konfigurasi tersebut. Hound hanya memeriksa robots.txt jika respect_robots=True diteruskan ke smart_fetch, jadi aktifkan di sana. Selanjutnya, atur kecepatan Anda sendiri: seperti yang didokumentasikan pada 12 October 2026, --delay milik Draco menambahkan jeda dalam milidetik di antara permintaan, sedangkan --max-concurrency membatasi pekerjaan paralel, dengan nilai default daemon sebesar 8. Nilai dua hingga empat lebih ramah terhadap koneksi VPS bersama dan jarang lebih lambat secara keseluruhan, karena situs yang mulai membatasi laju Anda dapat menghabiskan waktu lebih lama daripada waktu yang dihemat melalui konkurensi. Cache data yang Anda ambil agar eksekusi agent kedua tidak menambah beban pada sumber. Ini juga merupakan komponen biaya termurah dalam mengendalikan biaya yang ditimbulkan agent AI kepada Anda.
Halaman challenge adalah topik terpisah, dan Trawl dibuat khusus untuk mengatasinya: Cloudflare Turnstile, reCAPTCHA, hCaptcha, dan GeeTest. Halaman challenge secara langsung berarti situs menolak trafik otomatis. Upaya untuk melewatinya dapat melanggar ketentuan penggunaan situs dan, di beberapa tempat, hukum. Karena itu, panduan ini hanya membahas infrastruktur pengambilan data. Teknik yang dapat melewati halaman challenge juga merupakan teknik yang dipantau dan diblokir oleh pemilik situs. Akibatnya, pipeline yang dibangun berdasarkan teknik tersebut menjadi rapuh sekaligus tidak menghormati situs. Jika suatu sumber sangat penting, cari RSS feed, public API, atau bulk export miliknya. Masing-masing lebih murah untuk dijalankan, dan tidak ada yang berhenti berfungsi hanya karena halaman challenge berubah pada minggu berikutnya.
Hubungkan ke agent melalui MCP
MCP (model context protocol) adalah antarmuka yang digunakan agent untuk memanggil tool. Tool mana yang dapat menjangkau model, serta apakah tool tersebut boleh dipanggil tanpa meminta persetujuan Anda terlebih dahulu, ditentukan satu tingkat di atasnya oleh harness tempat model berjalan. Jadi, membuat daemon listening baru merupakan separuh dari proses integrasi. Draco menyertakan server MCP dalam binary yang sama melalui stdio:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }README yang terakhir diperiksa pada 12 October 2026 mencantumkan draco_scrape, draco_discover, dan draco_search untuk stdio. Set draco_interact_* digunakan untuk endpoint HTTP MCP milik daemon. Stdio hanya berfungsi jika proses agent dan binary berada pada mesin yang sama, karena transport tersebut menggunakan standard input proses itu. Untuk agent yang berjalan pada host lain, Hound menyediakan MCP melalui HTTP. hound --http --host 127.0.0.1 --port 8765 memublikasikan endpoint pada http://127.0.0.1:8765/mcp, yang dapat Anda akses melalui tunnel. Pilihan transport dan hal-hal yang perlu diekspos dijelaskan dalam menjalankan server MCP pada VPS.
Mengambil pasangan data dengan search. Agent yang hanya dapat melakukan fetch akan menunggu Anda memberikan URL. Tambahkan instance search SearXNG yang di-host sendiri, dan agent tersebut dapat menemukannya sendiri, dengan pola yang sama seperti skill browser search yang dibangun di atas SearXNG. Setelah daemon aktif, layanan tersebut dapat digunakan bersama oleh agent AI yang di-host sendiri mana pun yang Anda jalankan. Jika bagian agent adalah bagian yang paling tidak Anda pahami, menulis loop agent kecil secara manual terlebih dahulu akan memperjelas tempat tool fetch dipasang dan cara model memproses markdown yang diterimanya.
FAQ
Apakah saya memerlukan browser headless untuk mengambil halaman bagi agen AI?
Tidak untuk sebagian besar halaman. Dokumentasi, blog, dan artikel berita yang dirender di server biasanya sudah lengkap saat diterima melalui pengambilan HTTP biasa yang dilanjutkan dengan konversi HTML ke Markdown. Draco melakukan hal ini pada tier yang lebih rendah, dengan waktu sekitar 300 ms per halaman tanpa browser berdasarkan angka dari proyek tersebut. Browser diperlukan untuk aplikasi yang dirender di sisi klien, ketika HTML yang dikirim hanya berupa kerangka kosong. Isolate V8 milik Draco mencakup banyak kasus di antara kedua kondisi tersebut tanpa proses browser. Draco mengembalikan kode 3, needs_browser, jika tidak dapat melakukannya.
Berapa banyak RAM yang diperlukan Firecrawl yang di-hosting sendiri pada VPS?
File compose-nya menetapkan batas 8 GB pada container api dan 4 GB pada container Playwright. Stack yang sama juga menjalankan Redis, RabbitMQ, PostgreSQL, dan FoundationDB. Firecrawl tidak memublikasikan ukuran minimum host yang terverifikasi untuk stack ini. Jika memori tertekan, kernel akan menghentikan proses melalui out-of-memory killer. Jika sebuah container berhenti, file Compose yang disediakan tidak otomatis menjalankannya kembali. Periksa docker compose ps --all untuk melihat container yang berhenti dan konfirmasi adanya peristiwa OOM dengan dmesg -T | tail.
Apakah Draco dapat langsung menggantikan API Firecrawl?
Untuk endpoint v1, kompatibilitasnya cukup dekat. Draco menyediakan /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape, dan /v1/search. Namun, kompatibilitas bergantung pada fitur yang diminta. Screenshot dan klik mengembalikan HTTP 422. Karena itu, klien yang meminta tindakan halaman yang tidak didukung memerlukan perubahan request selain URL dasar yang baru. SDK Firecrawl saat ini menggunakan v2 secara default, sedangkan situs Draco mencantumkan route v1. Verifikasi setiap pemanggilan yang dibuat agen Anda terlebih dahulu dengan curl.
Apakah hosting scraper sendiri berarti saya dapat mengabaikan robots.txt?
Tidak. Lokasi kode dijalankan tidak mengubah apa yang dipublikasikan situs atau apa yang diizinkan oleh ketentuannya. Draco dan Firecrawl sama-sama mematuhi robots.txt secara default. Flag pengabaian tersedia untuk situs yang Anda miliki atau yang telah memberikan izin tertulis kepada Anda untuk melakukan crawling. Batas laju tetap diberlakukan oleh sistem tujuan, jadi --delay yang sopan dengan konkurensi rendah membantu menjaga alamat IP Anda tetap dapat digunakan. Stack yang hanya dapat berfungsi dengan melewati challenge wall adalah stack yang dapat berhenti berfungsi tanpa peringatan.