Self-hosted alternatywy dla Firecrawl na VPS
Porównanie Draco, Hound oraz Firecrawl pod kątem zużycia RAM i wymagań headless browser. Wybierz rozwiązanie z obsługą MCP, które zoptymalizuje koszty scrapowania stron.
Wymagania wobec self-hosted alternatywy dla Firecrawl
Self-hosted alternatywa dla Firecrawl ma jedno zadanie: pobrać adres URL i zwrócić zawartość strony w postaci czystego formatu markdown, który może odczytać agent. Hostowane API naliczają opłaty za każdą stronę, więc koszty rosną wraz z aktywnością agenta, podczas gdy opłacany już serwer VPS może wykonać tę samą pracę. Projekty różnią się w jednej kwestii: czy na Twoim serwerze musi zostać uruchomiona przeglądarka typu headless (silnik przeglądarki działający bez interfejsu graficznego)?
Odpowiedź na to pytanie determinuje zużycie pamięci, koszt przetworzenia każdej strony oraz to, które strony zostaną zwrócone jako puste. Niniejszy przewodnik porównuje Draco, Hound oraz self-hosted wydanie Firecrawl, instaluje najlżejsze z nich w przypisanej wersji i łączy je z agentem za pośrednictwem protokołu MCP (model context protocol).
Cztery projekty i opis ich przeznaczenia
Draco to pojedynczy plik binarny napisany w Rust, udostępniony na licencji MIT lub Apache-2.0. draco scrape <url> wypisuje markdown na standardowe wyjście. draco serve uruchamia demona, który nasłuchuje na 127.0.0.1:3002, czyli porcie używanym przez Firecrawl. Zgodnie z dokumentacją z 12 października 2026 r., projekt nie dostarcza obrazu kontenera i domyślnie nie uruchamia przeglądarki. Według stanu na 12 października 2026 r. jego repozytorium źródłowe pod adresem github.com/0xchasercat/draco, konto autora oraz pliki do pobrania zwracają błąd 404 Not Found. W momencie sprawdzania publiczny fork nadal zawierał kod źródłowy i tagi do wersji v0.24.0, jednak nie publikował gotowych kompilacji, dlatego przed planowaniem wdrożenia należy zapoznać się z sekcją instalacji poniżej.
Firecrawl self-hosted to silnik stojący za usługą hostowaną, dostępny na licencji AGPL-3.0. Jego docker-compose.yaml definiuje siedem usług: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb oraz foundationdb-init. Użytkownik otrzymuje pełnoprawną kolejkę zadań typu crawl, płacąc za to koniecznością utrzymania niewielkiego systemu rozproszonego.
Hound znajduje się w repozytorium master-fetch i jest dostarczany do PyPI jako hound-mcp na licencji MIT; wersja 13.2.0 (opublikowana 26 sierpnia 2026 r.) była aktualna na dzień 12 października 2026 r. Wymaga języka Python 3.11 lub nowszego. Jest to przede wszystkim serwer MCP, a dopiero w drugiej kolejności narzędzie pobierające: próbuje użyć zwykłego HTTP, a w przypadku zablokowania żądania lub otrzymania powłoki JavaScript, przełącza się na przeglądarkę Patchright; konfiguracja z obsługą przeglądarki uruchamia instancję podczas startu.
Trawl został uwzględniony, ponieważ użytkownicy trafiają na niego podczas poszukiwań pozostałych narzędzi, mimo że pełni inną funkcję. Rozwiązuje wyzwania JavaScript oraz CAPTCHA przy użyciu przeglądarki Firefox z załatanym odciskiem palca (fingerprint), stanowiąc zamiennik dla FlareSolverr w stosie mediowym *arr. Obecnie potrafi również odczytywać Markdown i wyodrębniać ustrukturyzowany format JSON za pośrednictwem MCP. Sekcja dotycząca etyki poniżej wyjaśnia, dlaczego jego rola w rozwiązywaniu wyzwań decyduje o tym, czy w ogóle powinien znaleźć się w Twoim stosie agentów.
Dlaczego pula przeglądarek to miejsce, w którym giną małe serwery VPS
Każda otwarta karta przeglądarki to osobny proces renderujący, utrzymujący własny DOM (Document Object Model) oraz własny stos JavaScript. Z tego powodu zużycie pamięci skaluje się wraz z liczbą stron otwartych w tym samym momencie, a nie z liczbą stron pobranych w ciągu dnia. Dwa z tych projektów uwzględniają ten koszt w swoich plikach compose.
Dane, na których opiera się ten wykres
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Plik compose dla Firecrawl ogranicza kontener api do 8 GB, a kontener Playwright do 4 GB, wraz z odpowiednimi limitami swap. Plik compose dla Hound ustawia 3 GB dla jednego kontenera zawierającego wbudowany Chromium. Są to limity wybrane przez autorów projektów, wartości publikowane, a nie pomiary systemu w stanie spoczynku. Ponadto Redis, RabbitMQ, PostgreSQL oraz FoundationDB wymagają własnych zasobów ponad wartości podane dla Firecrawl.
Limit ustawiony powyżej posiadanej pamięci RAM nie rezerwuje tej pamięci. Gdy serwerowi kończy się pamięć, mechanizm kernel out-of-memory killer kończy proces, przez co kontener znika z docker compose ps bez żadnego błędu zapisanego w dzienniku aplikacji. Dostarczony plik Compose dla Firecrawl nie ustawia automatycznej polityki restartu, więc kontener zakończony przez OOM pozostaje zatrzymany; docker compose ps --all uwzględnia zatrzymane kontenery. Przeczytaj dmesg -T | tail po niewyjaśnionym zatrzymaniu. Firecrawl nie publikuje zweryfikowanych minimalnych wymagań sprzętowych dla tego stosu, więc dobierz rozmiar serwera do swojego obciążenia. Ustawianie wartości dla poszczególnych usług zostało opisane w limitach pamięci w Docker Compose.
Jeszcze jeden szczegół dotyczący przeglądarki kosztuje użytkowników cały wieczór pracy. Docker przydziela kontenerowi 64 MB pamięci współdzielonej w /dev/shm, ale usługa Playwright w Firecrawl uruchamia Chromium z --disable-dev-shm-usage, co pozwala uniknąć tej małej partycji dla plików pamięci współdzielonej. Plik compose dla Hound zwiększa ją za pomocą shm_size: "1gb"; jego dynamiczna warstwa przeglądarki dziedziczy --disable-dev-shm-usage z Playwright poprzez Patchright, a ani usunięcia przełączników w Patchright, ani ignore_default_args w Hound tego nie usuwają. Plik compose dla Firecrawl nie ustawia w ogóle shm_size: jego blok playwright-service ustawia limity CPU i pamięci oraz 1 GB tmpfs w /tmp/.cache, więc kontener ten zachowuje domyślne 64 MB. Sprawdź flagi uruchamiania Chromium przed skopiowaniem linii z Hound do obrazu budowanego wokół Playwright.
Jakość ekstrakcji na stronach intensywnie korzystających z JavaScript
W przypadku statycznego HTML, blogów renderowanych po stronie serwera, stron dokumentacji czy artykułów informacyjnych, wszystkie metody zwracają niemal identyczny kod markdown, a najszybsza z nich wygrywa. Różnica pojawia się na stronach renderowanych po stronie klienta, gdzie dostarczony HTML jest pustą powłoką, a tekst dociera za pośrednictwem JavaScript po załadowaniu strony.
Draco eskaluje działanie w warstwach. Warstwa 0 i warstwa 1 parsują HTML bez użycia JavaScript. Warstwa 2 uruchamia własny kod JavaScript strony wewnątrz izolowanego procesu V8, czyli silnika JavaScript bez otoczki przeglądarki, a plik README zaznacza, że kod strony nie otrzymuje tam powiązań z możliwościami hosta. Obejmuje to wiele aplikacji typu single-page przy ułamku zużycia pamięci przeglądarki. Gdy Draco napotyka przeszkodę, której nie może pokonać, draco scrape kończy działanie kodem 3, needs_browser. Należy to sprawdzać w skryptach, ponieważ pusty plik z kodem wyjścia zero to błąd, który po cichu zatruwa kontekst agenta:
draco scrape https://example.com > page.md
echo "exit=$?"Usługa playwright-service w Firecrawl steruje rzeczywistym Chromium, więc renderuje to, co renderuje przeglądarka. Wersja self-hosted to nadal nie to samo co produkt chmurowy: dokumentacja podaje, że Fire-engine, który zawiera zaawansowane mechanizmy anty-botowe usługi chmurowej, nie jest dołączony, zrzuty ekranu oraz akcje na stronie nie są dostępne w domyślnym stosie, a w kwestii Agent, Browser i interact odsyła do Firecrawl Cloud. Hound celowo plasuje się pomiędzy nimi. Pobiera dane przez HTTP i eskaluje metodę pobierania dla każdego żądania, a jego rozgrzana przeglądarka zamyka się po przekroczeniu limitu czasu bezczynności, dzięki czemu nieaktywny serwer pozostaje blisko poziomu bazowego zużycia zasobów.
Instalacja Draco z przypiętą wersją
Plik README dokumentuje instalator jednowierszowy. Przed przekazaniem go potokiem do powłoki należy sprawdzić jego działanie: zgodnie z dokumentacją z 12 października 2026 r. instaluje on oprogramowanie w $HOME/.draco/bin/draco, zawsze pobiera wydanie latest i nie weryfikuje żadnego podpisu ani sumy kontrolnej. Na serwerze należy przypiąć wersję i zweryfikować pobrany plik. Poniższa instrukcja dla wersji v0.20.5 zachowuje konfigurację sprawdzoną 12 października 2026 r.; dokumentacja upstream dla przypiętej wersji jest niedostępna do ponownej weryfikacji.
Według stanu na 12 października 2026 r. pobieranie wydań projektu zwraca błąd 404 Not Found, ponieważ repozytorium upstream nie odpowiada, a domena instalatora get.draco.sh reklamowana w witrynie projektu nie rozwiązuje się. Brak aktywnego adresu URL wydania, z którego można pobrać pliki, dlatego poniższe polecenia zakładają, że na maszynie znajduje się już archiwum v0.20.5, draco-linux-x86-64.tar.gz, oraz jego SHA256SUMS w /tmp, zachowane z wcześniejszego pobrania lub skopiowane z zaufanego źródła. Nie należy uzupełniać braków za pomocą niezweryfikowanego mirrora: plik sumy kontrolnej serwowany z tego samego mirrora nie stanowi dowodu autentyczności pliku binarnego.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSPolecenie to wypisuje draco-linux-x86-64.tar.gz: OK. Linia FAILED oznacza, że posiadane bajty nie są zgodne z tymi opublikowanymi przez projekt, więc należy je usunąć i rozpocząć proces od nowa.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comOstatnie polecenie wypisuje przykładową stronę w formacie markdown. Ścieżka find nie jest przypadkowa: struktura archiwum nie jest częścią publicznej umowy projektu, a oficjalny instalator sprawdzony 12 października 2026 r. lokalizuje plik binarny w ten sam sposób.
Uruchom demona na dedykowanym koncie zamiast na użytkowniku logowania. Utwórz /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health/health odpowiada, gdy tylko demon nasłuchuje. Connection refused oznacza, że tak nie jest, więc należy przeczytać journalctl -u draco -n 50. Typową przyczyną jest inny proces zajmujący port 3002, ponieważ jest to również domyślny port Firecrawl. --port przenosi Draco. Samodzielnie hostowany Firecrawl nie posiada takiej flagi: jego port pochodzi ze zmiennej PORT w pliku Compose, opublikowanej jako "${PORT:-3002}:${INTERNAL_PORT:-3002}", więc należy zmienić opublikowany port w tym miejscu i zachować spójność wszystkich klientów. Więcej informacji o plikach jednostek: jednostki usług i timery systemd.
Teraz pobierz dane w sposób, w jaki zrobi to Twój agent:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Ograniczenie dostępu do demona pobierania z sieci publicznej
API typu fetch bez uwierzytelniania stanowi otwarte proxy. Każdy, kto uzyska dostęp do portu, może wymusić na serwerze żądanie dowolnego adresu URL z Twojego adresu IP, co skutkuje otrzymaniem zgłoszeń o nadużyciach przez Twojego dostawcę usług. Flagi serve narzędzia Draco udokumentowane 12 października 2026 nie zawierały klucza API, dlatego zabezpieczenie musi zostać zrealizowane na poziomie sieci. Należy zachować domyślne powiązanie 127.0.0.1, gdy agent działa na tej samej maszynie. Jeśli agent znajduje się w innej lokalizacji, oba końce należy umieścić w prywatnym tunelu; standardowym rozwiązaniem jest samodzielnie hostowana sieć VPN WireGuard, a powiązanie powinno wskazywać na adres tunelu, a nie na 0.0.0.0. Następnie należy sprawdzić z innej maszyny, czy publiczny adres IP nie odpowiada na żadne żądania. Podstawy zapory sieciowej ufw oraz konta użytkowników z minimalnymi uprawnieniami obejmują obie strony tego zagadnienia.
Czy kod agenta ulegnie zmianie? Zgodność API w praktyce
Draco obsługuje ścieżki Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape oraz /v1/search, a plik README, sprawdzony ostatnio 12 października 2026, wskazuje, że nieznane pola są akceptowane i ignorowane. Zgodność zależy od wymaganych funkcji: oficjalna strona Draco podaje, że zrzuty ekranu i kliknięcia zwracają kod HTTP 422, więc klient Firecrawl v1 żądający nieobsługiwanych akcji na stronie wymaga zarówno zmian w żądaniach, jak i nowego adresu bazowego. Należy monitorować zmiany po stronie dostawcy: przewodnik samodzielnego hostowania Firecrawl wykonuje teraz testy dymne (smoke tests) za pomocą żądania POST do /v2/scrape, a bieżące pakiety SDK domyślnie korzystają z wersji v2, podczas gdy strona Draco wymienia ścieżki v1. Przed edycją kodu agenta należy przetestować każde wywołanie za pomocą curl i analizować treść odpowiedzi JSON zamiast samego kodu statusu, ponieważ to w nazwach pól występują rozbieżności między tymi implementacjami.
Robots.txt, limity zapytań i zasady współżycia
Draco domyślnie odczytuje robots.txt, a plik README, ostatnio sprawdzony 12 października 2026, dokumentuje --ignore-robots w celu wyłączenia tej funkcji. Firecrawl dokumentuje to samo zachowanie domyślne. Pozostaw oba ustawienia bez zmian. Hound sprawdza robots.txt tylko wtedy, gdy flaga respect_robots=True zostanie przekazana do smart_fetch, więc należy ją tam aktywować. Następnie ustal własne tempo: zgodnie z dokumentacją z 12 października 2026, parametr --delay w Draco określa liczbę milisekund między zapytaniami, a --max-concurrency ogranicza liczbę zadań równoległych, przy czym wartość 8 jest domyślna dla demona. Ustawienie od 2 do 4 jest bardziej przyjazne dla współdzielonego łącza VPS i rzadko spowalnia proces, ponieważ witryna, która zaczyna nakładać limity zapytań, kosztuje więcej czasu niż zysk z równoległości. Buforuj pobrane dane, aby drugie uruchomienie agenta nie obciążało źródła. Jest to również najtańszy element w kontrolowaniu kosztów agenta AI.
Zapory typu challenge to osobny temat, a Trawl został stworzony właśnie do ich obsługi: Cloudflare Turnstile, reCAPTCHA, hCaptcha oraz GeeTest. Zapora typu challenge to witryna, która wprost odmawia obsługi ruchu automatycznego. Omijanie jej narusza warunki użytkowania witryny, a w niektórych jurysdykcjach jest niezgodne z prawem, dlatego niniejszy przewodnik ogranicza się do infrastruktury pobierającej dane. Te same techniki, które pozwalają ominąć zaporę, są monitorowane i blokowane przez właścicieli witryn, co sprawia, że każdy potok danych na nich oparty jest zarówno nietrwały, jak i nieuprzejmy. Jeśli źródło jest istotne, poszukaj jego kanału RSS, publicznego API lub eksportu zbiorczego. Każde z tych rozwiązań jest tańsze w utrzymaniu i żadne z nich nie przestanie działać w momencie zmiany zabezpieczeń witryny.
Podłączanie do agenta przez MCP
MCP (model context protocol) to interfejs, którego agent używa do wywoływania narzędzi. O tym, które narzędzia są dostępne dla modelu oraz czy może on wywołać je bez uprzedniego pytania o zgodę, decyduje wyższa warstwa, czyli środowisko uruchomieniowe modelu, dlatego uruchomienie demona to tylko połowa konfiguracji. Draco zawiera serwer MCP w tym samym pliku binarnym, działający przez stdio:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }Plik README, sprawdzony ostatnio 12 października 2026, wymienia draco_scrape, draco_discover oraz draco_search dla stdio; zestaw draco_interact_* odnosi się do punktu końcowego HTTP MCP demona. Stdio działa tylko wtedy, gdy proces agenta i plik binarny znajdują się na tej samej maszynie, ponieważ transportem jest standardowe wejście tego procesu. W przypadku agenta na innym hoście, Hound udostępnia MCP przez HTTP: hound --http --host 127.0.0.1 --port 8765 publikuje punkt końcowy pod adresem http://127.0.0.1:8765/mcp, do którego uzyskuje się dostęp przez tunel. Wybór transportu oraz zakres udostępnianych funkcji opisano w sekcji uruchamianie serwerów MCP na VPS.
Pobieranie par za pomocą wyszukiwania. Agent, który potrafi tylko pobierać, oczekuje na podanie adresów URL. Dodaj własną instancję wyszukiwarki SearXNG, aby agent mógł samodzielnie znajdować adresy; działa to w ten sam sposób, co umiejętność wyszukiwania w przeglądarce oparta na SearXNG. Gdy demon jest uruchomiony, stanowi współdzieloną usługę dla dowolnego z samodzielnie hostowanych agentów AI. Jeśli strona agenta jest elementem, co do którego masz najwięcej wątpliwości, napisanie ręcznie prostej pętli agenta pozwoli zrozumieć, w jaki sposób podłącza się narzędzie pobierające i co model robi z otrzymanym kodem markdown.
FAQ
Czy do pobierania stron dla agenta AI wymagana jest przeglądarka typu headless?
W przypadku większości stron nie. Dokumentacja renderowana po stronie serwera, blogi oraz artykuły informacyjne są zwracane w całości po zwykłym żądaniu HTTP, po którym następuje konwersja HTML do markdown. Jest to metoda stosowana przez Draco w niższych warstwach, co według danych projektu pozwala uzyskać czas rzędu 300 ms na stronę bez użycia przeglądarki. Przeglądarka jest niezbędna w przypadku aplikacji renderowanych po stronie klienta, gdzie dostarczony kod HTML jest pustą powłoką. Izolacja V8 w Draco obsługuje większość takich przypadków bez uruchamiania procesu przeglądarki, a w razie niepowodzenia kończy działanie z kodem 3, needs_browser.
Ile pamięci RAM wymaga samodzielnie hostowany Firecrawl na serwerze VPS?
Plik compose narzuca limit 8 GB dla kontenera api oraz 4 GB dla kontenera Playwright. Ten sam stos uruchamia również Redis, RabbitMQ, PostgreSQL oraz FoundationDB. Firecrawl nie publikuje zweryfikowanych minimalnych wymagań sprzętowych dla tego stosu. W warunkach braku pamięci jądro systemu wywołuje mechanizm out-of-memory killer, który kończy procesy. Jeśli kontener zostanie zatrzymany, dostarczony plik Compose nie uruchamia go automatycznie ponownie. Należy sprawdzić docker compose ps --all pod kątem zatrzymanych kontenerów oraz potwierdzić wystąpienie zdarzenia OOM za pomocą dmesg -T | tail.
Czy Draco jest bezpośrednim zamiennikiem dla API Firecrawl?
W przypadku endpointów v1 podobieństwo jest duże. Obsługiwane są /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape oraz /v1/search, jednak kompatybilność zależy od wymaganych funkcji. Zrzuty ekranu oraz kliknięcia zwracają błąd HTTP 422, dlatego klienci żądający nieobsługiwanych akcji muszą zmodyfikować żądania oraz zmienić bazowy adres URL. Obecne zestawy SDK Firecrawl domyślnie korzystają z v2, podczas gdy dokumentacja Draco wymienia trasy v1. Każde wywołanie wykonywane przez agenta należy najpierw zweryfikować za pomocą curl.
Czy samodzielne hostowanie scrapera oznacza możliwość ignorowania robots.txt?
Nie. Miejsce uruchomienia kodu nie zmienia treści opublikowanych przez witrynę ani warunków korzystania z niej. Zarówno Draco, jak i Firecrawl domyślnie respektują robots.txt, a flaga nadpisująca istnieje wyłącznie dla witryn własnych lub takich, na których indeksowanie uzyskano pisemną zgodę. Limity szybkości (rate limits) są egzekwowane przez serwer docelowy niezależnie od konfiguracji, dlatego uprzejme --delay przy niskiej współbieżności zapewnia stabilność adresu IP. Stos technologiczny, który działa wyłącznie dzięki omijaniu zabezpieczeń, jest rozwiązaniem, które przestanie działać bez ostrzeżenia.