SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor

Альтернативи Firecrawl для self-hosted VPS

Порівняння Draco, Hound і self-hosted Firecrawl: споживання RAM, headless browser, сумісність API, встановлення зафіксованої версії та підключення через MCP.

Що має вміти self-hosted альтернатива Firecrawl

Self-hosted альтернатива Firecrawl має виконувати одне завдання: приймати URL і повертати вміст сторінки у вигляді чистого Markdown, який може читати агент. Hosted API стягують плату за кожну сторінку, тому рахунок зростає разом із кількістю сторінок, які запитує ваш агент. VPS, за який ви вже платите, може виконувати цю саму роботу. Проєкти відрізняються за одним ключовим питанням: чи потрібно запускати на вашому сервері headless browser (повноцінний браузерний рушій, який працює без вікна).

Відповідь на це питання визначає обсяг пам’яті, вартість обробки кожної сторінки та те, які сторінки повертатимуться порожніми. У цьому посібнику порівнюються Draco, Hound і self-hosted реліз Firecrawl. Також ви встановите найлегший варіант у зафіксованій версії та підключите його до агента через MCP (model context protocol).

Чотири проєкти та їхнє фактичне призначення

Draco — це один бінарний файл, написаний мовою Rust і ліцензований за MIT або Apache-2.0. draco scrape <url> виводить Markdown у stdout. draco serve запускає daemon, який відповідає на 127.0.0.1:3002 — порт, який використовує Firecrawl. Згідно з документацією станом на 12 October 2026, він не постачається як container image і за замовчуванням не запускає browser. Станом на 12 October 2026 upstream repository за адресою github.com/0xchasercat/draco, обліковий запис розробника та його release downloads повертають 404 Not Found. На момент цієї перевірки public fork все ще містив source code і tags до v0.24.0, але не публікував release builds. Тому перед плануванням використання ознайомтеся з розділом про інсталяцію нижче.

Firecrawl self-hosted — це engine, на якому працює hosted product. Він поширюється за ліцензією AGPL-3.0. Його docker-compose.yaml визначає сім сервісів: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb і foundationdb-init. Ви отримуєте повноцінну crawl queue, але маєте запускати невелику distributed system.

Hound розміщений у repository master-fetch і постачається до PyPI як hound-mcp. Він ліцензований за MIT, версія 13.2.0 (опублікована 26 August 2026) станом на 12 October 2026. Для роботи потрібен Python 3.11 або новіший. Це насамперед MCP server, а вже потім fetcher: він спочатку використовує звичайний HTTP, а якщо plain fetch повертає заблоковану відповідь або JavaScript shell, переходить до browser на базі Patchright. Конфігурація з browser під час запуску прогріває browser.

Trawl згадується тут тому, що користувачі зустрічають його під час пошуку інших проєктів, але він виконує інше завдання. Він розв’язує JavaScript challenges і CAPTCHAs за допомогою Firefox із виправленим fingerprint, замінюючи FlareSolverr у media stack на базі *arr. Тепер він також читає Markdown і витягує структурований JSON через MCP. У розділі про правила використання нижче пояснено, чому його роль у розв’язанні challenges визначає, чи варто взагалі додавати його до agent stack.

Чому саме пул браузерів стає причиною відмови невеликих VPS

Кожна відкрита вкладка браузера — це окремий renderer process із власним DOM (document object model) і власною JavaScript heap. Тому використання пам’яті залежить від кількості сторінок, відкритих одночасно, а не від кількості сторінок, завантажених протягом дня. Два з цих проєктів явно задають такі витрати у власних compose-файлах.

ГрафікMemory ceilings each project sets in its own compose file (GB)
Дані, на яких побудовано графік
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

У compose-файлі Firecrawl для api container встановлено обмеження 8 GB, а для Playwright container — 4 GB; для swap задано такі самі обмеження. У compose-файлі Hound для одного container із вбудованим Chromium встановлено 3 GB. Це верхні межі, вибрані проєктами й опубліковані як довідкові значення, а не вимірювання для системи без навантаження. Крім того, Redis, RabbitMQ, PostgreSQL і FoundationDB потребують власну частину пам’яті понад значення, наведені для Firecrawl.

Верхня межа, що перевищує доступний вам обсяг RAM, не резервує цю пам’ять. Коли на сервері закінчується пам’ять, kernel OOM killer завершує процес, тому container зникає з docker compose ps без помилки в журналі застосунку. Наданий Firecrawl Compose file не встановлює automatic restart policy, тому container, завершений через OOM, залишається зупиненим; docker compose ps --all містить зупинені containers. Після незрозумілої зупинки перегляньте dmesg -T | tail. Firecrawl не публікує підтверджений мінімальний розмір host для цього stack, тому підбирайте розмір сервера відповідно до робочого навантаження. Налаштування значень для кожного service описано в обмеженнях пам’яті в Docker Compose.

Є ще одна особливість браузера, через яку можна втратити кілька годин. Docker надає container 64 MB shared memory у /dev/shm, але Playwright service у Firecrawl запускає Chromium із параметром --disable-dev-shm-usage. Це дає змогу обійти цей невеликий розділ для таких shared-memory files. У compose-файлі Hound його розмір збільшено за допомогою shm_size: "1gb"; його dynamic browser tier успадковує --disable-dev-shm-usage від Playwright через Patchright, а ані видалення switch у Patchright, ані список ignore_default_args у Hound його не прибирають. Compose-файл Firecrawl взагалі не встановлює shm_size: його блок playwright-service задає обмеження CPU і memory та tmpfs розміром 1 GB у /tmp/.cache, тому цей container використовує стандартні 64 MB. Перед копіюванням рядка Hound в image, який ви створюєте на основі Playwright, перевірте launch flags Chromium.

Якість вилучення на сторінках із великою кількістю JavaScript

Для статичного HTML, блогу із серверним рендерингом, сторінки документації чи новинної статті всі ці варіанти повертають майже ідентичний markdown, тому перемагає найшвидший. Відмінність помітна на сторінках із клієнтським рендерингом, де отриманий HTML є порожньою оболонкою, а текст завантажується JavaScript після відкриття сторінки.

Draco переходить між рівнями поетапно. Tier 0 і tier 1 аналізують HTML без JavaScript. Tier 2 запускає власний JavaScript сторінки всередині вбудованого V8 isolate — це JavaScript engine без браузерного оточення; у README зазначено, що код сторінки не отримує там bindings до можливостей host. Цього достатньо для багатьох single-page applications і потребує лише частини пам’яті, потрібної браузеру. Коли Draco натрапляє на перешкоду, яку не може подолати, draco scrape завершується з кодом 3, needs_browser. Перевіряйте це у скриптах, оскільки порожній файл із нульовим кодом завершення є помилкою, яка непомітно спотворює контекст агента:

draco scrape https://example.com > page.md
echo "exit=$?"

playwright-service від Firecrawl керує справжнім Chromium, тому рендерить сторінки так, як їх рендерить браузер. Self-hosted build усе одно не є hosted product: у документації зазначено, що Fire-engine, який містить розширену поведінку проти ботів із cloud service, не входить до складу, що screenshots і page actions недоступні у default stack, а для Agent, Browser та interact рекомендується Firecrawl Cloud. Hound навмисно займає проміжне положення. Він отримує дані через HTTP і підвищує рівень обробки для кожного запиту, а його warm browser закривається після тайм-ауту бездіяльності, тому під час простою навантаження на систему залишається близьким до базового.

Встановлення Draco із закріпленою версією

У README описано інсталятор, який запускається одним рядком. Перш ніж передавати його до shell, прочитайте, що саме він робить: згідно з документацією станом на 12 October 2026, він встановлює програму в $HOME/.draco/bin/draco, завжди завантажує реліз latest і не перевіряє ні підпис, ні хеш. На сервері закріпіть версію та перевірте завантаження. Наведені нижче інструкції для v0.20.5 відповідають конфігурації, перевіреній 12 October 2026; документація upstream для закріпленої версії недоступна для повторної перевірки.

Станом на 12 October 2026 завантаження релізів проєкту повертають 404 Not Found, оскільки upstream-репозиторій більше не відповідає, а домен інсталятора get.draco.sh, який рекламує сайт проєкту, не розв’язується. Активного URL релізу для завантаження немає, тому наведені нижче команди потрібно виконувати на машині, де архів v0.20.5, draco-linux-x86-64.tar.gz і його SHA256SUMS вже збережені в /tmp — їх можна було отримати під час попереднього завантаження або скопіювати з машини, якій ви довіряєте. Не замінюйте відсутнє посилання на неперевірене дзеркало: файл із контрольною сумою, розміщений на тому самому дзеркалі, нічого не доводить щодо бінарного файлу.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Команда виводить draco-linux-x86-64.tar.gz: OK. Рядок FAILED означає, що наявні у вас байти відрізняються від опублікованих проєктом. Видаліть їх і почніть знову.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

Остання команда виводить демонстраційну сторінку у форматі markdown. find потрібен не для оформлення: структура архіву не є частиною публічного контракту проєкту, а офіційний інсталятор, востаннє перевірений 12 October 2026, знаходить бінарний файл у такий самий спосіб.

Запускайте daemon від окремого облікового запису, а не від користувача, під яким ви входите в систему. Створіть /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health відповідає одразу після того, як daemon починає прослуховувати порт. Connection refused означає, що він не прослуховує порт, тому перегляньте journalctl -u draco -n 50. Зазвичай причиною є інший процес, який уже займає порт 3002, оскільки це також стандартний порт Firecrawl. --port переміщує Draco на інший порт. У self-hosted Firecrawl такого прапорця немає: його порт задається змінною PORT у Compose-файлі та публікується як "${PORT:-3002}:${INTERNAL_PORT:-3002}". Змініть опублікований порт у цьому файлі й використовуйте його послідовно в усіх клієнтах. Докладніше про unit-файли: unit-файли та таймери systemd.

Тепер виконайте запит так, як це робитиме ваш агент:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Не відкривайте fetch daemon для публічного інтернету

Fetch API без автентифікації — це відкритий проксі. Будь-хто, хто має доступ до порту, може змусити ваш сервер виконати запит до будь-якої URL-адреси з вашої IP-адреси. Скарга щодо зловживання надійде вашому провайдеру, а не зловмиснику. У документації Draco від 12 October 2026 для прапорців serve не передбачено API key, тому захист має забезпечуватися мережею. Якщо агент працює на тому самому сервері, залиште стандартну прив’язку 127.0.0.1. Якщо агент працює на іншому сервері, з’єднайте обидві сторони через приватний тунель. Зазвичай для цього використовують WireGuard VPN, розгорнутий власноруч, і прив’язують сервіс до адреси тунелю, а не до 0.0.0.0. Потім з іншої машини перевірте, що публічна IP-адреса не відповідає. У матеріалах основи firewall ufw і облікові записи з мінімальними привілеями описано обидві частини цього захисту.

Чи зміниться код вашого агента? Сумісність API на практиці

Draco відповідає на маршрути Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape і /v1/search. У README, востаннє перевіреному 12 October 2026, зазначено, що невідомі поля приймаються та ігноруються. Сумісність залежить від запитаних функцій. На офіційному сайті Draco зазначено, що запити screenshot і clicks повертають HTTP 422. Тому клієнт Firecrawl v1, який запитує непідтримувані дії зі сторінкою, потребує змін у запиті, а не лише нової базової URL-адреси. Перевірте, що змінилося на іншому боці. У власному посібнику Firecrawl із self-hosting тепер виконується smoke-тест через POST до /v2/scrape, а поточні SDK за замовчуванням використовують v2, тоді як на сайті Draco перелічено маршрути v1. Перед редагуванням коду агента перевірте кожен виклик за допомогою curl. Читайте тіло JSON, а не лише код стану, оскільки саме назви полів найчастіше відрізняються в цих реалізаціях.

Robots.txt, обмеження частоти запитів і межа, яку не слід переходити

Draco за замовчуванням читає robots.txt, а в README, востаннє перевіреному 12 October 2026, описано --ignore-robots, яке вимикає цю поведінку. Firecrawl документує таке саме значення за замовчуванням. Не змінюйте налаштування в жодному з них. Hound перевіряє robots.txt лише коли до smart_fetch передано respect_robots=True, тому ввімкніть цю опцію саме там. Потім налаштуйте власний темп: згідно з документацією станом на 12 October 2026, параметр --delay у Draco задає затримку в мілісекундах між запитами, а --max-concurrency обмежує кількість паралельних завдань; значення за замовчуванням для daemon — 8. Значення від 2 до 4 менше навантажує спільне VPS-з’єднання і рідко сповільнює роботу загалом, оскільки сайт, який починає обмежувати частоту ваших запитів, забирає більше часу, ніж дає виграш від підвищення паралельності. Кешуйте отримані дані, щоб повторний запуск агента не створював додаткового навантаження на джерело. Це також найдешевша стаття витрат у контролі витрат на AI-агента.

Сторінки з challenge — окрема тема, і Trawl створено саме для роботи з ними: Cloudflare Turnstile, reCAPTCHA, hCaptcha та GeeTest. Challenge wall — це пряма відмова сайту приймати автоматизований трафік. Обхід такої перевірки суперечить умовам використання сайту, а в деяких юрисдикціях — і законодавству, тому цей посібник охоплює лише інфраструктуру для отримання даних і на цьому зупиняється. Ті самі методи, які дають змогу пройти таку перевірку, власники сайтів відстежують і блокують. Тому побудований на них pipeline буде не лише некоректним, а й ненадійним. Якщо джерело настільки важливе, шукайте його RSS feed, публічний API або bulk export. Кожен із цих варіантів дешевший в експлуатації, і жоден не перестає працювати протягом тижня лише через зміну challenge wall.

Підключіть його до агента через MCP

MCP (model context protocol) — це інтерфейс, через який агент викликає інструмент. Які інструменти взагалі доступні моделі та чи може вона викликати інструмент без попереднього запиту до вас, визначається рівнем вище — оболонкою, у якій працює модель, тому запустити daemon у режимі прослуховування — лише половина підключення. Draco містить MCP server у тому самому binary і працює через stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

У README, востаннє перевіреному 12 October 2026, для stdio наведено draco_scrape, draco_discover і draco_search; набір draco_interact_* належить HTTP MCP endpoint daemon. Stdio працює лише тоді, коли процес агента та binary розміщені на одному комп’ютері, оскільки транспорт використовує стандартне введення цього процесу. Для агента на іншому host Hound надає MCP через HTTP: hound --http --host 127.0.0.1 --port 8765 публікує endpoint за адресою http://127.0.0.1:8765/mcp, доступ до якого здійснюється через tunnel. Варіанти транспорту та перелік даних, які потрібно опублікувати, описано в матеріалі запуск MCP servers на VPS.

Отримання пар через пошук. Агент, який уміє лише отримувати дані, очікує, що ви надасте йому URL. Додайте self-hosted search instance SearXNG, і він зможе знаходити їх самостійно, так само як browser search skill на базі SearXNG. Після запуску daemon це буде спільний сервіс для будь-якого з self-hosted AI agents, які ви використовуєте. Якщо саме агентна частина викликає у вас найбільше сумнівів, матеріал спочатку вручну напишіть невеликий agent loop допоможе чітко побачити, де підключається fetch tool і що model робить із отриманим markdown.

FAQ

Чи потрібен headless browser, щоб отримувати сторінки для AI-агента?

Для більшості сторінок — ні. Документація, блоги й новинні статті, які генеруються на сервері, надходять повністю після звичайного HTTP-запиту та перетворення HTML на Markdown. Саме так Draco працює на нижчих тарифах — приблизно 300 ms на сторінку без браузера, за власними даними проєкту. Браузер потрібен для застосунків, які рендерять вміст на клієнті, коли отриманий HTML містить лише порожню оболонку. Ізолят V8 у Draco покриває значну частину таких випадків без окремого процесу браузера. Якщо це неможливо, процес завершується з кодом 3, needs_browser.

Скільки RAM потрібно self-hosted Firecrawl на VPS?

У compose-файлі для контейнера api встановлено обмеження 8 GB, а для контейнера Playwright — 4 GB. Цей самий стек також запускає Redis, RabbitMQ, PostgreSQL і FoundationDB. Firecrawl не публікує підтверджених мінімальних вимог до розміру хоста для цього стека. За нестачі пам’яті kernel OOM killer завершує процеси. Якщо контейнер зупиниться, наданий Compose-файл не перезапустить його автоматично. Перевірте docker compose ps --all, щоб знайти зупинені контейнери, і підтвердьте подію OOM за допомогою dmesg -T | tail.

Чи є Draco повною заміною Firecrawl API без додаткових змін?

Для кінцевих точок v1 — майже. Він підтримує /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape і /v1/search, але сумісність залежить від запитаних функцій. Скріншоти та кліки повертають HTTP 422, тому клієнтам, які запитують непідтримувані дії зі сторінкою, потрібно змінити запити й базову URL-адресу. Поточні SDK Firecrawl за замовчуванням використовують v2, тоді як на сайті Draco перелічено маршрути v1. Спочатку перевірте кожен виклик, який виконує ваш агент, за допомогою curl.

Чи означає self-hosting скрейпера, що можна не зважати на robots.txt?

Ні. Місце виконання коду не змінює того, що опублікував сайт, і того, що дозволяють його умови. Draco і Firecrawl за замовчуванням дотримуються robots.txt. Прапорець override призначений для сайтів, якими ви володієте, або для яких маєте письмовий дозвіл на скрейпінг. Обмеження частоти запитів усе одно застосовуються на стороні сайту, тому коректний --delay із низькою паралельністю допомагає зберегти працездатність вашої IP-адреси. Стек, який працює лише завдяки обходу challenge wall, може раптово перестати працювати.

Чи була ця стаття корисною?

#scraping#firecrawl#ai-agents#self-hosting#markdown