SSD Nodes Learn Hosting plans →
Руководства Matt ConnorАвтор: Matt Connor

Self-hosted альтернативы Firecrawl для VPS: сравнение

Сравнение Draco, Hound и Firecrawl по потреблению RAM и требованиям к headless-браузеру. Вы узнаете, как установить решение с фиксацией версии и настроить подключение через MCP.

Что должна делать self-hosted альтернатива Firecrawl

У self-hosted альтернативы Firecrawl одна задача: получить URL и вернуть содержимое страницы в виде чистого markdown, пригодного для чтения агентом. Облачные API взимают плату за каждую страницу, поэтому расходы растут пропорционально любопытству вашего агента, в то время как VPS, за который вы уже платите, может выполнять ту же работу. Проекты различаются по одному вопросу: должен ли на вашем сервере запускаться headless-браузер (реальный движок браузера, работающий без графического интерфейса)?

Ответ на этот вопрос определяет потребление оперативной памяти, стоимость обработки каждой страницы и вероятность того, что страница вернётся пустой. В этом руководстве сравниваются Draco, Hound и self-hosted релиз Firecrawl, выполняется установка наиболее легковесного решения с фиксацией версии, а также его подключение к агенту через MCP (model context protocol).

Четыре проекта и описание каждого из них

Draco — это один исполняемый файл, написанный на Rust, распространяемый по лицензии MIT или Apache-2.0. draco scrape <url> выводит markdown в stdout. draco serve запускает демон, который отвечает на 127.0.0.1:3002 — порту, используемом Firecrawl. Согласно документации от 12 октября 2026 года, проект не поставляется в виде образа контейнера и по умолчанию не запускает браузер. По состоянию на 12 октября 2026 года его основной репозиторий по адресу github.com/0xchasercat/draco, учетная запись автора и страницы загрузки релизов возвращают ошибку 404 Not Found. На момент проверки публичный форк всё ещё содержал исходный код и теги до версии v0.24.0, но не публиковал готовые сборки, поэтому ознакомьтесь с разделом по установке ниже, прежде чем планировать работу с ним.

Firecrawl self-hosted — это движок, лежащий в основе облачного продукта, распространяемый по лицензии AGPL-3.0. Его docker-compose.yaml определяет семь сервисов: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb и foundationdb-init. Вы получаете полноценную очередь задач для краулинга, но ценой запуска небольшой распределенной системы.

Hound находится в репозитории master-fetch и поставляется в PyPI как hound-mcp. Проект распространяется по лицензии MIT, версия 13.2.0 (опубликована 26 августа 2026 года) по состоянию на 12 октября 2026 года. Требуется Python 3.11 или новее. Это в первую очередь MCP-сервер, а уже потом инструмент для получения данных: он пытается выполнить обычный HTTP-запрос и переключается на браузер Patchright, если обычный запрос блокируется или возвращает только JavaScript-оболочку; при настройке с использованием браузера он подготавливает экземпляр браузера при запуске.

Trawl включен в этот список, так как пользователи часто находят его при поиске других инструментов, хотя он выполняет иную задачу. Он решает JavaScript-челленджи и CAPTCHA с помощью модифицированного Firefox с подменой отпечатков (fingerprint), выступая заменой FlareSolverr в медиа-стеке *arr. Теперь он также умеет читать Markdown и извлекать структурированный JSON через MCP. Раздел об этике ниже объясняет, почему его роль в обходе защиты определяет, стоит ли вообще включать его в ваш стек агентов.

Почему пул браузеров — это причина отказа небольших VPS

Каждая открытая вкладка браузера — это отдельный процесс рендеринга, который удерживает собственную DOM (объектную модель документа) и собственную кучу JavaScript. Таким образом, потребление памяти масштабируется в зависимости от количества страниц, открытых в один момент времени, а не от количества страниц, загруженных за день. В двух из этих проектов требования к ресурсам прописаны прямо в файлах compose.

ГрафикMemory ceilings each project sets in its own compose file (GB)
Данные, на которых построен график
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

В файле compose для Firecrawl лимит для контейнера api установлен на уровне 8 ГБ, а для контейнера Playwright — 4 ГБ, с соответствующими лимитами swap. В файле compose для Hound установлено 3 ГБ для одного контейнера, который содержит встроенный Chromium. Это предельные значения, выбранные самими проектами; это опубликованные цифры, а не замеры системы в состоянии покоя. Кроме того, Redis, RabbitMQ, PostgreSQL и FoundationDB также требуют свою долю ресурсов сверх указанных для Firecrawl значений.

Установка лимита, превышающего объем имеющейся оперативной памяти, не резервирует эту память. Когда на сервере заканчивается память, механизм out-of-memory killer ядра завершает процесс, поэтому контейнер исчезает из docker compose ps, не записывая ошибку в журнал приложения. Предоставленный файл Compose для Firecrawl не содержит политики автоматического перезапуска, поэтому контейнер, завершенный по OOM, остается остановленным; docker compose ps --all включает в себя остановленные контейнеры. Прочитайте dmesg -T | tail после необъяснимой остановки. Firecrawl не публикует проверенные минимальные требования к хосту для этого стека, поэтому подбирайте размер сервера исходя из вашей рабочей нагрузки. Настройка лимитов для каждого сервиса описана в лимиты памяти в Docker Compose.

Еще одна деталь, связанная с браузерами, часто отнимает у пользователей целый вечер. Docker выделяет контейнеру 64 МБ разделяемой памяти в /dev/shm, но сервис Playwright в Firecrawl запускает Chromium с --disable-dev-shm-usage, что позволяет избежать использования этого небольшого раздела для файлов разделяемой памяти. В конфигурации Hound этот лимит увеличен с помощью shm_size: "1gb"; динамический уровень браузера наследует --disable-dev-shm-usage от Playwright через Patchright, и ни удаление переключателей в Patchright, ни ignore_default_args в Hound не убирают этот параметр. В конфигурации Firecrawl вообще не задан shm_size: блок playwright-service устанавливает лимиты CPU и памяти, а также tmpfs объемом 1 ГБ в /tmp/.cache, поэтому этот контейнер сохраняет значение по умолчанию в 64 МБ. Проверьте флаги запуска Chromium, прежде чем копировать строку из Hound в образ, который вы собираете на базе Playwright.

Качество извлечения данных на страницах с активным использованием JavaScript

Для статического HTML, блогов с серверным рендерингом, страниц документации или новостных статей результат практически идентичен, и побеждает тот, кто работает быстрее. Разница проявляется на страницах с клиентским рендерингом, где полученный HTML представляет собой пустую оболочку, а текст подгружается с помощью JavaScript после загрузки страницы.

Draco использует многоуровневый подход. Уровни 0 и 1 анализируют HTML без выполнения JavaScript. Уровень 2 запускает собственный JavaScript страницы внутри изолированного процесса V8 — это движок JavaScript без графического браузера. В README указано, что код страницы не получает привязок к возможностям хоста в этой среде. Это позволяет обрабатывать многие одностраничные приложения (SPA), потребляя лишь малую часть оперативной памяти полноценного браузера. Когда Draco сталкивается с непреодолимым препятствием, draco scrape завершает работу с кодом 3, needs_browser. Проверяйте это в своих скриптах, так как пустой файл с нулевым кодом завершения — это ошибка, которая незаметно отравляет контекст агента:

draco scrape https://example.com > page.md
echo "exit=$?"

Сервис playwright-service в составе Firecrawl управляет полноценным Chromium, поэтому он отрисовывает страницу так же, как это делает браузер. Самостоятельно развернутая сборка — это не облачный продукт: в документации указано, что Fire-engine, отвечающий за продвинутые механизмы обхода защиты от ботов, в комплект не входит. Скриншоты и интерактивные действия со страницей недоступны в стандартном стеке, а для функций Agent, Browser и interact документация направляет вас к Firecrawl Cloud. Hound намеренно занимает промежуточное положение. Он выполняет запросы по HTTP и повышает уровень обработки по мере необходимости, а его «разогретый» браузер закрывается после периода бездействия, поэтому простаивающий сервер остается близким к базовому потреблению ресурсов.

Установка Draco с фиксацией версии

В файле README описан однострочный установщик. Изучите его содержимое перед тем, как передавать вывод в оболочку: согласно документации от 12 октября 2026 года, он выполняет установку в $HOME/.draco/bin/draco, всегда использует релиз latest и не проверяет подписи или хеш-суммы. На сервере фиксируйте версию и проверяйте загружаемые файлы. Приведенные ниже инструкции для v0.20.5 сохраняют настройки, проверенные 12 октября 2026 года; документация вышестоящего источника для зафиксированной версии недоступна для повторной проверки.

По состоянию на 12 октября 2026 года загрузка релизов проекта возвращает ошибку 404 Not Found, так как репозиторий недоступен, а домен установщика get.draco.sh, рекламируемый на сайте проекта, не разрешается. Актуального URL для загрузки релиза не существует, поэтому приведенные ниже команды начинаются с предположения, что у вас уже есть архив v0.20.5, draco-linux-x86-64.tar.gz, и его SHA256SUMS в /tmp, сохраненные после предыдущей загрузки или скопированные с доверенного узла. Не используйте зеркала, которые вы не проверяли: файл контрольных сумм, полученный с того же зеркала, не является доказательством подлинности бинарного файла.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

Эта команда выводит draco-linux-x86-64.tar.gz: OK. Строка FAILED означает, что байты в вашем распоряжении не совпадают с байтами, опубликованными проектом, поэтому удалите их и начните заново.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

Последняя команда выводит пример страницы в формате markdown. find здесь не для красоты: структура архива не является частью публичного контракта проекта, а официальный установщик, проверенный 12 октября 2026 года, находит бинарный файл именно таким способом.

Запускайте демон от имени отдельной учетной записи, а не от имени вашего пользователя. Создайте /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health отвечает сразу, как только демон начинает прослушивание порта. Connection refused означает, что демон не запущен, поэтому изучите journalctl -u draco -n 50. Частая причина — другой процесс уже занял порт 3002, так как это порт по умолчанию для Firecrawl. --port позволяет изменить порт Draco. У self-hosted версии Firecrawl такого флага нет: порт задается переменной PORT в файле Compose, опубликованной как "${PORT:-3002}:${INTERNAL_PORT:-3002}", поэтому измените опубликованный порт там и приведите все клиенты в соответствие с ним. Подробнее о файлах юнитов: юниты и таймеры systemd.

Теперь выполните запрос так, как это будет делать ваш агент:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Ограничение доступа к fetch daemon из публичной сети

API для fetch без аутентификации является открытым прокси-сервером. Любой, кто имеет доступ к порту, может заставить ваш сервер отправить запрос по любому URL с вашего IP-адреса, а жалобы на злоупотребления поступят вашему провайдеру, а не злоумышленнику. Флаги serve для Draco, задокументированные 12 октября 2026 года, не включают API-ключ, поэтому защита должна обеспечиваться на сетевом уровне. Используйте привязку по умолчанию 127.0.0.1, если агент запущен на той же машине. Если агент находится на другом узле, соедините обе стороны через частный туннель; собственный WireGuard VPN — стандартное решение в таких случаях. Привязывайте сервис к IP-адресу туннеля, а не к 0.0.0.0. После этого проверьте с другого устройства, что публичный IP-адрес не отвечает на запросы. Основы работы с ufw и принцип минимальных привилегий для учетных записей охватывают обе стороны этой задачи.

Изменится ли код вашего агента? API-совместимость на практике

Draco поддерживает маршруты Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape и /v1/search. В файле README, последняя проверка которого была 12 октября 2026 года, указано, что неизвестные поля принимаются и игнорируются. Совместимость зависит от запрашиваемых функций: на официальном сайте Draco сказано, что запросы на создание скриншотов и клики возвращают HTTP 422. Поэтому клиенту Firecrawl v1, запрашивающему неподдерживаемые действия на странице, потребуется не только изменить базовый URL, но и скорректировать сами запросы. Следите за изменениями на стороне сервиса: руководство по self-hosting для Firecrawl теперь выполняет smoke-тесты с помощью POST-запроса к /v2/scrape, а текущие SDK по умолчанию используют v2, в то время как на сайте Draco указаны маршруты v1. Перед внесением изменений в код агента протестируйте каждый вызов с помощью curl. Анализируйте тело JSON-ответа, а не только код состояния, так как именно в именах полей чаще всего возникают расхождения между реализациями.

Robots.txt, ограничения частоты запросов и допустимые пределы

Draco по умолчанию считывает robots.txt, а в его README, обновленном 12 октября 2026 года, описан параметр --ignore-robots для отключения этой функции. Firecrawl использует такие же настройки по умолчанию. Оставьте оба значения без изменений. Hound проверяет robots.txt только при передаче флага respect_robots=True в smart_fetch, поэтому активируйте его там. Затем установите собственный темп: как указано в документации от 12 октября 2026 года, параметр --delay в Draco задает задержку в миллисекундах между запросами, а --max-concurrency ограничивает количество параллельных задач (по умолчанию для демона установлено значение 8). Значение от 2 до 4 более щадящее для общего VPS-канала и редко замедляет общую работу, так как сайт, начавший ограничивать частоту ваших запросов, потребует больше времени на ожидание, чем вы сэкономите за счет параллелизма. Кэшируйте полученные данные, чтобы повторный запуск агента не создавал нагрузки на источник. Это также самый дешевый пункт в контроле расходов на ИИ-агента.

Стены с проверками (challenge walls) — это отдельная тема, и Trawl создан именно для них: Cloudflare Turnstile, reCAPTCHA, hCaptcha и GeeTest. Стена с проверкой — это прямой отказ сайта от автоматизированного трафика. Попытки обойти её нарушают условия использования сайта, а в некоторых юрисдикциях — и закон, поэтому данное руководство ограничивается описанием инфраструктуры для получения данных. Те же методы, которые позволяют пройти проверку, отслеживаются и блокируются владельцами сайтов, что делает любой построенный на них конвейер хрупким и некорректным. Если источник данных критически важен, ищите его RSS-ленту, публичный API или возможность пакетной выгрузки. Каждый из этих способов дешевле в эксплуатации и не сломается в тот момент, когда на сайте изменится механизм защиты.

Подключение к агенту через MCP

MCP (Model Context Protocol) — это интерфейс, который агент использует для вызова инструментов. Какие именно инструменты будут доступны модели и разрешено ли ей вызывать их без вашего подтверждения, определяется на уровень выше — в среде исполнения модели, поэтому запуск демона — это лишь половина дела. Draco содержит MCP-сервер в том же бинарном файле и работает через stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

В файле README, актуальном на 12 октября 2026 года, для stdio указаны draco_scrape, draco_discover и draco_search; набор draco_interact_* относится к HTTP-эндпоинту MCP демона. Stdio работает только в том случае, если процесс агента и бинарный файл находятся на одной машине, так как транспортом выступает стандартный ввод процесса. Для агента на другом хосте Hound предоставляет MCP через HTTP: hound --http --host 127.0.0.1 --port 8765 публикует эндпоинт по адресу http://127.0.0.1:8765/mcp, к которому можно обратиться через туннель. Выбор транспорта и настройки доступа описаны в разделе запуск MCP-серверов на VPS.

Получение пар через поиск. Агент, который умеет только скачивать данные, будет ждать, пока вы предоставите URL. Добавьте собственный экземпляр SearXNG, и агент сможет находить их самостоятельно — это работает так же, как навык поиска в браузере на базе SearXNG. После запуска демон становится общим сервисом для любого из самостоятельно развернутых AI-агентов. Если вы не уверены в стороне агента, написание простого цикла агента вручную поможет понять, куда подключается инструмент получения данных и как модель обрабатывает полученный markdown.

FAQ

Нужен ли headless-браузер для получения страниц для AI-агента?

Для большинства страниц — нет. Документация, блоги и новостные статьи, отрендеренные на сервере, приходят в полном объеме после обычного HTTP-запроса с последующим преобразованием HTML в markdown. Именно это делает Draco на своих базовых уровнях, затрачивая, согласно данным проекта, около 300 мс на страницу без использования браузера. Браузер оправдывает потребление памяти при работе с клиентскими приложениями, где полученный HTML является пустой оболочкой. Изолят V8 в Draco покрывает большую часть таких случаев без запуска процесса браузера, а при невозможности выполнения завершается с кодом 3, needs_browser.

Сколько оперативной памяти нужно для self-hosted Firecrawl на VPS?

В файле compose установлен лимит 8 ГБ для контейнера api и 4 ГБ для контейнера Playwright; этот же стек запускает Redis, RabbitMQ, PostgreSQL и FoundationDB. Firecrawl не публикует проверенных данных о минимальных требованиях к хосту для этого стека. При нехватке памяти ядро системы завершает процессы через out-of-memory killer; если контейнер останавливается, предоставленный файл Compose не перезапускает его автоматически. Проверяйте docker compose ps --all на наличие остановленных контейнеров и подтверждайте событие OOM с помощью dmesg -T | tail.

Является ли Draco прямой заменой API Firecrawl?

Для эндпоинтов v1 — близко к этому. Он поддерживает /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape и /v1/search, но совместимость зависит от запрашиваемых функций: скриншоты и клики возвращают HTTP 422, поэтому клиентам, запрашивающим неподдерживаемые действия на странице, потребуется изменить запросы, а также сменить базовый URL. Текущие SDK Firecrawl по умолчанию используют v2, в то время как на сайте Draco указаны маршруты v1. Сначала проверяйте каждый вызов вашего агента с помощью curl.

Означает ли self-hosting скрапера, что можно игнорировать robots.txt?

Нет. Место запуска кода никак не меняет то, что опубликовал сайт или что разрешают его условия использования. И Draco, и Firecrawl по умолчанию соблюдают robots.txt, а флаг переопределения существует для сайтов, которыми вы владеете или на сканирование которых у вас есть письменное разрешение. Ограничения частоты запросов (rate limits) в любом случае применяются на стороне сервера, поэтому вежливый --delay с низкой параллельностью позволит вашему IP-адресу оставаться работоспособным. Стек, который функционирует только за счет обхода защиты, — это стек, который перестанет работать без предупреждения.

Была ли эта статья полезной?