VPS용 자체 호스팅 Firecrawl 대안 비교 및 설치
Draco, Hound, Firecrawl의 메모리 사용량과 헤드리스 브라우저 요구 사항을 비교합니다. 특정 버전 설치 방법과 MCP 연결을 통해 VPS에서 웹 스크래핑 비용을 절감하는 실무 가이드를 확인하십시오.
자체 호스팅 Firecrawl 대안이 갖추어야 할 기능
자체 호스팅 Firecrawl 대안의 목적은 단 하나입니다. URL을 입력받아 에이전트가 읽을 수 있는 깔끔한 markdown 형식으로 변환하여 반환하는 것입니다. 호스팅된 API는 페이지당 비용을 청구하므로 에이전트의 탐색 범위가 넓어질수록 비용이 증가하지만, 이미 사용 중인 VPS를 활용하면 동일한 작업을 수행할 수 있습니다. 프로젝트들은 한 가지 질문에 따라 나뉩니다. 바로 헤드리스 브라우저(창 없이 실행되는 실제 브라우저 엔진)를 서버에서 직접 구동해야 하는가 하는 점입니다.
이 질문에 대한 답에 따라 메모리 사용량, 페이지당 처리 비용, 그리고 빈 페이지가 반환되는 경우가 결정됩니다. 이 가이드에서는 Draco, Hound, 그리고 자체 호스팅 Firecrawl 릴리스를 비교하고, 가장 가벼운 버전을 특정 버전으로 설치한 뒤 MCP(Model Context Protocol)를 통해 에이전트와 연결하는 방법을 다룹니다.
네 가지 프로젝트와 각 프로젝트의 실체
Draco는 Rust로 작성된 단일 바이너리이며 MIT 또는 Apache-2.0 라이선스를 따릅니다. draco scrape <url>은 마크다운을 stdout으로 출력합니다. draco serve은 Firecrawl이 사용하는 포트인 127.0.0.1:3002에서 응답하는 데몬을 실행합니다. 2026년 10월 12일 문서화된 바와 같이, 기본적으로 컨테이너 이미지를 제공하지 않으며 브라우저를 실행하지 않습니다. 2026년 10월 12일 확인 결과, github.com/0xchasercat/draco에 위치한 업스트림 저장소와 해당 계정, 그리고 릴리스 다운로드 페이지는 모두 404 Not Found를 반환합니다. 해당 시점 기준으로 공개 포크 저장소에 v0.24.0까지의 소스 코드와 태그가 남아 있으나 릴리스 빌드는 게시되지 않았으므로, 이 프로젝트를 고려하기 전에 아래 설치 섹션을 읽어 보시기 바랍니다.
Firecrawl self-hosted는 호스팅 제품의 기반이 되는 엔진이며 AGPL-3.0 라이선스를 따릅니다. docker-compose.yaml은 playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb, foundationdb-init 등 7개의 서비스를 정의합니다. 소규모 분산 시스템을 운영하는 대가로 실제 크롤링 큐를 사용할 수 있습니다.
Hound는 master-fetch 저장소에 위치하며 hound-mcp이라는 이름으로 PyPI에 배포됩니다. 2026년 10월 12일 기준으로 MIT 라이선스를 따르는 버전 13.2.0(2026년 8월 26일 게시)입니다. Python 3.11 이상이 필요합니다. 이 프로젝트는 MCP 서버로서의 성격이 강하며 페처(fetcher)로서의 기능이 부차적입니다. 일반 HTTP 요청을 시도한 뒤 차단되거나 JavaScript 셸만 반환될 경우 Patchright 브라우저로 전환하며, 브라우저 활성화 설정 시 시작 시점에 브라우저를 미리 구동합니다.
Trawl은 다른 프로젝트를 검색하다가 접하게 되는 경우가 많아 여기에 포함되었으며, 수행하는 작업이 다릅니다. 이 프로젝트는 *arr 미디어 스택에서 FlareSolverr를 대체하기 위해 핑거프린트가 패치된 Firefox를 사용하여 JavaScript 챌린지와 CAPTCHA를 해결합니다. 현재는 마크다운을 읽고 MCP를 통해 구조화된 JSON을 추출하는 기능도 제공합니다. 아래의 에티켓 섹션에서는 챌린지 해결 역할이 왜 귀하의 에이전트 스택에 포함될지 여부를 결정하는지 설명합니다.
소규모 VPS에서 브라우저 풀이 문제가 되는 이유
열려 있는 각 브라우저 탭은 고유한 DOM(Document Object Model)과 JavaScript 힙을 가진 별도의 렌더러 프로세스입니다. 따라서 메모리 사용량은 하루에 가져오는 페이지 수가 아니라, 동시에 열려 있는 페이지 수에 비례하여 증가합니다. 이 프로젝트 중 두 곳은 이러한 비용을 자체 compose 파일에 명시하고 있습니다.
이 차트의 데이터
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Firecrawl의 compose 파일은 api 컨테이너의 메모리 제한을 8 GB로, Playwright 컨테이너의 제한을 4 GB로 설정하며, 이에 상응하는 스왑 제한을 둡니다. Hound의 compose 파일은 Chromium이 번들된 컨테이너 하나에 3 GB를 할당합니다. 이는 프로젝트 측에서 선택한 상한선이며, 유휴 상태의 시스템을 측정한 값이 아니라 게시된 수치입니다. 또한 Redis, RabbitMQ, PostgreSQL, FoundationDB는 Firecrawl의 수치와 별개로 추가적인 메모리를 점유합니다.
보유한 RAM보다 높은 상한선을 설정한다고 해서 해당 메모리가 예약되는 것은 아닙니다. 서버의 메모리가 부족해지면 커널의 OOM(Out-Of-Memory) 킬러가 프로세스를 강제 종료하므로, 애플리케이션 로그에 오류 기록 없이 컨테이너가 docker compose ps에서 사라집니다. Firecrawl이 제공하는 compose 파일에는 자동 재시작 정책이 설정되어 있지 않으므로, OOM으로 종료된 컨테이너는 정지된 상태로 남습니다. docker compose ps --all에는 정지된 컨테이너도 포함됩니다. 이유 없이 컨테이너가 멈췄다면 dmesg -T | tail를 확인하십시오. Firecrawl은 이 스택에 대해 검증된 최소 호스트 사양을 게시하지 않았으므로, 작업 부하에 맞춰 서버 크기를 결정해야 합니다. 서비스별 수치 설정 방법은 Docker Compose의 메모리 제한에서 다룹니다.
브라우저와 관련된 또 다른 세부 사항 하나가 사용자들의 시간을 낭비하게 만듭니다. Docker는 기본적으로 /dev/shm에 64 MB의 공유 메모리를 컨테이너에 할당하지만, Firecrawl의 Playwright 서비스는 --disable-dev-shm-usage 옵션으로 Chromium을 실행하여 공유 메모리 파일에 대한 이 작은 파티션을 우회합니다. Hound의 compose 파일은 shm_size: "1gb"를 사용하여 이를 확장합니다. Hound의 동적 브라우저 계층은 Patchright를 통해 Playwright로부터 --disable-dev-shm-usage을 상속받으며, Patchright의 스위치 제거 기능이나 Hound의 ignore_default_args 목록으로도 이 설정은 제거되지 않습니다. Firecrawl의 compose 파일에는 shm_size 설정이 전혀 없습니다. playwright-service 블록은 CPU 및 메모리 제한과 /tmp/.cache에 1 GB의 tmpfs만 설정하므로, 해당 컨테이너는 64 MB 기본값을 유지합니다. Hound의 설정을 Playwright 기반 이미지에 복사하기 전에 Chromium 실행 플래그를 먼저 확인하십시오.
JavaScript 중심 페이지에서의 추출 품질
정적 HTML, 서버 사이드 렌더링 블로그, 문서 페이지, 뉴스 기사 등은 모두 거의 동일한 마크다운을 반환하며, 가장 빠른 응답을 내는 쪽이 유리합니다. 차이는 클라이언트 사이드 렌더링 페이지에서 발생합니다. 이 경우 전달되는 HTML은 빈 껍데기이며, 텍스트는 로드 후 JavaScript를 통해 도착하기 때문입니다.
Draco는 단계별로 대응 수준을 높입니다. Tier 0과 Tier 1은 JavaScript를 전혀 실행하지 않고 HTML을 파싱합니다. Tier 2는 페이지 자체의 JavaScript를 프로세스 내부의 V8 isolate 내에서 실행합니다. 이는 브라우저 환경이 제외된 JavaScript 엔진이며, README에 따르면 해당 환경의 페이지 코드는 호스트 기능 바인딩을 사용할 수 없습니다. 이 방식은 브라우저 메모리의 일부만 사용하여 많은 단일 페이지 애플리케이션(SPA)을 처리할 수 있습니다. Draco가 해결할 수 없는 한계에 부딪히면 draco scrape는 코드 3인 needs_browser을 반환하며 종료됩니다. 빈 파일이 종료 코드 0으로 생성되면 에이전트의 컨텍스트를 조용히 오염시키는 실패 원인이 되므로, 스크립트에서 이를 반드시 확인해야 합니다.
draco scrape https://example.com > page.md
echo "exit=$?"Firecrawl의 playwright-service는 실제 Chromium을 구동하므로 브라우저가 렌더링하는 그대로를 출력합니다. 자체 호스팅 빌드는 호스팅되는 제품과는 다릅니다. 문서에 따르면 클라우드 서비스의 고급 안티봇 기능을 포함하는 Fire-engine은 자체 호스팅 빌드에 포함되지 않으며, 기본 스택에서는 스크린샷과 페이지 동작 기능을 사용할 수 없습니다. 또한 Agent, Browser 및 interact 기능은 Firecrawl Cloud를 사용하도록 안내합니다. Hound는 의도적으로 그 중간 위치에 있습니다. HTTP를 통해 데이터를 가져오고 요청에 따라 대응 수준을 높이며, 유휴 시간 초과 후에는 활성화된 브라우저를 종료하므로 유휴 상태의 서버는 기준 리소스 사용량을 유지합니다.
Draco 고정 버전 설치
README에는 한 줄짜리 설치 명령어가 기재되어 있습니다. 셸로 파이프하기 전에 해당 명령어가 무엇을 수행하는지 확인하십시오. 2026년 10월 12일 문서화된 내용에 따르면, 이 명령어는 $HOME/.draco/bin/draco에 설치를 수행하며 항상 latest 릴리스를 가져오고, 서명이나 해시 검증을 수행하지 않습니다. 서버 환경에서는 버전을 고정하고 다운로드 파일을 검증해야 합니다. 아래의 v0.20.5 관련 지침은 2026년 10월 12일에 확인된 설정을 유지합니다. 고정된 버전의 업스트림 문서는 재확인이 불가능합니다.
2026년 10월 12일 기준으로, 업스트림 저장소가 더 이상 응답하지 않고 프로젝트 사이트에서 광고하는 get.draco.sh 설치 도메인이 해석되지 않아 프로젝트의 릴리스 다운로드가 404 Not Found를 반환합니다. 가져올 수 있는 활성 릴리스 URL이 없으므로, 아래 명령어는 이미 v0.20.5 아카이브인 draco-linux-x86-64.tar.gz과 /tmp에 있는 SHA256SUMS를 보유한 환경에서 시작합니다. 이는 이전 다운로드에서 보관했거나 신뢰할 수 있는 머신에서 복사한 파일이어야 합니다. 검증되지 않은 미러 사이트로 공백을 채우지 마십시오. 동일한 미러에서 제공하는 체크섬 파일은 바이너리의 무결성을 증명하지 못합니다.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMS이 명령은 draco-linux-x86-64.tar.gz: OK을 출력합니다. FAILED 줄이 나타난다면 보유한 바이트가 프로젝트에서 배포한 것과 일치하지 않는다는 의미이므로, 해당 파일을 삭제하고 다시 시작하십시오.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com마지막 명령어는 예제 페이지를 마크다운 형식으로 출력합니다. find은 장식이 아닙니다. 아카이브 구조는 프로젝트의 공개 계약에 포함되지 않으며, 2026년 10월 12일에 마지막으로 확인된 공식 설치 프로그램도 동일한 방식으로 바이너리 위치를 찾습니다.
데몬을 로그인 사용자가 아닌 전용 계정으로 실행하십시오. /etc/systemd/system/draco.service를 작성하십시오:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health데몬이 리스닝 상태가 되면 /health가 응답합니다. Connection refused이 출력되면 리스닝 상태가 아니므로 journalctl -u draco -n 50을 읽어보십시오. 일반적인 원인은 Firecrawl의 기본 포트이기도 한 3002번 포트를 다른 프로세스가 이미 점유하고 있기 때문입니다. --port은 Draco의 포트를 변경합니다. 자체 호스팅된 Firecrawl에는 이러한 플래그가 없으며, 포트는 Compose 파일의 PORT 변수에서 결정되고 "${PORT:-3002}:${INTERNAL_PORT:-3002}"으로 게시됩니다. 따라서 해당 파일에서 게시된 포트를 변경하고 모든 클라이언트가 이를 일관되게 사용하도록 유지하십시오. 유닛 파일에 대한 자세한 내용은 systemd 서비스 유닛 및 타이머를 참조하십시오.
이제 에이전트가 사용할 방식으로 가져오기를 수행하십시오:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'fetch 데몬을 공용 인터넷에 노출하지 마십시오
인증이 없는 fetch API는 오픈 프록시와 같습니다. 해당 포트에 접근할 수 있는 사람은 누구나 귀하의 서버를 통해 임의의 URL을 요청하게 만들 수 있으며, 이로 인한 악용 신고는 공격자가 아닌 귀하의 호스팅 제공업체로 전달됩니다. 2026년 10월 12일에 문서화된 Draco의 serve 플래그에는 API 키가 포함되어 있지 않았으므로, 네트워크 수준에서 보호해야 합니다. 에이전트가 동일한 서버에서 실행 중이라면 기본값인 127.0.0.1 바인딩을 유지하십시오. 에이전트가 다른 곳에 있다면 양쪽 끝을 사설 터널로 연결하십시오. 직접 호스팅하는 WireGuard VPN이 일반적인 해결책이며, 0.0.0.0 대신 터널 주소에 바인딩하십시오. 그 후 다른 기기에서 공용 IP로 아무런 응답이 오지 않는지 확인하십시오. ufw 방화벽 기초와 최소 권한 사용자 계정 설정이 이 두 가지 보안 조치를 다룹니다.
에이전트 코드가 변경됩니까? 실무에서의 API 호환성
Draco는 Firecrawl v1 경로인 /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape 및 /v1/search에 응답하며, 2026년 10월 12일에 마지막으로 확인된 README에 따르면 알 수 없는 필드는 수락되고 무시됩니다. 호환성은 요청하는 기능에 따라 달라집니다. Draco의 공식 사이트에 따르면 스크린샷과 클릭은 HTTP 422를 반환하므로, 지원되지 않는 페이지 작업을 요청하는 Firecrawl v1 클라이언트는 새로운 기본 URL뿐만 아니라 요청 내용도 변경해야 합니다. 상대 측의 변경 사항을 모니터링하십시오. Firecrawl의 자체 호스팅 가이드는 현재 /v2/scrape로 POST 요청을 보내 스모크 테스트를 수행하며, 현재 SDK는 기본적으로 v2를 사용하지만 Draco 사이트에는 v1 경로가 나열되어 있습니다. 에이전트 코드를 수정하기 전에 curl으로 각 호출을 테스트하십시오. 또한 상태 코드보다는 JSON 본문을 읽어야 합니다. 이러한 구현 간의 차이는 주로 필드 이름에서 발생하기 때문입니다.
Robots.txt, 속도 제한 및 준수해야 할 선
Draco는 기본적으로 robots.txt을 읽으며, 2026년 10월 12일에 마지막으로 확인된 README 문서에는 이를 끄는 방법으로 --ignore-robots가 명시되어 있습니다. Firecrawl도 동일한 기본 설정을 따릅니다. 두 설정 모두 그대로 두십시오. Hound는 smart_fetch에 respect_robots=True가 전달될 때만 robots.txt을 확인하므로, 해당 위치에서 활성화하십시오. 그런 다음 직접 속도를 설정하십시오. 2026년 10월 12일에 문서화된 바와 같이, Draco의 --delay은 요청 간의 밀리초 단위를 설정하고 --max-concurrency은 병렬 작업 수를 제한하며, 데몬 기본값은 8입니다. 공유 VPS 환경에서는 2에서 4 정도로 설정하는 것이 더 적절하며, 전체적인 속도 면에서도 거의 느려지지 않습니다. 사이트에서 속도 제한이 걸리면 동시성으로 절약한 시간보다 더 많은 시간이 소요되기 때문입니다. 가져온 데이터는 캐싱하여 두 번째 에이전트 실행 시 원본 사이트에 부하를 주지 않도록 하십시오. 이는 AI 에이전트 비용 제어하기에서 가장 저렴한 항목이기도 합니다.
챌린지 월(Challenge wall)은 별개의 주제이며, Trawl은 바로 이를 위해 구축되었습니다. Cloudflare Turnstile, reCAPTCHA, hCaptcha 및 GeeTest가 이에 해당합니다. 챌린지 월은 사이트가 자동화된 트래픽을 명시적으로 거부하는 상태입니다. 이를 우회하는 것은 사이트 이용 약관에 위배되며, 일부 지역에서는 법적 문제가 될 수 있으므로 이 가이드는 인프라 가져오기까지만 다룹니다. 챌린지 월을 통과하는 기술은 사이트 소유자가 감시하고 차단하는 대상이기도 하므로, 이를 기반으로 구축된 파이프라인은 무례할 뿐만 아니라 매우 취약합니다. 특정 소스가 매우 중요하다면 RSS 피드, 공개 API 또는 대량 내보내기 기능을 찾으십시오. 이러한 방식은 운영 비용이 더 저렴하며, 챌린지 월이 변경되어도 중단되지 않습니다.
MCP 에이전트 연결
MCP(Model Context Protocol)는 에이전트가 도구를 호출하기 위해 사용하는 인터페이스입니다. 어떤 도구가 모델에 노출될지, 사용자의 승인 없이 도구를 호출할 수 있을지는 모델이 실행되는 환경에서 상위 수준으로 결정하므로, 데몬을 실행하는 것만으로는 연결이 완료되지 않습니다. Draco는 동일한 바이너리 내에 stdio를 통한 MCP 서버를 포함하고 있습니다.
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }2026년 10월 12일에 마지막으로 확인된 README에는 stdio용으로 draco_scrape, draco_discover, draco_search이 나열되어 있습니다. draco_interact_* 세트는 데몬의 HTTP MCP 엔드포인트에 해당합니다. Stdio는 전송 방식이 프로세스의 표준 입력(standard input)이므로 에이전트 프로세스와 바이너리가 같은 머신에 있을 때만 작동합니다. 다른 호스트에 있는 에이전트의 경우, Hound가 대신 HTTP를 통해 MCP를 제공합니다. hound --http --host 127.0.0.1 --port 8765은 http://127.0.0.1:8765/mcp에서 엔드포인트를 게시하며, 터널을 통해 이 엔드포인트에 접근할 수 있습니다. 전송 방식 선택 및 노출 범위에 관한 내용은 VPS에서 MCP 서버 실행하기를 참조하십시오.
검색을 통한 쌍(pair) 가져오기. 가져오기만 가능한 에이전트는 사용자가 URL을 제공할 때까지 대기합니다. 자체 호스팅 SearXNG 검색 인스턴스를 추가하면 에이전트가 직접 URL을 찾을 수 있으며, 이는 SearXNG 기반 브라우저 검색 기술과 동일한 형태입니다. 데몬이 실행되면, 이는 사용 중인 자체 호스팅 AI 에이전트를 위한 공유 서비스가 됩니다. 에이전트 측 구현이 확실하지 않다면, 간단한 에이전트 루프를 직접 작성해 보십시오. 가져오기 도구가 어디에 연결되는지, 모델이 반환된 마크다운을 어떻게 처리하는지 명확하게 이해할 수 있습니다.
FAQ
AI 에이전트가 페이지를 가져올 때 헤드리스 브라우저가 필요한가요?
대부분의 페이지에는 필요하지 않습니다. 서버에서 렌더링된 문서, 블로그, 뉴스 기사는 일반적인 HTTP 요청과 HTML-to-markdown 변환만으로 충분히 내용을 가져올 수 있습니다. Draco는 하위 계층에서 브라우저 없이 페이지당 약 300 ms의 속도로 이를 처리합니다. 브라우저는 전달된 HTML이 빈 껍데기인 클라이언트 렌더링 애플리케이션에서만 메모리 자원을 소모합니다. Draco의 V8 isolate는 브라우저 프로세스 없이도 상당 부분의 중간 영역을 처리하며, 처리가 불가능할 경우 코드 3, needs_browser을 반환하며 종료됩니다.
자체 호스팅하는 Firecrawl을 VPS에서 운영하려면 RAM이 얼마나 필요한가요?
제공되는 compose 파일은 api 컨테이너에 8 GB, Playwright 컨테이너에 4 GB의 메모리 제한을 설정합니다. 또한 동일한 스택에서 Redis, RabbitMQ, PostgreSQL, FoundationDB가 함께 실행됩니다. Firecrawl은 이 스택에 대한 검증된 최소 호스트 사양을 명시하지 않습니다. 메모리 압박이 발생하면 커널의 OOM(out-of-memory) killer가 프로세스를 강제 종료하며, 컨테이너가 중지되어도 제공된 Compose 파일은 자동으로 재시작하지 않습니다. 중지된 컨테이너는 docker compose ps --all로 확인하고, OOM 이벤트 발생 여부는 dmesg -T | tail으로 확인하십시오.
Draco는 Firecrawl API를 완벽하게 대체할 수 있나요?
v1 엔드포인트의 경우 거의 유사합니다. Draco는 /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape, /v1/search를 지원하지만, 호환성은 요청하는 기능에 따라 다릅니다. 스크린샷이나 클릭 기능은 HTTP 422를 반환하므로, 지원되지 않는 페이지 동작을 요청하는 클라이언트는 새로운 베이스 URL뿐만 아니라 요청 방식도 변경해야 합니다. Firecrawl의 현재 SDK는 기본적으로 v2를 사용하지만, Draco 사이트에는 v1 경로가 나열되어 있습니다. 에이전트가 수행하는 각 호출을 curl으로 먼저 검증하십시오.
스크레이퍼를 자체 호스팅하면 robots.txt를 무시해도 되나요?
아닙니다. 코드가 어디에서 실행되든 사이트가 게시한 내용이나 허용 범위는 변하지 않습니다. Draco와 Firecrawl 모두 기본적으로 robots.txt을 준수하며, 직접 소유하거나 크롤링 허가를 받은 사이트를 위해 무시(override) 플래그가 존재합니다. 속도 제한은 대상 서버 측에서 강제로 적용되므로, 낮은 동시성으로 --delay을 설정하여 예의를 갖추는 것이 IP 주소를 정상적으로 유지하는 방법입니다. 챌린지 월(challenge wall)을 우회해야만 작동하는 스택은 예고 없이 언제든 차단될 수 있습니다.