SSD Nodes Learn Hosting plans →
คู่มือ Matt Connorโดย Matt Connor

ทางเลือก self-hosted Firecrawl สำหรับรันบน VPS

เปรียบเทียบ Draco, Hound และ Firecrawl แบบ self-hosted ในด้านการใช้ RAM ความจำเป็นของ headless browser และความเข้ากันได้ของ API พร้อมวิธีติดตั้งและเชื่อมต่อผ่าน MCP

สิ่งที่ทางเลือกสำหรับ self-hosted Firecrawl ต้องทำได้

ทางเลือกสำหรับการทำ self-hosted Firecrawl มีหน้าที่หลักเพียงอย่างเดียวคือ รับ URL เข้ามาแล้วส่งคืนเนื้อหาหน้าเว็บในรูปแบบ markdown ที่สะอาดตาเพื่อให้ agent อ่านได้ บริการ API แบบ hosted จะคิดค่าใช้จ่ายต่อหน้า ซึ่งทำให้ค่าใช้จ่ายเพิ่มขึ้นตามความต้องการของ agent ในขณะที่ VPS ที่คุณจ่ายเงินใช้งานอยู่แล้วสามารถทำงานเดียวกันนี้ได้ โครงการต่างๆ จะมีความแตกต่างกันในประเด็นสำคัญคือ จำเป็นต้องรัน headless browser (เอนจินเบราว์เซอร์จริงที่ทำงานโดยไม่มีหน้าต่างแสดงผล) บนเครื่องของคุณหรือไม่

คำตอบในส่วนนี้จะเป็นตัวกำหนดปริมาณการใช้หน่วยความจำ, ต้นทุนต่อหน้า และโอกาสที่หน้าเว็บจะถูกส่งกลับมาเป็นค่าว่าง คู่มือนี้จะเปรียบเทียบระหว่าง Draco, Hound และตัว Firecrawl เวอร์ชัน self-hosted พร้อมทั้งแนะนำวิธีการติดตั้งตัวที่เบาที่สุดในเวอร์ชันที่กำหนดไว้ และเชื่อมต่อเข้ากับ agent ผ่านทาง MCP (model context protocol)

โครงการทั้งสี่และรายละเอียดของแต่ละโครงการ

Draco เป็นไฟล์ binary เดียวที่เขียนด้วยภาษา Rust ภายใต้สัญญาอนุญาต MIT หรือ Apache-2.0 โดย draco scrape <url> จะพิมพ์ markdown ออกทาง stdout และ draco serve จะรัน daemon ที่ตอบสนองบน 127.0.0.1:3002 ซึ่งเป็นพอร์ตที่ Firecrawl ใช้งาน ตามเอกสาร ณ วันที่ 12 ตุลาคม 2026 โครงการนี้ไม่มี container image และไม่ได้เปิดใช้งานเบราว์เซอร์เป็นค่าเริ่มต้น ณ วันที่ 12 ตุลาคม 2026 repository ต้นทางที่ github.com/0xchasercat/draco รวมถึงบัญชีผู้พัฒนาและการดาวน์โหลด release ทั้งหมดแสดงสถานะ 404 Not Found จากการตรวจสอบพบว่ามี public fork ที่ยังมีซอร์สโค้ดและ tag ถึงเวอร์ชัน v0.24.0 แต่ไม่มีการเผยแพร่ release build ดังนั้นโปรดอ่านส่วนการติดตั้งด้านล่างก่อนวางแผนใช้งาน

Firecrawl self-hosted คือเอนจินที่อยู่เบื้องหลังผลิตภัณฑ์แบบ hosted ภายใต้สัญญาอนุญาต AGPL-3.0 โดย docker-compose.yaml ของโครงการนี้กำหนดบริการไว้ 7 รายการ ได้แก่ playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb และ foundationdb-init คุณจะได้รับคิวการ crawl ที่แท้จริง แต่ต้องแลกกับการรันระบบแบบกระจายขนาดเล็ก

Hound อยู่ใน repository master-fetch และเผยแพร่ไปยัง PyPI ในชื่อ hound-mcp ภายใต้สัญญาอนุญาต MIT เวอร์ชัน 13.2.0 (เผยแพร่เมื่อ 26 สิงหาคม 2026) ณ วันที่ 12 ตุลาคม 2026 จำเป็นต้องใช้ Python 3.11 หรือใหม่กว่า โดยหลักแล้วเป็น MCP server และรองรับการดึงข้อมูลเป็นลำดับรอง มันจะพยายามดึงข้อมูลด้วย HTTP ปกติก่อน และจะยกระดับไปใช้เบราว์เซอร์ Patchright เมื่อการดึงข้อมูลปกติถูกบล็อกหรือพบ JavaScript shell โดยการตั้งค่าที่เปิดใช้งานเบราว์เซอร์จะเตรียมเบราว์เซอร์ให้พร้อมตั้งแต่เริ่มทำงาน

Trawl อยู่ในรายการนี้เพราะผู้ใช้งานมักพบเจอขณะค้นหาโครงการอื่น ๆ และมันทำหน้าที่ต่างออกไป โดยทำหน้าที่แก้โจทย์ JavaScript และ CAPTCHA ด้วย Firefox ที่มีการปรับแต่ง fingerprint เพื่อใช้แทนที่ FlareSolverr ใน stack สื่อ *arr ปัจจุบันยังสามารถอ่าน Markdown และดึงข้อมูล JSON ที่มีโครงสร้างผ่าน MCP ได้อีกด้วย ส่วนเรื่องมารยาทในการใช้งานด้านล่างจะอธิบายว่าเหตุใดบทบาทในการแก้โจทย์ของมันจึงเป็นตัวตัดสินว่าควรนำไปรวมใน agent stack ของคุณหรือไม่

เหตุใด Browser Pool จึงเป็นสาเหตุที่ทำให้ VPS ขนาดเล็กทำงานล้มเหลว

แท็บเบราว์เซอร์ที่เปิดอยู่แต่ละแท็บคือกระบวนการเรนเดอร์ (renderer process) แยกต่างหาก ซึ่งมี DOM (Document Object Model) และ JavaScript heap เป็นของตนเอง ดังนั้นการใช้หน่วยความจำจึงแปรผันตามจำนวนหน้าที่เปิดใช้งานพร้อมกัน ไม่ใช่จำนวนหน้าที่ดึงข้อมูลต่อวัน โครงการเหล่านี้สองโครงการได้ระบุต้นทุนดังกล่าวไว้ในไฟล์ compose ของตนเอง

แผนภูมิMemory ceilings each project sets in its own compose file (GB)
ข้อมูลเบื้องหลังแผนภูมินี้
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

ไฟล์ compose ของ Firecrawl จำกัดหน่วยความจำของคอนเทนเนอร์ api ไว้ที่ 8 GB และคอนเทนเนอร์ Playwright ไว้ที่ 4 GB โดยมีการตั้งค่า swap limit ที่สอดคล้องกัน ส่วนไฟล์ compose ของ Hound กำหนดไว้ที่ 3 GB สำหรับคอนเทนเนอร์หนึ่งตัวที่รวม Chromium มาด้วย ค่าเหล่านี้เป็นเพดานที่โครงการเลือกกำหนด ซึ่งเป็นตัวเลขที่ประกาศไว้ไม่ใช่การวัดผลจากระบบที่ไม่มีภาระงาน นอกจากนี้ Redis, RabbitMQ, PostgreSQL และ FoundationDB ยังคงต้องการส่วนแบ่งหน่วยความจำเพิ่มเติมจากตัวเลขของ Firecrawl อีกด้วย

การตั้งเพดานไว้สูงกว่า RAM ที่คุณมีจริงไม่ได้เป็นการจองหน่วยความจำนั้นไว้ เมื่อเซิร์ฟเวอร์หน่วยความจำหมด เคอร์เนลจะใช้กลไก out-of-memory killer เพื่อยุติกระบวนการ ส่งผลให้คอนเทนเนอร์หายไปจาก docker compose ps โดยไม่มีข้อความแสดงข้อผิดพลาดใน log ของแอปพลิเคชัน ไฟล์ Compose ที่ Firecrawl จัดเตรียมมาไม่ได้ตั้งค่านโยบายการรีสตาร์ทอัตโนมัติไว้ ดังนั้นคอนเทนเนอร์ที่ถูกยุติด้วยสาเหตุ OOM จะหยุดทำงานค้างไว้ ส่วน docker compose ps --all จะรวมคอนเทนเนอร์ที่หยุดทำงานอยู่ด้วย ให้ตรวจสอบ dmesg -T | tail หลังจากพบการหยุดทำงานโดยไม่ทราบสาเหตุ Firecrawl ไม่ได้ประกาศขนาดโฮสต์ขั้นต่ำที่ผ่านการตรวจสอบสำหรับ stack นี้ ดังนั้นควรเลือกขนาดเซิร์ฟเวอร์ให้เหมาะสมกับภาระงานของคุณ การตั้งค่าตัวเลขต่อบริการครอบคลุมอยู่ใน การจำกัดหน่วยความจำใน Docker Compose

รายละเอียดเกี่ยวกับเบราว์เซอร์อีกประการหนึ่งที่ทำให้ผู้ใช้เสียเวลาไปหนึ่งคืนคือ Docker จะจัดสรรหน่วยความจำร่วม (shared memory) ให้คอนเทนเนอร์ 64 MB ที่ /dev/shm แต่บริการ Playwright ของ Firecrawl เรียกใช้งาน Chromium ด้วย --disable-dev-shm-usage ซึ่งช่วยหลีกเลี่ยงการใช้พาร์ทิชันขนาดเล็กสำหรับไฟล์หน่วยความจำร่วมเหล่านี้ ไฟล์ compose ของ Hound เพิ่มขนาดส่วนนี้ด้วย shm_size: "1gb" โดยที่ชั้นเบราว์เซอร์แบบไดนามิกจะสืบทอด --disable-dev-shm-usage มาจาก Playwright ผ่านทาง Patchright และทั้งการลบ switch ของ Patchright หรือรายการ ignore_default_args ของ Hound ก็ไม่ได้ลบส่วนนี้ออก ไฟล์ compose ของ Firecrawl ไม่ได้ตั้งค่า shm_size ไว้เลย โดยบล็อก playwright-service ของมันตั้งค่าขีดจำกัด CPU และหน่วยความจำ รวมถึง tmpfs ขนาด 1 GB ไว้ที่ /tmp/.cache ดังนั้นคอนเทนเนอร์นั้นจึงยังคงใช้ค่าเริ่มต้นที่ 64 MB ให้ตรวจสอบ flag การเรียกใช้งาน Chromium ก่อนที่จะคัดลอกบรรทัดของ Hound ไปใช้ในอิมเมจที่คุณสร้างขึ้นสำหรับ Playwright

คุณภาพการดึงข้อมูลบนหน้าเว็บที่ใช้ JavaScript จำนวนมาก

สำหรับหน้า HTML แบบ static, บล็อกที่ render จากฝั่งเซิร์ฟเวอร์, หน้าเอกสาร หรือบทความข่าว ข้อมูลเหล่านี้จะส่งคืน markdown ที่แทบจะเหมือนกันทั้งหมดและตัวที่เร็วที่สุดจะเป็นผู้ชนะ ความแตกต่างจะปรากฏชัดในหน้าเว็บที่ render ฝั่งไคลเอ็นต์ ซึ่ง HTML ที่ได้รับมาจะเป็นเพียงโครงเปล่าและข้อความจะถูกส่งมาผ่าน JavaScript หลังจากโหลดหน้าเว็บเสร็จสิ้น

Draco มีการยกระดับการทำงานเป็นลำดับชั้น (tiers) โดย Tier 0 และ Tier 1 จะทำการ parse HTML โดยไม่ใช้ JavaScript เลย ส่วน Tier 2 จะรัน JavaScript ของหน้าเว็บนั้นภายใน V8 isolate ที่ทำงานอยู่ภายในกระบวนการเดียวกัน ซึ่งเป็น JavaScript engine ที่ไม่มีเบราว์เซอร์ครอบอยู่ และ README ได้ระบุว่าโค้ดของหน้าเว็บจะไม่ได้รับสิทธิ์ในการเข้าถึง host capability ใดๆ ในสภาพแวดล้อมนี้ ซึ่งครอบคลุมการทำงานของ single-page application จำนวนมากโดยใช้หน่วยความจำเพียงเสี้ยวหนึ่งของเบราว์เซอร์ เมื่อ Draco พบอุปสรรคที่ไม่สามารถผ่านไปได้ draco scrape จะยุติการทำงานด้วยรหัส 3 คือ needs_browser ให้ตรวจสอบค่านี้ในสคริปต์ของคุณ เพราะไฟล์เปล่าที่ส่งคืนรหัสสถานะเป็นศูนย์ถือเป็นความล้มเหลวที่ทำให้บริบทของ agent เสียหายอย่างเงียบเชียบ:

draco scrape https://example.com > page.md
echo "exit=$?"

บริการ playwright-service ของ Firecrawl จะควบคุม Chromium จริง ดังนั้นมันจึง render สิ่งที่เบราว์เซอร์ทั่วไป render ออกมา สำหรับรุ่นที่ self-host เองนั้นยังไม่ใช่ผลิตภัณฑ์เดียวกับบริการบนคลาวด์ โดยเอกสารระบุว่า Fire-engine ซึ่งเป็นส่วนประกอบที่จัดการพฤติกรรมป้องกันบอทขั้นสูงของบริการคลาวด์นั้นไม่ได้ถูกรวมมาให้ รวมถึงฟีเจอร์ภาพหน้าจอ (screenshots) และการโต้ตอบกับหน้าเว็บ (page actions) จะไม่สามารถใช้งานได้ใน stack เริ่มต้น และสำหรับฟีเจอร์ Agent, Browser และ interact เอกสารจะแนะนำให้คุณใช้ Firecrawl Cloud แทน ส่วน Hound นั้นถูกออกแบบมาให้อยู่ตรงกลางโดยเจตนา โดยมันจะดึงข้อมูลผ่าน HTTP และยกระดับการทำงานตามคำขอ และเบราว์เซอร์ที่เตรียมพร้อมไว้จะปิดตัวลงหลังจากไม่มีการใช้งานตามระยะเวลาที่กำหนด ดังนั้นเซิร์ฟเวอร์ที่ไม่มีการใช้งานจะยังคงใช้ทรัพยากรใกล้เคียงกับค่าพื้นฐาน

การติดตั้ง Draco ด้วยเวอร์ชันที่ระบุไว้ (Pinned version)

README ได้ระบุวิธีการติดตั้งแบบบรรทัดเดียวไว้ โปรดอ่านสิ่งที่คำสั่งนั้นทำก่อนที่จะส่งต่อไปยัง shell: ตามที่บันทึกไว้เมื่อวันที่ 12 ตุลาคม 2026 คำสั่งดังกล่าวจะติดตั้งลงใน $HOME/.draco/bin/draco โดยจะดึงเวอร์ชัน latest มาเสมอ และไม่มีการตรวจสอบลายเซ็นหรือค่า hash บนเซิร์ฟเวอร์ คุณควรระบุเวอร์ชัน (pin) และตรวจสอบไฟล์ที่ดาวน์โหลดมา คำแนะนำสำหรับ v0.20.5 ด้านล่างนี้อ้างอิงตามการตั้งค่าที่ตรวจสอบเมื่อวันที่ 12 ตุลาคม 2026 เนื่องจากเอกสารประกอบต้นทางของเวอร์ชันที่ระบุไว้นั้นไม่สามารถเข้าถึงเพื่อตรวจสอบซ้ำได้

ณ วันที่ 12 ตุลาคม 2026 การดาวน์โหลด release ของโปรเจกต์จะแสดงข้อผิดพลาด 404 Not Found เนื่องจาก repository ต้นทางไม่ตอบสนองแล้ว และโดเมนของตัวติดตั้ง get.draco.sh ที่เว็บไซต์ของโปรเจกต์โฆษณาไว้ก็ไม่สามารถ resolve ได้ ไม่มี URL ของ release ที่ใช้งานได้จริงให้ดึงข้อมูล ดังนั้นคำสั่งด้านล่างนี้จึงเริ่มจากเครื่องที่คุณมีไฟล์ archive v0.20.5 อยู่แล้ว คือ draco-linux-x86-64.tar.gz และมี SHA256SUMS อยู่ใน /tmp ซึ่งเก็บไว้จากการดาวน์โหลดก่อนหน้าหรือคัดลอกมาจากเครื่องที่คุณเชื่อถือ อย่าเติมเต็มช่องว่างนี้ด้วย mirror ที่คุณยังไม่ได้ตรวจสอบ: ไฟล์ checksum ที่มาจาก mirror เดียวกันนั้นไม่สามารถพิสูจน์ความถูกต้องของไฟล์ binary ได้

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

คำสั่งดังกล่าวจะแสดงผลเป็น draco-linux-x86-64.tar.gz: OK หากมีบรรทัด FAILED ปรากฏขึ้น หมายความว่าไบต์ที่คุณมีไม่ตรงกับไบต์ที่โปรเจกต์เผยแพร่ ให้ลบไฟล์เหล่านั้นทิ้งแล้วเริ่มใหม่

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

คำสั่งสุดท้ายจะแสดงหน้าตัวอย่างในรูปแบบ markdown ส่วน find ไม่ใช่แค่การตกแต่ง: โครงสร้างของ archive ไม่ใช่ส่วนหนึ่งของข้อตกลงสาธารณะของโปรเจกต์ และตัวติดตั้งอย่างเป็นทางการที่ตรวจสอบล่าสุดเมื่อวันที่ 12 ตุลาคม 2026 ก็ระบุตำแหน่งของ binary ด้วยวิธีเดียวกันนี้

ให้รัน daemon ภายใต้บัญชีผู้ใช้ของมันเองแทนที่จะใช้บัญชีผู้ใช้ของคุณ ให้เขียน /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health จะตอบกลับทันทีที่ daemon เริ่มฟังพอร์ต หากขึ้น Connection refused หมายความว่า daemon ยังไม่ทำงาน ให้ตรวจสอบ journalctl -u draco -n 50 สาเหตุที่พบบ่อยคือมี process อื่นใช้งานพอร์ต 3002 อยู่แล้ว เนื่องจากเป็นพอร์ตเริ่มต้นของ Firecrawl ด้วยเช่นกัน --port สามารถใช้ย้าย Draco ได้ แต่ Firecrawl ที่ self-host ไว้ไม่มี flag ดังกล่าว: พอร์ตของมันมาจากตัวแปร PORT ในไฟล์ Compose ซึ่งเผยแพร่ไว้ที่ "${PORT:-3002}:${INTERNAL_PORT:-3002}" ดังนั้นให้เปลี่ยนพอร์ตที่เผยแพร่ในนั้นและปรับ client ทุกตัวให้สอดคล้องกัน สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับ unit files: systemd service units and timers

ตอนนี้ให้ดึงข้อมูลในแบบที่ agent ของคุณจะทำ:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

เก็บ fetch daemon ไว้ไม่ให้เข้าถึงได้จากอินเทอร์เน็ตสาธารณะ

API สำหรับการ fetch ที่ไม่มีการยืนยันตัวตนถือเป็น open proxy ใครก็ตามที่เข้าถึงพอร์ตดังกล่าวได้จะสามารถสั่งให้เซิร์ฟเวอร์ของคุณร้องขอ URL ใดก็ได้ภายใต้ IP ของคุณ ซึ่งรายงานการละเมิดจะถูกส่งไปยังผู้ให้บริการของคุณ ไม่ใช่ผู้ที่กระทำผิด ธง serve ของ Draco ที่ระบุไว้เมื่อวันที่ 12 ตุลาคม 2026 ไม่มีการใช้ API key ดังนั้นการป้องกันจึงต้องทำที่ระดับเครือข่าย ให้คงค่าการ bind เป็น 127.0.0.1 ตามค่าเริ่มต้นเมื่อ agent ทำงานบนเครื่องเดียวกัน หาก agent อยู่ที่อื่น ให้เชื่อมต่อทั้งสองฝั่งผ่านอุโมงค์ส่วนตัว โดยทั่วไปมักใช้ WireGuard VPN ที่คุณโฮสต์เอง และให้ bind เข้ากับที่อยู่ของอุโมงค์แทนที่จะเป็น 0.0.0.0 จากนั้นให้ตรวจสอบจากเครื่องอื่นว่า IP สาธารณะไม่ตอบสนองต่อการเชื่อมต่อใดๆ เนื้อหาเรื่อง พื้นฐานของ ufw firewall และ บัญชีผู้ใช้ที่มีสิทธิ์น้อยที่สุด จะครอบคลุมทั้งสองส่วนของวิธีการนี้

โค้ดเอเจนต์ของคุณจะมีการเปลี่ยนแปลงหรือไม่? ความเข้ากันได้ของ API ในทางปฏิบัติ

Draco ตอบสนองต่อเส้นทางของ Firecrawl v1 ได้แก่ /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape และ /v1/search โดยไฟล์ README ซึ่งตรวจสอบล่าสุดเมื่อวันที่ 12 ตุลาคม 2026 ระบุว่าฟิลด์ที่ไม่รู้จักจะถูกยอมรับและละเว้น ความเข้ากันได้ขึ้นอยู่กับฟีเจอร์ที่เรียกใช้ เว็บไซต์ทางการของ Draco ระบุว่าการจับภาพหน้าจอและการคลิกจะส่งกลับ HTTP 422 ดังนั้นไคลเอนต์ Firecrawl v1 ที่ร้องขอการทำงานบนหน้าเว็บที่ไม่รองรับจำเป็นต้องปรับเปลี่ยนคำขอรวมถึงเปลี่ยน base URL ใหม่ ให้ตรวจสอบการเปลี่ยนแปลงที่ฝั่งผู้ให้บริการ: คู่มือการ self-hosting ของ Firecrawl ในปัจจุบันใช้การทดสอบ smoke test ด้วยการส่ง POST ไปที่ /v2/scrape และ SDK ปัจจุบันจะสื่อสารด้วย v2 เป็นค่าเริ่มต้น ในขณะที่เว็บไซต์ของ Draco ยังคงระบุเส้นทางของ v1 ให้ทดสอบแต่ละการเรียกใช้งานด้วย curl ก่อนที่คุณจะแก้ไขโค้ดเอเจนต์ และให้อ่านเนื้อหา JSON แทนการดูเพียง status code เนื่องจากชื่อฟิลด์คือจุดที่การใช้งานเหล่านี้มีความแตกต่างกัน

Robots.txt, rate limits และขอบเขตที่ควรปฏิบัติตาม

Draco อ่าน robots.txt เป็นค่าเริ่มต้น และ README ของมันที่ตรวจสอบล่าสุดเมื่อ 12 October 2026 ได้ระบุถึง --ignore-robots สำหรับการปิดใช้งานดังกล่าว Firecrawl ก็ใช้ค่าเริ่มต้นแบบเดียวกัน ให้คงค่าทั้งสองไว้ตามเดิม Hound จะตรวจสอบ robots.txt ก็ต่อเมื่อมีการส่ง respect_robots=True ไปยัง smart_fetch เท่านั้น ดังนั้นให้เปิดใช้งานในส่วนนั้น จากนั้นจึงกำหนดจังหวะการทำงานของคุณเอง: ตามที่ระบุไว้เมื่อ 12 October 2026 ค่า --delay ของ Draco จะกำหนดระยะเวลาเป็นมิลลิวินาทีระหว่างการร้องขอแต่ละครั้ง และ --max-concurrency จะจำกัดจำนวนงานที่ทำพร้อมกัน โดยค่าเริ่มต้นของ daemon คือ 8 การตั้งค่าไว้ที่ 2 ถึง 4 จะเป็นมิตรต่อการเชื่อมต่อบน VPS แบบแชร์มากกว่าและแทบไม่ทำให้ช้าลงในภาพรวม เพราะการที่เว็บไซต์เริ่มจำกัดอัตราการเข้าถึง (rate limiting) ของคุณจะทำให้เสียเวลามากกว่าจำนวนงานที่ทำพร้อมกันได้ การทำแคชข้อมูลที่ดึงมาจะช่วยให้การรัน agent ในรอบถัดไปไม่ส่งผลกระทบต่อแหล่งข้อมูลต้นทาง ซึ่งนั่นยังเป็นรายการค่าใช้จ่ายที่ถูกที่สุดใน การควบคุมค่าใช้จ่ายของ AI agent

กำแพงป้องกัน (Challenge walls) เป็นอีกหัวข้อหนึ่ง และ Trawl ถูกสร้างขึ้นมาเพื่อสิ่งนี้โดยเฉพาะ ไม่ว่าจะเป็น Cloudflare Turnstile, reCAPTCHA, hCaptcha หรือ GeeTest กำแพงป้องกันคือการที่เว็บไซต์ปฏิเสธการเข้าถึงแบบอัตโนมัติอย่างชัดเจน การพยายามหลีกเลี่ยงกำแพงดังกล่าวถือเป็นการละเมิดข้อกำหนดการใช้งานของเว็บไซต์ และในบางพื้นที่อาจผิดกฎหมาย ดังนั้นคู่มือนี้จึงครอบคลุมเพียงแค่โครงสร้างพื้นฐานในการดึงข้อมูลเท่านั้น เทคนิคที่ใช้ผ่านกำแพงป้องกันมักเป็นสิ่งที่เจ้าของเว็บไซต์คอยเฝ้าระวังและบล็อก ซึ่งทำให้ pipeline ใดก็ตามที่สร้างขึ้นด้วยวิธีนี้มีความเปราะบางและเป็นการเสียมารยาท หากแหล่งข้อมูลนั้นมีความสำคัญมาก ให้มองหา RSS feed, public API หรือการส่งออกข้อมูลแบบ bulk แทน วิธีเหล่านี้มีต้นทุนในการรันที่ต่ำกว่าและไม่มีความเสี่ยงที่จะใช้งานไม่ได้เมื่อมีการเปลี่ยนแปลงกำแพงป้องกันในอนาคต

การเชื่อมต่อเข้ากับเอเจนต์ผ่าน MCP

MCP (Model Context Protocol) คืออินเทอร์เฟซที่เอเจนต์ใช้เรียกใช้งานเครื่องมือ การตัดสินใจว่าเครื่องมือใดบ้างที่โมเดลสามารถเข้าถึงได้ และอนุญาตให้โมเดลเรียกใช้งานโดยไม่ต้องขออนุญาตจากคุณก่อนหรือไม่นั้น จะถูกกำหนดไว้ในระดับที่สูงกว่าโดย harness ที่โมเดลทำงานอยู่ภายใน ดังนั้นการทำให้ daemon เริ่มทำงานจึงเป็นเพียงครึ่งหนึ่งของการเชื่อมต่อเท่านั้น Draco มี MCP server รวมอยู่ใน binary เดียวกัน โดยสื่อสารผ่าน stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

README ที่ตรวจสอบล่าสุดเมื่อวันที่ 12 ตุลาคม 2026 ได้ระบุ draco_scrape, draco_discover และ draco_search สำหรับการใช้งานผ่าน stdio ส่วนชุด draco_interact_* นั้นเป็นของ HTTP MCP endpoint ของ daemon การใช้งานผ่าน stdio จะทำได้ก็ต่อเมื่อกระบวนการของเอเจนต์และ binary อยู่บนเครื่องเดียวกันเท่านั้น เนื่องจากช่องทางการสื่อสารคือ standard input ของกระบวนการนั้น สำหรับเอเจนต์ที่อยู่บนโฮสต์อื่น Hound จะให้บริการ MCP ผ่าน HTTP แทน โดย hound --http --host 127.0.0.1 --port 8765 จะเปิด endpoint ไว้ที่ http://127.0.0.1:8765/mcp ซึ่งคุณสามารถเข้าถึงได้ผ่าน tunnel สำหรับตัวเลือกในการรับส่งข้อมูลและสิ่งที่ควรเปิดเผยนั้นอยู่ใน การรัน MCP server บน VPS

การดึงข้อมูลเป็นคู่ด้วยการค้นหา เอเจนต์ที่ทำได้เพียงดึงข้อมูลจะต้องรอให้คุณระบุ URL ให้ เพิ่ม อินสแตนซ์ SearXNG สำหรับค้นหาที่โฮสต์เอง เพื่อให้เอเจนต์สามารถค้นหาข้อมูลได้ด้วยตนเอง ซึ่งมีรูปแบบเดียวกับ ทักษะการค้นหาผ่านเบราว์เซอร์ที่สร้างบน SearXNG เมื่อ daemon เริ่มทำงานแล้ว มันจะกลายเป็นบริการที่ใช้ร่วมกันสำหรับ เอเจนต์ AI ที่โฮสต์เอง ตัวใดก็ตามที่คุณใช้งานอยู่ หากฝั่งเอเจนต์เป็นส่วนที่คุณยังไม่มั่นใจ การเขียนลูปเอเจนต์ขนาดเล็กด้วยตนเองก่อน จะช่วยให้เห็นภาพชัดเจนว่าเครื่องมือดึงข้อมูลเชื่อมต่อเข้าที่ใด และโมเดลจัดการกับ markdown ที่ได้รับกลับมาอย่างไร

FAQ

ฉันจำเป็นต้องใช้ headless browser เพื่อดึงหน้าเว็บสำหรับ AI agent หรือไม่

ไม่จำเป็นสำหรับหน้าเว็บส่วนใหญ่ เอกสารประกอบ บล็อก และบทความข่าวที่ render จากฝั่งเซิร์ฟเวอร์จะส่งข้อมูลกลับมาครบถ้วนผ่านการทำ HTTP fetch ปกติ ตามด้วยขั้นตอนการแปลง HTML เป็น markdown ซึ่งเป็นสิ่งที่ Draco ทำในระดับเริ่มต้นด้วยความเร็วประมาณ 300 ms ต่อหน้าโดยไม่ต้องใช้เบราว์เซอร์ ตามข้อมูลของโครงการ การใช้เบราว์เซอร์จะสิ้นเปลืองหน่วยความจำกับแอปพลิเคชันที่ render ฝั่งไคลเอนต์ซึ่ง HTML ที่ได้รับมาเป็นเพียงโครงเปล่าๆ V8 isolate ของ Draco ครอบคลุมการทำงานส่วนใหญ่ในระดับกลางนี้โดยไม่ต้องมีกระบวนการเบราว์เซอร์ และจะจบการทำงานด้วย exit code 3, needs_browser เมื่อไม่สามารถดำเนินการได้

การ self-host Firecrawl บน VPS ต้องใช้ RAM เท่าไร

ไฟล์ compose ของโครงการกำหนดเพดานหน่วยความจำไว้ที่ 8 GB สำหรับ container api และ 4 GB สำหรับ container Playwright นอกจากนี้ stack เดียวกันยังต้องรัน Redis, RabbitMQ, PostgreSQL และ FoundationDB ด้วย Firecrawl ไม่ได้ระบุขนาดโฮสต์ขั้นต่ำที่ผ่านการรับรองสำหรับ stack นี้ ในสภาวะที่หน่วยความจำไม่เพียงพอ kernel จะใช้ out-of-memory killer เพื่อยุติกระบวนการทำงาน หาก container หยุดทำงาน ไฟล์ Compose ที่ให้มาจะไม่เริ่มการทำงานใหม่โดยอัตโนมัติ ให้ตรวจสอบ docker compose ps --all เพื่อดู container ที่หยุดทำงาน และยืนยันเหตุการณ์ OOM ด้วย dmesg -T | tail

Draco สามารถใช้แทน Firecrawl API ได้ทันทีเลยหรือไม่

สำหรับ endpoint v1 นั้นถือว่าใกล้เคียงกัน โดยรองรับ /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape และ /v1/search แต่ความเข้ากันได้ขึ้นอยู่กับฟีเจอร์ที่เรียกใช้ หากมีการเรียกใช้ภาพหน้าจอหรือการคลิก ระบบจะส่งกลับ HTTP 422 ดังนั้นไคลเอนต์ที่เรียกใช้การกระทำที่ไม่รองรับจำเป็นต้องปรับเปลี่ยนคำขอรวมถึงเปลี่ยน base URL ใหม่ SDK ปัจจุบันของ Firecrawl ใช้ v2 เป็นค่าเริ่มต้น ในขณะที่เว็บไซต์ของ Draco ระบุเส้นทาง v1 ไว้ ให้ตรวจสอบการเรียกใช้งานแต่ละครั้งของ agent ด้วย curl ก่อนเสมอ

การ self-host scraper หมายความว่าฉันสามารถเพิกเฉยต่อ robots.txt ได้หรือไม่

ไม่ การที่โค้ดรันที่ไหนไม่ได้เปลี่ยนสิ่งที่เว็บไซต์เผยแพร่หรือสิ่งที่ข้อกำหนดอนุญาต ทั้ง Draco และ Firecrawl เคารพ robots.txt เป็นค่าเริ่มต้น และมี flag สำหรับการข้ามการตรวจสอบสำหรับเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาตเป็นลายลักษณ์อักษรให้ crawl แล้ว อย่างไรก็ตาม ปลายทางจะบังคับใช้ rate limit อยู่ดี ดังนั้นการตั้งค่า --delay อย่างสุภาพด้วย concurrency ต่ำจะช่วยให้ IP address ของคุณใช้งานได้ต่อเนื่อง stack ที่ทำงานได้ด้วยการหลบเลี่ยงระบบป้องกันเท่านั้น คือ stack ที่พร้อมจะหยุดทำงานโดยไม่มีการแจ้งเตือน

บทความนี้มีประโยชน์หรือไม่

#scraping#firecrawl#ai-agents#self-hosting#markdown