சுயமாக இயங்கும் Firecrawl மாற்றுகள்: VPS ஒப்பீடு
Draco, Hound மற்றும் Firecrawl ஆகியவற்றை RAM பயன்பாடு, headless browser தேவை மற்றும் API அடிப்படையில் ஒப்பிடுகிறோம். குறைந்த வளத்தில் இயங்கும் தீர்வை MCP மூலம் இணைப்பது எப்படி?
சுயமாக இயங்கும் Firecrawl மாற்றமைப்பிற்கான தேவைகள்
சுயமாக இயங்கும் (self-hosted) Firecrawl மாற்றமைப்பிற்கு ஒரே ஒரு பணிதான் உள்ளது: ஒரு URL-ஐப் பெற்று, அதை ஒரு agent வாசிக்கக்கூடிய வகையில் சுத்தமான markdown கோப்பாக மாற்றிக் கொடுக்க வேண்டும். Hosted API-கள் ஒவ்வொரு பக்கத்திற்கும் கட்டணம் வசூலிக்கின்றன, எனவே உங்கள் agent-ன் தேடல் அதிகரிக்க அதிகரிக்க கட்டணமும் உயரும். ஆனால், நீங்கள் ஏற்கனவே பணம் செலுத்திப் பயன்படுத்தும் VPS-லேயே இந்த வேலையைச் செய்ய முடியும். இந்தத் திட்டங்கள் ஒரு முக்கியமான கேள்வியின் அடிப்படையில் பிரிகின்றன: ஒரு headless browser (திரையில் தெரியாத, பின்னணியில் இயங்கும் உண்மையான browser engine) உங்கள் server-ல் இயங்க வேண்டுமா?
இந்தக் கேள்விக்கான பதில்தான் memory பயன்பாடு, ஒவ்வொரு பக்கத்திற்கான செலவு மற்றும் எந்தெந்தப் பக்கங்கள் காலியாக வருகின்றன என்பதைத் தீர்மானிக்கிறது. இந்த வழிகாட்டி Draco, Hound மற்றும் சுயமாக இயங்கும் Firecrawl release ஆகியவற்றை ஒப்பிடுகிறது. இதில் மிகக் குறைந்த வளங்களைப் பயன்படுத்தும் ஒன்றை ஒரு குறிப்பிட்ட version-ல் நிறுவி, அதை MCP (model context protocol) மூலம் ஒரு agent-உடன் இணைக்கிறது.
நான்கு திட்டங்கள் மற்றும் ஒவ்வொன்றின் உண்மையான தன்மை
Draco என்பது Rust மொழியில் எழுதப்பட்ட ஒரு binary ஆகும், இது MIT அல்லது Apache-2.0 உரிமத்தின் கீழ் உள்ளது. draco scrape <url> markdown-ஐ stdout-க்கு அச்சிடுகிறது. draco serve என்பது Firecrawl பயன்படுத்தும் 127.0.0.1:3002 போர்ட்டில் பதிலளிக்கும் ஒரு daemon-ஐ இயக்குகிறது. 12 அக்டோபர் 2026 அன்று ஆவணப்படுத்தப்பட்டபடி, இது எந்த container image-ஐயும் கொண்டிருக்கவில்லை மற்றும் முன்னிருப்பாக எந்த browser-ஐயும் தொடங்குவதில்லை. 12 அக்டோபர் 2026 நிலவரப்படி, github.com/0xchasercat/draco-ல் உள்ள அதன் upstream repository, அதன் பின்னணியில் உள்ள கணக்கு மற்றும் அதன் release downloads அனைத்தும் 404 Not Found பிழையையே காட்டுகின்றன. அந்தச் சோதனையின்படி, ஒரு public fork-ல் v0.24.0 வரையிலான source மற்றும் tags இருந்தன, ஆனால் எந்த release builds-உம் வெளியிடப்படவில்லை. எனவே, இதைத் திட்டமிடுவதற்கு முன் கீழே உள்ள நிறுவல் பகுதியை வாசிக்கவும்.
Firecrawl self-hosted என்பது hosted product-ன் பின்னணியில் உள்ள engine ஆகும், இது AGPL-3.0 உரிமத்தின் கீழ் உள்ளது. இதன் docker-compose.yaml ஏழு சேவைகளை வரையறுக்கிறது: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb மற்றும் foundationdb-init. ஒரு சிறிய distributed system-ஐ இயக்கும் விலையில், நீங்கள் உண்மையான crawl queue-ஐப் பெறுகிறீர்கள்.
Hound என்பது master-fetch repository-ல் உள்ளது மற்றும் PyPI-க்கு hound-mcp ஆக அனுப்பப்படுகிறது. இது MIT உரிமம் பெற்றது, 12 அக்டோபர் 2026 நிலவரப்படி பதிப்பு 13.2.0 (26 ஆகஸ்ட் 2026 அன்று வெளியிடப்பட்டது). இதற்கு Python 3.11 அல்லது அதற்குப் புதிய பதிப்பு தேவை. இது முதலில் ஒரு MCP server, இரண்டாவதாகவே ஒரு fetcher: இது சாதாரண HTTP-ஐ முயற்சிக்கிறது, சாதாரண fetch தடுக்கப்பட்டாலோ அல்லது JavaScript shell-ஐ வழங்கினாலோ Patchright browser-க்கு மாறுகிறது; இதன் browser-enabled அமைப்பு தொடக்கத்திலேயே ஒரு browser-ஐ தயார் நிலையில் வைத்திருக்கும்.
Trawl இங்கே குறிப்பிடப்படக் காரணம், மற்றவற்றைத் தேடும்போது மக்கள் இதைக் கண்டறிவதால்தான், ஆனால் இது ஒரு மாறுபட்ட பணியைச் செய்கிறது. இது ஒரு *arr media stack-ல் FlareSolverr-க்கு மாற்றாக, fingerprint-patched Firefox மூலம் JavaScript சவால்கள் மற்றும் CAPTCHA-க்களைத் தீர்க்கிறது. இது இப்போது Markdown-ஐ வாசித்து, MCP வழியாக கட்டமைக்கப்பட்ட JSON-ஐயும் பிரித்தெடுக்கிறது. கீழே உள்ள நெறிமுறைகள் (etiquette) குறித்த பகுதி, அதன் சவால்களைத் தீர்க்கும் பங்கு உங்கள் agent stack-ல் அதற்கு இடம் தேவையா என்பதை ஏன் தீர்மானிக்கிறது என்பதை விளக்குகிறது.
சிறிய VPS-களில் browser pool ஏன் தோல்வியடைகிறது
ஒவ்வொரு திறந்திருக்கும் browser tab-ம் ஒரு தனி renderer process ஆகும்; இது தனக்கென ஒரு DOM (document object model) மற்றும் JavaScript heap-ஐக் கொண்டிருக்கும். எனவே, நினைவகப் பயன்பாடு (memory usage) என்பது ஒரு நாளில் எத்தனை பக்கங்கள் பார்க்கப்படுகின்றன என்பதைப் பொறுத்தல்ல, ஒரே நேரத்தில் எத்தனை பக்கங்கள் திறக்கப்பட்டுள்ளன என்பதைப் பொறுத்தே அமையும். இந்தத் திட்டங்களில் இரண்டு, இந்தச் செலவை அவற்றின் சொந்த compose கோப்புகளிலேயே குறிப்பிடுகின்றன.
இந்த விளக்கப்படத்தின் தரவு
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]Firecrawl-ன் compose கோப்பு அதன் api container-ன் நினைவகத்தை 8 GB ஆகவும், அதன் Playwright container-ஐ 4 GB ஆகவும், அதற்கேற்ற swap வரம்புகளுடனும் கட்டுப்படுத்துகிறது. Hound-ன் compose கோப்பு, Chromium-ஐ உள்ளடக்கிய ஒரு container-க்கு 3 GB-ஐ ஒதுக்குகிறது. இவை அந்தத் திட்டங்கள் தேர்ந்தெடுத்த உச்ச வரம்புகள்; இவை அமைதியான நிலையில் அளவிடப்பட்டவை அல்ல, மாறாக வெளியிடப்பட்ட புள்ளிவிவரங்கள். மேலும், Firecrawl-ன் இந்த எண்களுக்கு மேலதிகமாக Redis, RabbitMQ, PostgreSQL மற்றும் FoundationDB ஆகியவற்றுக்கும் நினைவகம் தேவைப்படும்.
உங்களிடம் உள்ள RAM-ஐ விட அதிகமான உச்ச வரம்பை அமைப்பது அந்த நினைவகத்தை உறுதிப்படுத்தாது. சர்வரில் நினைவகம் தீர்ந்துவிட்டால், kernel-ன் out-of-memory killer ஒரு process-ஐ முடித்துவிடும். இதனால், application log-ல் எந்தப் பிழையும் பதிவாகாமல் ஒரு container docker compose ps-லிருந்து மறைந்துவிடும். Firecrawl-ன் Compose கோப்பில் automatic restart policy எதுவும் அமைக்கப்படவில்லை, எனவே OOM-ஆல் நிறுத்தப்பட்ட container மீண்டும் இயங்காது; docker compose ps --all நிறுத்தப்பட்ட container-களையும் காட்டும். ஒரு விளக்கம் இல்லாத நிறுத்தத்திற்குப் பிறகு dmesg -T | tail-ஐப் படிக்கவும். Firecrawl இந்த stack-க்குத் தேவையான குறைந்தபட்ச host அளவை உறுதிப்படுத்தவில்லை, எனவே உங்கள் பணிச்சுமைக்கு ஏற்ப சர்வரின் அளவைத் தீர்மானிக்கவும். ஒவ்வொரு service-க்கும் எண்களை அமைப்பது Docker Compose-ல் நினைவக வரம்புகள் பகுதியில் விளக்கப்பட்டுள்ளது.
browser தொடர்பான மற்றொரு அம்சம் பலருக்கு நேரத்தை வீணாக்குகிறது. Docker ஒரு container-க்கு /dev/shm-ல் 64 MB shared memory-ஐ வழங்குகிறது. ஆனால் Firecrawl-ன் Playwright service, Chromium-ஐ --disable-dev-shm-usage-உடன் தொடங்குகிறது; இது shared-memory கோப்புகளுக்கு அந்தச் சிறிய பகுதியைத் தவிர்க்கிறது. Hound-ன் compose கோப்பு அதை shm_size: "1gb" மூலம் அதிகரிக்கிறது; அதன் dynamic browser tier, Patchright வழியாக Playwright-லிருந்து --disable-dev-shm-usage-ஐப் பெறுகிறது. Patchright-ன் switch நீக்கங்களோ அல்லது Hound-ன் ignore_default_args பட்டியலோ அதை நீக்குவதில்லை. Firecrawl-ன் compose கோப்பு shm_size-ஐ அமைக்கவில்லை: அதன் playwright-service block, CPU மற்றும் memory வரம்புகளையும், /tmp/.cache-ல் 1 GB tmpfs-ஐயும் அமைக்கிறது, எனவே அந்த container 64 MB default அளவிலேயே இருக்கும். Hound-ன் வரியை நீங்கள் உருவாக்கும் Playwright image-ல் நகலெடுக்கும் முன் Chromium launch flags-ஐச் சரிபார்க்கவும்.
JavaScript அதிகம் பயன்படுத்தும் பக்கங்களில் பிரித்தெடுத்தல் தரம்
Static HTML, server-rendered blog, ஆவணப் பக்கம், அல்லது செய்தி கட்டுரை என எதுவாக இருந்தாலும், இவை அனைத்தும் கிட்டத்தட்ட ஒரே மாதிரியான markdown-ஐ வழங்குகின்றன; இதில் வேகமானதே வெற்றி பெறுகிறது. Client-rendered பக்கங்களில் தான் வேறுபாடு வெளிப்படுகிறது; அங்கு வழங்கப்படும் HTML ஒரு காலியான shell-ஆக இருக்கும், மேலும் JavaScript load ஆன பிறகே உரை (text) வந்து சேரும்.
Draco அடுக்கு வாரியாக (tiers) செயல்படுகிறது. Tier 0 மற்றும் Tier 1 ஆகியவை JavaScript இல்லாமலேயே HTML-ஐ parse செய்கின்றன. Tier 2, பக்கத்தின் சொந்த JavaScript-ஐ ஒரு in-process V8 isolate-க்குள் இயக்குகிறது. இது உலாவியின் (browser) சூழல் இல்லாத JavaScript engine ஆகும். README-ல் குறிப்பிட்டுள்ளபடி, அங்குள்ள பக்கக் குறியீட்டிற்கு (page code) host capability bindings கிடையாது. இது பல single-page applications-ஐ, ஒரு உலாவியின் நினைவகத் தேவையில் ஒரு சிறு பகுதியிலேயே கையாள்கிறது. Draco-வால் கடக்க முடியாத ஒரு தடையை சந்திக்கும் போது, draco scrape, needs_browser என்ற code 3-உடன் வெளியேறுகிறது. இதை scripts-ல் சரிபார்க்கவும், ஏனெனில் பூஜ்ஜிய exit code கொண்ட ஒரு காலியான கோப்பு, ஒரு agent-ன் சூழலை அமைதியாகப் பாதிக்கும் தோல்வியாகும்:
draco scrape https://example.com > page.md
echo "exit=$?"Firecrawl-ன் playwright-service ஒரு உண்மையான Chromium-ஐ இயக்குவதால், அது ஒரு உலாவி எதைக் காட்டுகிறதோ அதையே render செய்கிறது. Self-hosted build என்பது hosted product அல்ல: cloud service-ன் மேம்பட்ட anti-bot செயல்பாடுகளைக் கொண்ட Fire-engine இதில் சேர்க்கப்படவில்லை என்றும், screenshots மற்றும் page actions ஆகியவை default stack-ல் கிடைக்காது என்றும் ஆவணங்கள் கூறுகின்றன. Agent, Browser மற்றும் interact ஆகியவற்றுக்கு இது உங்களை Firecrawl Cloud-ஐப் பயன்படுத்தப் பரிந்துரைக்கிறது. Hound வேண்டுமென்றே இவற்றுக்கு இடையில் செயல்படுகிறது. இது HTTP வழியாகத் தரவுகளைப் பெற்று, ஒவ்வொரு கோரிக்கைக்கும் ஏற்ப உயர்கிறது (escalates). இதன் warm browser ஒரு idle timeout-க்குப் பிறகு மூடப்படும், எனவே ஒரு அமைதியான server அதன் baseline-க்கு அருகிலேயே இருக்கும்.
Draco-வை ஒரு குறிப்பிட்ட version-ல் நிறுவுதல்
README கோப்பில் ஒரு வரியில் நிறுவும் முறை கொடுக்கப்பட்டுள்ளது. அதை shell-க்கு அனுப்பும் முன் அது என்ன செய்கிறது என்று படியுங்கள்: 12 October 2026 அன்று ஆவணப்படுத்தப்பட்டபடி, அது $HOME/.draco/bin/draco-ல் நிறுவுகிறது, எப்போதும் latest release-ஐ எடுக்கிறது, மேலும் எந்த signature அல்லது hash-ஐயும் சரிபார்ப்பதில்லை. ஒரு server-ல், version-ஐ pin செய்து, download-ஐச் சரிபார்க்கவும். கீழே உள்ள v0.20.5 வழிமுறைகள் 12 October 2026 அன்று சரிபார்க்கப்பட்ட அமைப்பைப் பயன்படுத்துகின்றன; pin செய்யப்பட்ட version-ன் upstream ஆவணங்கள் மீண்டும் சரிபார்க்கக் கிடைக்கவில்லை.
12 October 2026 நிலவரப்படி, திட்டத்தின் release download-கள் 404 Not Found என்று காட்டுகின்றன, ஏனெனில் upstream repository இனி பதிலளிப்பதில்லை, மேலும் திட்டத்தின் தளத்தில் விளம்பரப்படுத்தப்படும் get.draco.sh installer domain-ம் resolve ஆகவில்லை. பதிவிறக்கம் செய்ய நேரடி release URL எதுவும் இல்லை, எனவே கீழே உள்ள கட்டளைகள் உங்களிடம் ஏற்கனவே v0.20.5 archive (draco-linux-x86-64.tar.gz) மற்றும் அதன் SHA256SUMS (/tmp-ல் உள்ளது) இருக்கும் சூழலில் தொடங்குகின்றன; இவை முந்தைய பதிவிறக்கத்திலிருந்து பெறப்பட்டவை அல்லது நீங்கள் நம்பும் ஒரு machine-லிருந்து நகலெடுக்கப்பட்டவை. நீங்கள் சரிபார்க்காத mirror-ஐப் பயன்படுத்தி இடைவெளியை நிரப்ப வேண்டாம்: அதே mirror-லிருந்து பெறப்படும் checksum கோப்பு, binary-ஐப் பற்றி எதையும் நிரூபிக்காது.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSஇது draco-linux-x86-64.tar.gz: OK-ஐ அச்சிடும். FAILED வரி வந்தால், உங்களிடம் உள்ள bytes-ம், அந்தத் திட்டம் வெளியிட்ட bytes-ம் ஒன்றாக இல்லை என்று அர்த்தம், எனவே அவற்றை நீக்கிவிட்டு மீண்டும் தொடங்கவும்.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comகடைசி கட்டளை example page-ஐ markdown வடிவில் அச்சிடும். find என்பது அலங்காரத்திற்காக அல்ல: archive அமைப்பு அந்தத் திட்டத்தின் பொது ஒப்பந்தத்தின் ஒரு பகுதி அல்ல, மேலும் 12 October 2026 அன்று கடைசியாகச் சரிபார்க்கப்பட்ட அதிகாரப்பூர்வ installer, binary-ஐ அதே வழியில்தான் கண்டறிகிறது.
Daemon-ஐ உங்கள் login user-க்கு பதிலாக அதன் சொந்த account-ல் இயக்கவும். /etc/systemd/system/draco.service-ஐ எழுதவும்:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/healthDaemon listening நிலையில் வந்தவுடன் /health பதிலளிக்கும். Connection refused என்றால் அது இயங்கவில்லை என்று அர்த்தம், எனவே journalctl -u draco -n 50-ஐப் படிக்கவும். பொதுவாக, Firecrawl-ன் default port-ம் 3002 என்பதால், மற்றொரு process ஏற்கனவே அந்த port-ஐப் பிடித்திருக்கலாம். --port Draco-வை மாற்றுகிறது. Self-hosted Firecrawl-ல் அத்தகைய flag இல்லை: அதன் port அதன் Compose கோப்பில் உள்ள PORT variable-லிருந்து வருகிறது, இது "${PORT:-3002}:${INTERNAL_PORT:-3002}" என வெளியிடப்படுகிறது, எனவே அங்குள்ள published port-ஐ மாற்றி, அனைத்து client-களையும் அதற்கேற்ப சீராக வைத்திருக்கவும். Unit files பற்றிய கூடுதல் விவரங்களுக்கு: systemd service units and timers.
இப்போது உங்கள் agent பயன்படுத்தும் வழியில் fetch செய்யவும்:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'Fetch daemon-ஐ பொது இணையத்திலிருந்து விலக்கி வைத்தல்
Authentication இல்லாத Fetch API ஒரு open proxy ஆகும். அந்த port-ஐ அணுகக்கூடிய எவரும் உங்கள் IP address-ஐப் பயன்படுத்தி எந்த URL-ஐயும் கோர முடியும். இதனால் ஏற்படும் தவறான பயன்பாட்டு புகார்கள் (abuse reports) அவர்களுக்குச் செல்லாது, உங்கள் service provider-க்குத்தான் வரும். 12 October 2026 அன்று ஆவணப்படுத்தப்பட்ட Draco-வின் serve flags-ல் API key இல்லை, எனவே network மட்டத்திலேயே பாதுகாப்பு அளிக்கப்பட வேண்டும். Agent ஒரே server-ல் இயங்கும்போது, default 127.0.0.1 bind-ஐ அப்படியே வைத்திருக்கவும். Agent வேறொரு இடத்தில் இருந்தால், இரு முனைகளையும் ஒரு private tunnel-ல் இணைக்கவும்; நீங்கள் சொந்தமாக நடத்தும் WireGuard VPN இதற்கு வழக்கமான தீர்வாகும். அப்போது 0.0.0.0-க்கு பதிலாக tunnel address-ல் bind செய்யவும். பிறகு, பொது IP எதற்கும் பதிலளிக்கவில்லை என்பதை வேறொரு machine-லிருந்து உறுதிப்படுத்தவும். ufw firewall அடிப்படைகள் மற்றும் குறைந்தபட்ச அதிகாரமுள்ள user accounts ஆகியன இதன் இரண்டு முக்கிய அம்சங்களை விளக்குகின்றன.
உங்கள் agent code மாறுமா? நடைமுறையில் API இணக்கத்தன்மை
Draco, Firecrawl v1 வழித்தடங்களான /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape மற்றும் /v1/search ஆகியவற்றிற்குப் பதிலளிக்கிறது. 12 October 2026 அன்று கடைசியாகச் சரிபார்க்கப்பட்ட அதன் README, அறியப்படாத புலங்கள் (unknown fields) ஏற்றுக்கொள்ளப்பட்டு புறக்கணிக்கப்படும் என்று கூறுகிறது. இணக்கத்தன்மை கோரப்படும் அம்சங்களைப் பொறுத்தது: screenshots மற்றும் clicks ஆகியவை HTTP 422 பிழையைத் தரும் என்று Draco-வின் அதிகாரப்பூர்வ தளம் குறிப்பிடுகிறது. எனவே, ஆதரிக்கப்படாத பக்கச் செயல்பாடுகளைக் கோரும் Firecrawl v1 client, புதிய base URL-ஐப் பயன்படுத்துவதுடன் கோரிக்கைகளிலும் மாற்றங்களைச் செய்ய வேண்டும். மறுமுனையில் என்ன மாற்றங்கள் நிகழ்ந்துள்ளன என்பதைக் கவனியுங்கள்: Firecrawl-ன் சொந்த self-hosting வழிகாட்டி இப்போது /v2/scrape-க்கு POST கோரிக்கையை அனுப்பி smoke-test செய்கிறது. தற்போதைய SDK-கள் இயல்பாகவே v2-ல் இயங்குகின்றன, ஆனால் Draco-வின் தளம் v1 வழித்தடங்களையே பட்டியலிடுகிறது. agent code-ஐ மாற்றும் முன் ஒவ்வொரு அழைப்பையும் curl கொண்டு சோதிக்கவும். status code-ஐ மட்டும் பார்க்காமல் JSON body-ஐ வாசிக்கவும், ஏனெனில் இந்தச் செயல்பாடுகளுக்கிடையிலான வேறுபாடுகள் புலங்களின் பெயர்களிலேயே (field names) உள்ளன.
Robots.txt, rate limits, மற்றும் நீங்கள் கடைபிடிக்க வேண்டிய எல்லைகள்
Draco இயல்பாகவே robots.txt-ஐ வாசிக்கும், மேலும் 12 October 2026 அன்று கடைசியாகச் சரிபார்க்கப்பட்ட அதன் README, அதை முடக்க --ignore-robots-ஐப் பயன்படுத்த அறிவுறுத்துகிறது. Firecrawl-ம் அதே இயல்புநிலையைக் கொண்டுள்ளது. இரண்டையும் மாற்ற வேண்டாம். respect_robots=True என்பது smart_fetch-க்கு அனுப்பப்படும்போது மட்டுமே Hound robots.txt-ஐச் சரிபார்க்கும், எனவே அதை அங்கு இயக்கவும். பின்னர் உங்கள் வேகத்தை நீங்களே நிர்ணயித்துக் கொள்ளுங்கள்: 12 October 2026 அன்று ஆவணப்படுத்தப்பட்டபடி, Draco-வின் --delay கோரிக்கைகளுக்கு இடையே மில்லி விநாடிகளைச் சேர்க்கிறது மற்றும் --max-concurrency இணையான பணிகளின் எண்ணிக்கையை வரையறுக்கிறது; daemon-ன் இயல்புநிலை 8 ஆக உள்ளது. பகிரப்பட்ட VPS இணைப்பில் 2 முதல் 4 வரையிலான எண்ணிக்கை சிறந்தது, இது ஒட்டுமொத்தமாக மெதுவாக இருப்பதில்லை. ஏனெனில், ஒரு தளம் உங்களை rate limit செய்யத் தொடங்கினால், நீங்கள் சேமித்த concurrency-ஐ விட அதிக நிமிடங்கள் வீணாகும். நீங்கள் பெறுபவற்றை cache செய்யுங்கள், அப்போதுதான் இரண்டாவது முறை agent இயங்கும்போது மூலத் தளத்திற்கு எந்தச் சுமையுமில்லை. AI agent-ன் செலவைக் கட்டுப்படுத்துதல் குறித்த பகுதியில் இதுவே மிகக் குறைந்த செலவுடைய அம்சமாகும்.
Challenge walls என்பது தனிப்பட்ட விஷயம், இதற்காகவே Trawl உருவாக்கப்பட்டுள்ளது: Cloudflare Turnstile, reCAPTCHA, hCaptcha மற்றும் GeeTest. ஒரு challenge wall என்பது தானியங்கி போக்குவரத்தை (automated traffic) ஒரு தளம் நேரடியாக மறுப்பதாகும். இதைத் தவிர்த்துச் செயல்படுவது அந்தத் தளத்தின் பயன்பாட்டு விதிமுறைகளுக்கு எதிரானது, சில இடங்களில் சட்டத்திற்குப் புறம்பானது. எனவே, இந்த வழிகாட்டி தரவுகளைப் பெறுவதற்கான உள்கட்டமைப்பை மட்டுமே விளக்குகிறது. ஒரு wall-ஐத் தாண்டும் அதே நுட்பங்களைத்தான் தள உரிமையாளர்கள் கண்காணித்துத் தடுக்கிறார்கள், இது அத்தகைய நுட்பங்களைச் சார்ந்திருக்கும் எந்தவொரு pipeline-ஐயும் பலவீனமாகவும், நாகரிகமற்றதாகவும் மாற்றுகிறது. ஒரு தரவு ஆதாரம் உங்களுக்கு மிக முக்கியமென்றால், அதன் RSS feed, பொது API, அல்லது bulk export வசதியைப் பயன்படுத்துங்கள். இவை ஒவ்வொன்றும் இயக்குவதற்கு மலிவானவை, மேலும் wall-ல் மாற்றம் ஏற்படும்போது இவை பாதிக்கப்படாது.
MCP மூலம் ஒரு agent-உடன் இணைத்தல்
MCP (model context protocol) என்பது ஒரு agent கருவியைப் (tool) பயன்படுத்துவதற்கான இடைமுகமாகும். எந்தெந்தக் கருவிகள் model-ஐச் சென்றடையும், உங்களிடம் அனுமதி கேட்காமல் ஒரு கருவியைப் பயன்படுத்தலாமா என்பது, model இயங்கும் harness மூலம் தீர்மானிக்கப்படுகிறது. எனவே, daemon-ஐ listening நிலையில் வைப்பது இணைப்பின் ஒரு பகுதி மட்டுமே. Draco தனது binary-க்குள்ளேயே stdio வழியாக ஒரு MCP server-ஐக் கொண்டுள்ளது:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }12 October 2026 அன்று கடைசியாகச் சரிபார்க்கப்பட்ட README, stdio-விற்காக draco_scrape, draco_discover மற்றும் draco_search ஆகியவற்றைப் பட்டியலிடுகிறது; draco_interact_* தொகுப்பு daemon-ன் HTTP MCP endpoint-க்கு உரியது. Stdio என்பது அந்த process-ன் standard input-ஐப் பயன்படுத்துவதால், agent process மற்றும் binary ஒரே machine-ல் இருக்கும்போது மட்டுமே இது வேலை செய்யும். வேறொரு host-ல் உள்ள agent-க்கு, Hound அதற்குப் பதிலாக HTTP வழியாக MCP-ஐ வழங்குகிறது: hound --http --host 127.0.0.1 --port 8765 என்பது http://127.0.0.1:8765/mcp-ல் ஒரு endpoint-ஐ வெளியிடுகிறது, அதை நீங்கள் tunnel வழியாக அணுகலாம். Transport தேர்வுகள் மற்றும் எதை expose செய்வது என்பது VPS-ல் MCP server-களை இயக்குதல் பகுதியில் உள்ளது.
தேடல் மூலம் இணைகளைப் பெறுதல். Fetch மட்டும் செய்யக்கூடிய ஒரு agent, நீங்கள் URL-களை வழங்கும் வரை காத்திருக்கும். சுயமாக host செய்யப்பட்ட SearXNG search instance-ஐச் சேர்த்தால், அதுவே URL-களைக் கண்டறியும்; இது SearXNG-ல் கட்டமைக்கப்பட்ட browser search skill போன்றதே. Daemon இயங்கத் தொடங்கியதும், நீங்கள் பயன்படுத்தும் சுயமாக host செய்யப்பட்ட AI agent-கள் அனைத்திற்கும் இது ஒரு பகிரப்பட்ட சேவையாக இருக்கும். Agent பகுதி உங்களுக்குத் தெளிவாக இல்லை என்றால், முதலில் ஒரு சிறிய agent loop-ஐ நீங்களே எழுதிப் பார்ப்பது, fetch கருவி எங்கு இணைகிறது என்பதையும், அது பெறும் markdown-ஐ model எவ்வாறு கையாள்கிறது என்பதையும் தெளிவாகப் புரியவைக்கும்.
FAQ
AI agent-க்கு பக்கங்களை எடுக்க headless browser தேவையா?
பெரும்பாலான பக்கங்களுக்குத் தேவையில்லை. Server-ல் render செய்யப்படும் ஆவணங்கள், வலைப்பதிவுகள் மற்றும் செய்திக் கட்டுரைகள், சாதாரண HTTP fetch மற்றும் HTML-to-markdown மாற்றத்தின் மூலம் முழுமையாகக் கிடைத்துவிடும். Draco-வின் கீழ்நிலை அடுக்குகளில், ஒரு பக்கத்திற்கு சுமார் 300 ms என்ற அளவில், browser இல்லாமலேயே இது செயல்படுகிறது என்று அந்தத் திட்டத்தின் தரவுகள் தெரிவிக்கின்றன. Client-side-ல் render செய்யப்படும் செயலிகளில், HTML வெறும் காலியான அமைப்பாகவே இருக்கும்போது, அங்குதான் browser-ன் தேவை ஏற்படுகிறது. Draco-வின் V8 isolate, browser process இல்லாமலேயே அத்தகைய சூழல்களின் பெரும்பகுதியைக் கையாள்கிறது. அவ்வாறு செய்ய முடியாதபோது, அது needs_browser என்ற code 3-உடன் வெளியேறுகிறது.
VPS-ல் self-hosted Firecrawl-க்கு எவ்வளவு RAM தேவை?
அதன் compose கோப்பு api container-க்கு 8 GB மற்றும் Playwright container-க்கு 4 GB என்ற உச்சவரம்பை நிர்ணயிக்கிறது. அதே stack-ல் Redis, RabbitMQ, PostgreSQL மற்றும் FoundationDB ஆகியவையும் தொடங்குகின்றன. இந்த stack-க்குத் தேவையான குறைந்தபட்ச host அளவு குறித்து Firecrawl எந்த அதிகாரப்பூர்வ தகவலையும் வெளியிடவில்லை. நினைவக அழுத்தம் ஏற்படும்போது, kernel-ன் out-of-memory killer செயல்முறைகளை நிறுத்திவிடும்; ஒரு container நின்றால், கொடுக்கப்பட்ட Compose கோப்பு அதைத் தானாகவே மீண்டும் தொடங்காது. நிறுத்தப்பட்ட container-களைக் கண்டறிய docker compose ps --all-ஐப் பார்க்கவும், OOM நிகழ்வை உறுதிப்படுத்த dmesg -T | tail-ஐப் பயன்படுத்தவும்.
Firecrawl API-க்கு மாற்றாக Draco-வை அப்படியே பயன்படுத்த முடியுமா?
v1 endpoints-க்கு இது நெருக்கமாக உள்ளது. இது /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape மற்றும் /v1/search ஆகியவற்றை வழங்குகிறது. ஆனால், இணக்கத்தன்மை நீங்கள் கோரும் அம்சங்களைப் பொறுத்தது: screenshots மற்றும் clicks ஆகியவை HTTP 422 பிழையைத் தரும். எனவே, ஆதரிக்கப்படாத பக்கச் செயல்பாடுகளைக் கோரும் client-கள், புதிய base URL-ஐப் பயன்படுத்துவதுடன் கோரிக்கைகளையும் மாற்றியமைக்க வேண்டும். Firecrawl-ன் தற்போதைய SDK-கள் இயல்பாகவே v2-ஐப் பயன்படுத்துகின்றன, அதே சமயம் Draco-வின் தளம் v1 வழிகளையே பட்டியலிடுகிறது. உங்கள் agent செய்யும் ஒவ்வொரு அழைப்பையும் முதலில் curl மூலம் சரிபார்க்கவும்.
Scraper-ஐ self-host செய்தால் robots.txt-ஐப் புறக்கணிக்கலாமா?
இல்லை. குறியீடு எங்கு இயங்குகிறது என்பது, ஒரு தளம் எதை வெளியிட்டது அல்லது அதன் விதிகள் எதை அனுமதிக்கின்றன என்பதை மாற்றாது. Draco மற்றும் Firecrawl ஆகிய இரண்டுமே இயல்பாக robots.txt-ஐ மதிக்கின்றன. நீங்கள் சொந்தமாக வைத்திருக்கும் அல்லது ஊடுருவ எழுத்துப்பூர்வ அனுமதி பெற்ற தளங்களுக்கு மட்டும் override flag-ஐப் பயன்படுத்தலாம். Rate limits என்பது தொலைதூர முனையிலேயே அமல்படுத்தப்படுகிறது, எனவே குறைந்த concurrency கொண்ட ஒரு கனிவான --delay உங்கள் IP முகவரியைத் தொடர்ந்து செயல்பட வைக்கும். ஒரு challenge wall-ஐத் தகர்ப்பதன் மூலம் மட்டுமே செயல்படும் stack, எந்த எச்சரிக்கையும் இன்றி எப்போது வேண்டுமானாலும் செயலிழக்கலாம்.