SSD Nodes Learn Hosting plans →
تعلیمی Matt Connorتحریر: Matt Connor

VPS کے لیے خود میزبان Firecrawl متبادل

Draco، Hound اور self-hosted Firecrawl کا RAM، headless browser اور API compatibility کے لحاظ سے موازنہ کریں، پھر pinned install اور MCP connection ترتیب دیں۔

خود میزبان Firecrawl متبادل کو کیا کرنا چاہیے

خود میزبان Firecrawl متبادل کا بنیادی کام ایک URL لینا اور صفحہ صاف markdown کی صورت میں واپس کرنا ہے، تاکہ agent اسے پڑھ سکے۔ Hosted APIs فی صفحہ فیس لیتیں ہیں، اس لیے آپ کے agent کی جستجو بڑھنے کے ساتھ لاگت بھی بڑھتی ہے۔ جبکہ آپ کے زیرِ استعمال VPS یہی کام انجام دے سکتا ہے۔ ان projects کے درمیان بنیادی فرق ایک سوال ہے: کیا headless browser، یعنی ایسا حقیقی browser engine جو کسی window کے بغیر چلتا ہے، آپ کے box پر start ہونا ضروری ہے؟

یہ فیصلہ memory footprint، ہر صفحے کی لاگت، اور واپس ملنے والے صفحوں کے خالی ہونے کا تعین کرتا ہے۔ اس guide میں Draco، Hound اور self-hosted Firecrawl release کا موازنہ کیا گیا ہے، pinned version پر سب سے ہلکے option کو install کیا گیا ہے، اور اسے MCP (model context protocol) کے ذریعے agent سے جوڑا گیا ہے۔

چاروں projects، اور حقیقت میں ہر project کیا ہے

Draco ایک binary ہے جو Rust میں لکھی گئی ہے اور MIT یا Apache-2.0 license کے تحت جاری کی گئی ہے۔ draco scrape <url> markdown کو stdout پر print کرتا ہے۔ draco serve ایک daemon چلاتا ہے جو 127.0.0.1:3002 پر جواب دیتا ہے؛ یہی وہ port ہے جسے Firecrawl استعمال کرتا ہے۔ 12 October 2026 کو دستیاب documentation کے مطابق، یہ کوئی container image فراہم نہیں کرتا اور default طور پر browser شروع نہیں کرتا۔ 12 October 2026 تک github.com/0xchasercat/draco پر اس کا upstream repository، اس کے پیچھے موجود account، اور اس کے release downloads سب 404 Not Found واپس کرتے ہیں۔ اس جانچ کے وقت ایک public fork میں source اور v0.24.0 تک کے tags موجود تھے، لیکن اس نے کوئی release builds شائع نہیں کی تھیں۔ اس لیے اس کے مطابق منصوبہ بندی کرنے سے پہلے نیچے دیا گیا install section پڑھیں۔

Firecrawl self-hosted hosted product کے پیچھے موجود engine ہے اور AGPL-3.0 کے تحت جاری کیا گیا ہے۔ اس کے docker-compose.yaml میں سات services متعین ہیں: playwright-service، api، redis، rabbitmq، nuq-postgres، foundationdb اور foundationdb-init۔ اس سے اصل crawl queue ملتی ہے، لیکن اس کے لیے ایک چھوٹا distributed system چلانا پڑتا ہے۔

Hound master-fetch repository میں موجود ہے اور PyPI پر hound-mcp کے نام سے فراہم کیا جاتا ہے۔ یہ MIT licensed ہے اور 12 October 2026 تک اس کا version 13.2.0 ہے، جو 26 August 2026 کو شائع ہوا تھا۔ اسے Python 3.11 یا اس کے بعد کا version درکار ہے۔ یہ پہلے MCP server اور بعد میں fetcher ہے۔ یہ پہلے plain HTTP آزمانے کی کوشش کرتا ہے۔ اگر plain fetch blocked واپس آئے یا JavaScript shell فراہم کرے تو یہ Patchright browser استعمال کرتا ہے۔ browser-enabled setup startup کے وقت browser کو تیار کر دیتا ہے۔

Trawl یہاں اس لیے شامل ہے کہ دوسروں کو تلاش کرتے وقت لوگوں کا سامنا اس سے بھی ہوتا ہے، لیکن یہ مختلف کام کرتا ہے۔ یہ fingerprint-patched Firefox کے ذریعے JavaScript challenges اور CAPTCHAs حل کرتا ہے اور *arr media stack میں FlareSolverr کے متبادل کے طور پر کام کرتا ہے۔ اب یہ Markdown بھی پڑھتا ہے اور MCP کے ذریعے structured JSON extract کرتا ہے۔ نیچے etiquette والا section واضح کرتا ہے کہ اس کا challenge-solving کردار یہ فیصلہ کیوں کرتا ہے کہ اسے آپ کے agent stack میں شامل ہونا چاہیے یا نہیں۔

براؤزر پول چھوٹے VPS سرورز کے لیے کیوں تباہ کن ہے

ہر کھلا براؤزر ٹیب ایک الگ رینڈرر پروسیس ہوتا ہے جو اپنا DOM (document object model) اور اپنا JavaScript heap رکھتا ہے۔ لہذا میموری کا استعمال ایک ہی وقت میں کھلے ہوئے صفحات کے مطابق بڑھتا ہے، نہ کہ روزانہ فیچ کیے گئے صفحات کے مطابق۔ ان میں سے دو پروجیکٹس اس لاگت کو اپنی compose فائلوں میں واضح کرتے ہیں۔

چارٹMemory ceilings each project sets in its own compose file (GB)
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

Firecrawl کی compose فائل اپنے api کنٹینر کو 8 GB اور اپنے Playwright کنٹینر کو 4 GB تک محدود کرتی ہے، جس کے ساتھ swap کی حدود بھی مطابقت رکھتی ہیں۔ Hound کی compose فائل ایک ایسے کنٹینر کے لیے 3 GB سیٹ کرتی ہے جس میں Chromium بنڈل ہوتا ہے۔ یہ وہ حدود ہیں جن کا انتخاب پروجیکٹس نے خود کیا ہے، یہ پرسکون سسٹم کی پیمائش کے بجائے شائع شدہ اعداد و شمار ہیں، اور Redis، RabbitMQ، PostgreSQL اور FoundationDB کو Firecrawl کے اعداد و شمار کے علاوہ بھی اپنے حصے کی میموری درکار ہوتی ہے۔

آپ کی RAM سے زیادہ کی حد مقرر کرنے سے وہ میموری ریزرو نہیں ہوتی۔ جب سرور کی میموری ختم ہو جاتی ہے، تو کرنل کا out-of-memory killer کسی پروسیس کو ختم کر دیتا ہے، جس کی وجہ سے کنٹینر docker compose ps سے غائب ہو جاتا ہے اور ایپلیکیشن لاگ میں کوئی غلطی درج نہیں ہوتی۔ Firecrawl کی فراہم کردہ Compose فائل میں کوئی خودکار restart پالیسی سیٹ نہیں ہے، اس لیے OOM-terminated کنٹینر بند ہی رہتا ہے؛ docker compose ps --all میں بند شدہ کنٹینرز شامل ہوتے ہیں۔ کسی غیر واضح سٹاپ کے بعد dmesg -T | tail کو پڑھیں۔ Firecrawl اس سٹیک کے لیے کوئی تصدیق شدہ کم از کم ہوسٹ سائز شائع نہیں کرتا، لہذا اپنے ورک لوڈ کے مطابق سرور کا سائز منتخب کریں۔ فی سروس نمبرز سیٹ کرنے کا طریقہ memory limits in Docker Compose میں بیان کیا گیا ہے۔

براؤزر کی ایک اور تفصیل لوگوں کی شام خراب کر دیتی ہے۔ Docker ایک کنٹینر کو /dev/shm پر 64 MB شیئرڈ میموری دیتا ہے، لیکن Firecrawl کی Playwright سروس Chromium کو --disable-dev-shm-usage کے ساتھ لانچ کرتی ہے، جو ان شیئرڈ میموری فائلوں کے لیے اس چھوٹی پارٹیشن سے گریز کرتا ہے۔ Hound کی compose فائل اسے shm_size: "1gb" کے ساتھ بڑھاتی ہے؛ اس کا ڈائنامک براؤزر ٹائر Patchright کے ذریعے Playwright سے --disable-dev-shm-usage وراثت میں حاصل کرتا ہے، اور نہ تو Patchright کے سوئچ ریموولز اور نہ ہی Hound کی ignore_default_args لسٹ اسے ہٹاتی ہے۔ Firecrawl کی compose فائل میں کوئی shm_size سیٹ نہیں ہے: اس کا playwright-service بلاک CPU اور میموری کی حدود اور /tmp/.cache پر 1 GB tmpfs سیٹ کرتا ہے، اس لیے وہ کنٹینر 64 MB کی ڈیفالٹ حد پر ہی رہتا ہے۔ Hound کی لائن کو Playwright کے گرد تیار کردہ اپنی امیج میں کاپی کرنے سے پہلے Chromium کے لانچ فلیگز کو چیک کریں۔

JavaScript پر زیادہ انحصار کرنے والے صفحات پر extraction کا معیار

Static HTML، server-rendered blog، documentation page، اور news article، ان سب سے تقریباً یکساں markdown حاصل ہوتا ہے، اس لیے جو سب سے تیز ہو وہ کامیاب رہتا ہے۔ فرق client-rendered صفحات پر ظاہر ہوتا ہے، جہاں فراہم کردہ HTML ایک خالی shell ہوتا ہے اور متن load کے بعد JavaScript کے ذریعے آتا ہے۔

Draco مختلف tiers میں escalation کرتا ہے۔ Tier 0 اور tier 1، JavaScript بالکل چلائے بغیر HTML کو parse کرتے ہیں۔ Tier 2 صفحے کی اپنی JavaScript کو in-process V8 isolate کے اندر چلاتا ہے۔ یہ JavaScript engine ہے جس کے گرد browser موجود نہیں ہوتا، اور README کے مطابق وہاں page code کو host capability bindings حاصل نہیں ہوتیں۔ اس سے browser کی memory کے ایک حصے میں بہت سی single-page applications کو handle کیا جا سکتا ہے۔ جب Draco ایسی رکاوٹ سے ٹکراتا ہے جسے وہ عبور نہیں کر سکتا تو draco scrape code 3 کے ساتھ exit کرتا ہے، needs_browser۔ اسے scripts میں check کریں، کیونکہ zero exit code کے ساتھ empty file وہ failure ہے جو agent کے context کو خاموشی سے خراب کر دیتی ہے:

draco scrape https://example.com > page.md
echo "exit=$?"

Firecrawl کا playwright-service حقیقی Chromium چلاتا ہے، اس لیے یہ وہی render کرتا ہے جو browser render کرتا ہے۔ Self-hosted build پھر بھی hosted product نہیں ہے: documentation کے مطابق Fire-engine شامل نہیں، جو cloud service کا advanced anti-bot behavior فراہم کرتا ہے؛ screenshots اور page actions بھی default stack میں دستیاب نہیں ہیں؛ اور Agent، Browser اور interact کے لیے documentation آپ کو Firecrawl Cloud کی طرف بھیجتی ہے۔ Hound جان بوجھ کر ان دونوں کے درمیان رہتا ہے۔ یہ HTTP کے ذریعے fetch کرتا ہے اور ہر request کے مطابق escalation کرتا ہے۔ اس کا warm browser idle timeout کے بعد بند ہو جاتا ہے، اس لیے کم سرگرمی والا server baseline کے قریب رہتا ہے۔

Draco کو ایک مخصوص ورژن کے ساتھ انسٹال کریں

README میں ایک ون لائن انسٹالر درج ہے۔ اسے شیل میں پائپ کرنے سے پہلے پڑھیں کہ یہ کیا کرتا ہے: 12 اکتوبر 2026 کو درج دستاویزات کے مطابق، یہ $HOME/.draco/bin/draco میں انسٹال ہوتا ہے، یہ ہمیشہ latest ریلیز لیتا ہے، اور یہ کسی دستخط یا ہیش کی جانچ نہیں کرتا ہے۔ سرور پر، ورژن کو پن کریں اور ڈاؤن لوڈ کی تصدیق کریں۔ ذیل میں v0.20.5 کی ہدایات 12 اکتوبر 2026 کو چیک کردہ سیٹ اپ کو برقرار رکھتی ہیں؛ پن کیے گئے ورژن کی اپ اسٹریم دستاویزات دوبارہ جانچ کے لیے دستیاب نہیں ہیں۔

12 اکتوبر 2026 تک پروجیکٹ کی ریلیز ڈاؤن لوڈز 404 Not Found کا جواب دیتی ہیں، کیونکہ اپ اسٹریم ریپوزٹری اب جواب نہیں دیتی، اور پروجیکٹ کی سائٹ پر مشتہر get.draco.sh انسٹالر ڈومین ریزولو نہیں ہوتا ہے۔ ڈاؤن لوڈ کرنے کے لیے کوئی لائیو ریلیز URL موجود نہیں ہے، لہذا نیچے دی گئی کمانڈز ایک ایسے باکس پر شروع ہوتی ہیں جہاں آپ کے پاس پہلے سے v0.20.5 آرکائیو، draco-linux-x86-64.tar.gz، اور اس کا SHA256SUMS، /tmp میں موجود ہے، جسے پہلے کی ڈاؤن لوڈ سے محفوظ کیا گیا ہے یا کسی قابل اعتماد مشین سے کاپی کیا گیا ہے۔ کسی ایسے مرر سے خلا کو پُر نہ کریں جس کی آپ نے جانچ نہیں کی ہے: اسی مرر سے فراہم کردہ چیک سم فائل بائنری کے بارے میں کچھ ثابت نہیں کرتی ہے۔

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

یہ draco-linux-x86-64.tar.gz: OK پرنٹ کرتا ہے۔ FAILED لائن کا مطلب ہے کہ آپ کے پاس موجود بائٹس وہ نہیں ہیں جو پروجیکٹ نے شائع کیے تھے، لہذا انہیں ڈیلیٹ کریں اور دوبارہ شروع کریں۔

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

آخری کمانڈ مثال کے صفحے کو مارک ڈاؤن کے طور پر پرنٹ کرتی ہے۔ find سجاوٹ نہیں ہے: آرکائیو لے آؤٹ پروجیکٹ کے عوامی معاہدے کا حصہ نہیں ہے، اور 12 اکتوبر 2026 کو آخری بار چیک کیا گیا آفیشل انسٹالر بائنری کو اسی طرح تلاش کرتا ہے۔

ڈیمن کو اپنے لاگ ان صارف کے بجائے اس کے اپنے اکاؤنٹ کے تحت چلائیں۔ /etc/systemd/system/draco.service لکھیں:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health جیسے ہی ڈیمن لسننگ موڈ میں آتا ہے جواب دیتا ہے۔ Connection refused کا مطلب ہے کہ یہ نہیں ہے، لہذا journalctl -u draco -n 50 پڑھیں۔ عام وجہ کوئی اور پروسیس ہے جو پہلے سے 3002 پر قابض ہے، کیونکہ یہ Firecrawl کا بھی ڈیفالٹ پورٹ ہے۔ --port Draco کو منتقل کرتا ہے۔ سیلف ہوسٹڈ Firecrawl میں ایسا کوئی فلیگ نہیں ہے: اس کا پورٹ اس کی Compose فائل میں PORT ویری ایبل سے آتا ہے، جو "${PORT:-3002}:${INTERNAL_PORT:-3002}" کے طور پر شائع ہوتا ہے، لہذا وہاں شائع شدہ پورٹ کو تبدیل کریں اور ہر کلائنٹ کو اس کے ساتھ ہم آہنگ رکھیں۔ یونٹ فائلز کی مزید تفصیلات کے لیے: systemd سروس یونٹس اور ٹائمرز۔

اب اس طرح فیچ کریں جیسے آپ کا ایجنٹ کرے گا:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

Fetch daemon کو عوامی انٹرنیٹ سے دور رکھیں

بغیر تصدیق (authentication) کے Fetch API ایک اوپن پراکسی ہے۔ جو بھی اس پورٹ تک رسائی حاصل کر سکتا ہے، وہ آپ کے سرور سے آپ کے IP ایڈریس کے تحت کوئی بھی URL ریکویسٹ کروا سکتا ہے، اور اس کا غلط استعمال (abuse) آپ کے پرووائیڈر کو رپورٹ ہوگا، نہ کہ انہیں۔ 12 October 2026 کو دستاویزی شکل دی گئی Draco کی serve فلیگز میں کوئی API key شامل نہیں تھی، لہذا تحفظ کا انحصار نیٹ ورک پر ہونا چاہیے۔ جب ایجنٹ اسی مشین پر چل رہا ہو تو ڈیفالٹ 127.0.0.1 بائنڈ کا استعمال برقرار رکھیں۔ جب ایجنٹ کہیں اور ہو، تو دونوں سروں کو ایک پرائیویٹ ٹنل پر رکھیں، آپ کا اپنا ہوسٹ کردہ WireGuard VPN اس کا عام حل ہے، اور 0.0.0.0 کے بجائے ٹنل ایڈریس پر بائنڈ کریں۔ پھر کسی دوسری مشین سے چیک کریں کہ عوامی IP کسی چیز کا جواب نہیں دے رہا ہے۔ ufw فائر وال کی بنیادی باتیں اور کم سے کم استحقاق والے یوزر اکاؤنٹس اس کے دونوں حصوں کا احاطہ کرتے ہیں۔

کیا آپ کے ایجنٹ کا کوڈ تبدیل ہوگا؟ عملی طور پر API مطابقت

Draco، Firecrawl v1 کے راستوں: /v1/scrape، /v1/map، /v1/crawl، /v1/batch/scrape اور /v1/search کا جواب دیتا ہے، اور اس کی README، جسے آخری بار 12 اکتوبر 2026 کو چیک کیا گیا، بتاتی ہے کہ نامعلوم فیلڈز کو قبول کر کے نظر انداز کر دیا جاتا ہے۔ مطابقت کا انحصار مطلوبہ خصوصیات پر ہے: Draco کی آفیشل سائٹ بتاتی ہے کہ اسکرین شاٹس اور کلکس HTTP 422 واپس کرتے ہیں، لہذا Firecrawl v1 کلائنٹ جو غیر تعاون یافتہ صفحہ ایکشنز کی درخواست کرتا ہے، اسے درخواست میں تبدیلیوں کے ساتھ ساتھ ایک نئے base URL کی بھی ضرورت ہے۔ دیکھیں کہ دوسری طرف کیا تبدیل ہوا ہے: Firecrawl کی اپنی self-hosting گائیڈ اب /v2/scrape پر POST کے ساتھ smoke-tests کرتی ہے، اور موجودہ SDKs بائی ڈیفالٹ v2 استعمال کرتے ہیں، جبکہ Draco کی سائٹ v1 کے راستے درج کرتی ہے۔ ایجنٹ کوڈ میں ترمیم کرنے سے پہلے ہر کال کو curl کے ساتھ ٹیسٹ کریں، اور status code کے بجائے JSON باڈی کو پڑھیں، کیونکہ فیلڈ کے نام ہی وہ جگہ ہیں جہاں یہ نفاذات ایک دوسرے سے مختلف ہوتے ہیں۔

Robots.txt، ریٹ لمٹس، اور وہ حد جس کے پیچھے رہنا ضروری ہے

Draco بائی ڈیفالٹ robots.txt کو پڑھتا ہے، اور اس کی README فائل، جسے آخری بار 12 October 2026 کو چیک کیا گیا تھا، اسے بند کرنے کے لیے --ignore-robots کے استعمال کی دستاویز کرتی ہے۔ Firecrawl بھی یہی ڈیفالٹ سیٹنگ رکھتی ہے۔ دونوں کو ان کی اصل حالت میں رہنے دیں۔ Hound صرف تب robots.txt کو چیک کرتا ہے جب smart_fetch کو respect_robots=True پاس کیا جائے، لہذا اسے وہاں فعال کریں۔ اس کے بعد اپنی رفتار خود طے کریں: جیسا کہ 12 October 2026 کو دستاویز کیا گیا ہے، Draco کا --delay درخواستوں کے درمیان ملی سیکنڈز کا وقفہ ڈالتا ہے اور --max-concurrency متوازی کاموں (parallel jobs) کی حد مقرر کرتا ہے، جس میں 8 ڈیفالٹ ڈیمن ویلیو ہے۔ شیئرڈ VPS لنک پر 2 سے 4 کی تعداد زیادہ مناسب ہے اور مجموعی طور پر شاذ و نادر ہی سست ہوتی ہے، کیونکہ اگر کوئی سائٹ آپ پر ریٹ لمٹ لگا دے تو اس سے بچائی گئی کنکرنسی (concurrency) کے مقابلے میں کہیں زیادہ وقت ضائع ہوتا ہے۔ جو ڈیٹا آپ حاصل کریں اسے کیش (cache) کریں، تاکہ ایجنٹ کے دوسری بار چلنے پر سورس پر کوئی بوجھ نہ پڑے۔ یہ AI ایجنٹ کے اخراجات کو کنٹرول کرنے کے حوالے سے سب سے سستا طریقہ بھی ہے۔

چیلنج والز (Challenge walls) ایک الگ موضوع ہے، اور Trawl خاص طور پر اسی کے لیے بنایا گیا ہے: Cloudflare Turnstile، reCAPTCHA، hCaptcha اور GeeTest۔ چیلنج وال کا مطلب ہے کہ سائٹ واضح طور پر خودکار ٹریفک کو قبول کرنے سے انکار کر رہی ہے۔ اس سے بچ کر نکلنا آپ کو سائٹ کی استعمال کی شرائط کے خلاف کھڑا کر دیتا ہے، اور کچھ مقامات پر یہ قانون کے بھی خلاف ہے، لہذا یہ گائیڈ صرف انفراسٹرکچر حاصل کرنے تک محدود ہے۔ جو تکنیکیں وال کو عبور کرنے کے لیے استعمال ہوتی ہیں، سائٹ مالکان انہی پر نظر رکھتے ہیں اور انہیں بلاک کرتے ہیں، جس سے ان پر مبنی کوئی بھی پائپ لائن غیر مستحکم اور غیر اخلاقی ہو جاتی ہے۔ جب کوئی سورس بہت اہم ہو، تو اس کی RSS فیڈ، پبلک API، یا بلک ایکسپورٹ تلاش کریں۔ ان میں سے ہر ایک کو چلانا سستا ہے اور ان میں سے کوئی بھی تب خراب نہیں ہوتا جب وال تبدیل ہو جائے۔

ایجنٹ کو MCP کے ذریعے جوڑیں

MCP (model context protocol) وہ interface ہے جسے ایجنٹ کسی tool کو call کرنے کے لیے استعمال کرتا ہے۔ کون سے tools ماڈل تک پہنچیں گے، اور آیا اسے آپ سے پہلے پوچھے بغیر کسی tool کو call کرنے کی اجازت ہے، یہ فیصلہ ایک بالائی سطح پر اس harness کے ذریعے ہوتا ہے جس کے اندر ماڈل چلتا ہے۔ اس لیے daemon کو listening حالت میں لانا wiring کا صرف نصف کام ہے۔ Draco اسی binary میں stdio کے ذریعے MCP server فراہم کرتا ہے:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

12 October 2026 کو آخری بار چیک کیے گئے README میں stdio کے لیے draco_scrape، draco_discover اور draco_search درج ہیں؛ draco_interact_* کا مجموعہ daemon کے HTTP MCP endpoint کے لیے ہے۔ Stdio صرف اس وقت کام کرتا ہے جب agent process اور binary ایک ہی machine پر ہوں، کیونکہ transport اسی process کے standard input کو استعمال کرتا ہے۔ کسی دوسرے host پر موجود agent کے لیے Hound اس کے بجائے MCP کو HTTP کے ذریعے فراہم کرتا ہے: hound --http --host 127.0.0.1 --port 8765، http://127.0.0.1:8765/mcp پر ایک endpoint شائع کرتا ہے، جس تک آپ tunnel کے ذریعے پہنچتے ہیں۔ Transport کے انتخاب اور expose کی جانے والی چیزوں کی تفصیل VPS پر MCP servers چلانے میں ہے۔

Search کے ساتھ pairs fetch کریں۔ ایسا agent جو صرف fetch کر سکتا ہو، آپ کے URLs فراہم کرنے کا انتظار کرتا ہے۔ self-hosted SearXNG search instance شامل کریں، تو وہ خود انہیں تلاش کر سکتا ہے، بالکل اسی ساخت کے مطابق جیسے SearXNG پر مبنی browser search skill کام کرتی ہے۔ Daemon کے up ہونے کے بعد، آپ کے چلائے جانے والے self-hosted AI agents میں سے جس agent کو ضرورت ہو، وہ اسی shared service کو استعمال کر سکتا ہے۔ اگر agent side وہ حصہ ہے جس کے بارے میں آپ کو سب سے کم یقین ہے، تو پہلے ہاتھ سے ایک چھوٹا agent loop لکھنا واضح کر دیتا ہے کہ fetch tool کہاں plug in ہوتا ہے اور model کو واپس ملنے والے markdown کے ساتھ کیا کرنا ہوتا ہے۔

FAQ

کیا AI ایجنٹ کے لیے صفحات حاصل کرنے کے لیے مجھے headless browser کی ضرورت ہے؟

زیادہ تر صفحات کے لیے نہیں۔ سرور سے رینڈر ہونے والی دستاویزات، بلاگز اور خبروں کے مضامین ایک سادہ HTTP fetch اور HTML-to-markdown کے مرحلے کے بعد مکمل طور پر حاصل ہو جاتے ہیں۔ Draco اپنے نچلے درجوں میں اسی طریقے کو استعمال کرتا ہے، جس میں پروجیکٹ کے اپنے اعداد و شمار کے مطابق فی صفحہ تقریباً 300 ms کا وقت لگتا ہے اور اس میں براؤزر کی ضرورت نہیں ہوتی۔ براؤزر اپنی میموری کا استعمال client-rendered ایپلی کیشنز پر کرتا ہے، جہاں فراہم کردہ HTML ایک خالی خول ہوتا ہے۔ Draco کا V8 isolate بغیر کسی براؤزر پروسیس کے اس درمیانی صورتحال کا زیادہ تر احاطہ کر لیتا ہے، اور جب یہ ایسا نہیں کر پاتا تو یہ needs_browser کوڈ کے ساتھ exit ہو جاتا ہے۔

self-hosted Firecrawl کو VPS پر کتنی RAM درکار ہوتی ہے؟

اس کی compose فائل api کنٹینر پر 8 GB اور Playwright کنٹینر پر 4 GB کی حد مقرر کرتی ہے، اور یہی اسٹیک Redis، RabbitMQ، PostgreSQL اور FoundationDB کو بھی شروع کرتا ہے۔ Firecrawl اس اسٹیک کے لیے کسی تصدیق شدہ کم از کم ہوسٹ سائز کا اعلان نہیں کرتا۔ میموری کے دباؤ میں، کرنل کا out-of-memory killer پروسیسز کو ختم کر دیتا ہے؛ اگر کوئی کنٹینر رک جائے تو فراہم کردہ Compose فائل اسے خودکار طور پر دوبارہ شروع نہیں کرتی۔ رکے ہوئے کنٹینرز کے لیے docker compose ps --all چیک کریں اور dmesg -T | tail کے ساتھ OOM ایونٹ کی تصدیق کریں۔

کیا Draco، Firecrawl API کا متبادل ہے؟

v1 اینڈ پوائنٹس کے لیے یہ کافی حد تک قریب ہے۔ یہ /v1/scrape، /v1/map، /v1/crawl، /v1/batch/scrape اور /v1/search فراہم کرتا ہے، لیکن مطابقت کا انحصار مطلوبہ فیچرز پر ہے: اسکرین شاٹس اور کلکس HTTP 422 واپس کرتے ہیں، لہذا غیر تعاون یافتہ پیج ایکشنز کی درخواست کرنے والے کلائنٹس کو درخواست میں تبدیلیوں کے ساتھ ساتھ ایک نیا base URL بھی درکار ہوگا۔ Firecrawl کے موجودہ SDKs بائی ڈیفالٹ v2 استعمال کرتے ہیں، جبکہ Draco کی سائٹ v1 روٹس کی فہرست دیتی ہے۔ اپنے ایجنٹ کی ہر کال کو پہلے curl کے ساتھ چیک کریں۔

کیا اسکریپر کو self-host کرنے کا مطلب یہ ہے کہ میں robots.txt کو نظر انداز کر سکتا ہوں؟

نہیں۔ کوڈ کہاں چلتا ہے اس سے اس بات پر کوئی فرق نہیں پڑتا کہ کسی سائٹ نے کیا شائع کیا ہے یا اس کی شرائط کیا اجازت دیتی ہیں۔ Draco اور Firecrawl دونوں بائی ڈیفالٹ robots.txt کا احترام کرتے ہیں، اور اوور رائڈ فلیگ ان سائٹس کے لیے موجود ہے جن کے آپ مالک ہیں یا جنہیں کرال کرنے کی آپ کے پاس تحریری اجازت ہے۔ ریٹ لمٹس بہرحال دور کے سرے پر نافذ ہوتی ہیں، لہذا کم concurrency کے ساتھ ایک شائستہ --delay آپ کے IP ایڈریس کو کام کرنے کے قابل رکھتا ہے۔ ایسا اسٹیک جو صرف چیلنج وال کو شکست دے کر کام کرتا ہے، وہ ایسا اسٹیک ہے جو بغیر کسی انتباہ کے ٹوٹ سکتا ہے۔

کیا یہ مضمون مفید تھا؟

#scraping#firecrawl#ai-agents#self-hosting#markdown