بدائل Firecrawl ذاتية الاستضافة على VPS: Draco أم Hound؟
قارن Draco وHound وFirecrawl ذاتي الاستضافة من حيث RAM والحاجة إلى متصفح headless وتوافق API، مع تثبيت إصدار محدد وربط MCP.
ما الذي يجب أن يفعله بديل Firecrawl المستضاف ذاتياً
تتمثل مهمة بديل Firecrawl المستضاف ذاتياً في أخذ URL وإرجاع الصفحة بصيغة Markdown نظيفة يستطيع agent قراءتها. تفرض واجهات API المستضافة رسوماً على كل صفحة، لذلك تزداد الفاتورة كلما زادت رغبة agent في الاستكشاف. ويمكن لـVPS الذي تدفع تكلفته مسبقاً أن ينفذ المهمة نفسها. وتختلف هذه المشاريع حول سؤال واحد: هل يجب تشغيل headless browser (محرك متصفح فعلي يعمل من دون نافذة) على خادمك؟
تحدد الإجابة عن هذا السؤال حجم الذاكرة، وتكلفة كل صفحة، والصفحات التي تعود فارغة. يقارن هذا الدليل بين Draco وHound وإصدار Firecrawl المستضاف ذاتياً، ثم يثبّت الخيار الأخف بإصدار محدد ويربطه بـagent عبر MCP (model context protocol).
المشاريع الأربعة، وماهية كل مشروع فعلياً
Draco ملف ثنائي واحد، مكتوب بلغة Rust، ومرخّص بموجب MIT أو Apache-2.0. يطبع draco scrape <url> مستندات Markdown إلى stdout. ويشغّل draco serve عفريتاً يستجيب على 127.0.0.1:3002، وهو المنفذ الذي يستخدمه Firecrawl. ووفقاً للتوثيق في 12 October 2026، لا يوفّر صورة حاوية ولا يشغّل متصفحاً افتراضياً. وحتى 12 October 2026، يعيد مستودعه المصدر في github.com/0xchasercat/draco، والحساب المرتبط به، وتنزيلات إصداراته، الخطأ 404 Not Found. ووقت ذلك التحقق، كان fork عام لا يزال يتضمن الشفرة والوسوم حتى v0.24.0، لكنه لم ينشر أي ملفات بناء للإصدارات. لذلك اقرأ قسم التثبيت أدناه قبل أن تبني خطتك عليه.
Firecrawl self-hosted هو المحرك الذي يقف وراء المنتج المستضاف، ومرخّص بموجب AGPL-3.0. يعرّف docker-compose.yaml سبع خدمات: playwright-service وapi وredis وrabbitmq وnuq-postgres وfoundationdb وfoundationdb-init. تحصل على قائمة الانتظار الفعلية للزحف، مقابل تشغيل نظام موزّع صغير.
Hound موجود في مستودع master-fetch، ويُوزَّع على PyPI باسم hound-mcp، وهو مرخّص بموجب MIT، وإصداره 13.2.0، المنشور في 26 August 2026، وفقاً للحالة في 12 October 2026. يحتاج إلى Python 3.11 أو إصدار أحدث. وهو خادم MCP أولاً وأداة جلب ثانياً. يحاول استخدام HTTP العادي، ثم ينتقل إلى متصفح Patchright عندما تعود عملية الجلب العادية محظورة أو تعرض غلاف JavaScript. ويهيّئ إعداد المتصفح متصفحاً عند بدء التشغيل.
Trawl مذكور هنا لأن المستخدمين يصادفونه أثناء البحث عن المشاريع الأخرى، ولأنه يؤدي وظيفة مختلفة. فهو يحل تحديات JavaScript واختبارات CAPTCHA باستخدام Firefox معدّل بصمة التعريف، كبديل لـ FlareSolverr في مكدس وسائط *arr. كما يقرأ Markdown ويستخرج JSON منظماً عبر MCP. يوضّح قسم قواعد الاستخدام أدناه سبب كون دوره في حل التحديات عاملاً حاسماً في تحديد ما إذا كان ينبغي أن يندرج ضمن مكدس الوكيل لديك أصلاً.
سبب كون مجموعة المتصفحات نقطة انهيار خوادم VPS الصغيرة
كل علامة تبويب مفتوحة في المتصفح هي عملية renderer مستقلة تحتفظ بـDOM الخاص بها (نموذج كائن المستند) وبـJavaScript heap الخاص بها. لذلك تتناسب الذاكرة مع عدد الصفحات المفتوحة في اللحظة نفسها، لا مع عدد الصفحات التي جرى جلبها خلال اليوم. يكتب مشروعان من هذه المشاريع هذه التكلفة في ملفات Compose الخاصة بهما.
البيانات وراء هذا الرسم البياني
[
{
"label": "Firecrawl api",
"memory_limit_gb": 8
},
{
"label": "Firecrawl playwright",
"memory_limit_gb": 4
},
{
"label": "Hound (browser included)",
"memory_limit_gb": 3
}
]يحدّد ملف Compose الخاص بـFirecrawl حاوية api عند 8 GB، وحاوية Playwright عند 4 GB، مع حدود swap مماثلة. ويحدّد Compose الخاص بـHound مقدار 3 GB لحاوية واحدة تتضمن Chromium مضمّناً. هذه حدود قصوى اختارتها المشاريع ونشرتها، وليست قياسات لنظام هادئ. كما أن Redis وRabbitMQ وPostgreSQL وFoundationDB ما زالت تحتاج إلى حصتها فوق أرقام Firecrawl.
لا تحجز قيمة تتجاوز RAM التي تملكها تلك الذاكرة. عندما تنفد موارد الخادم، ينهي kernel عبر out-of-memory killer إحدى العمليات، فتختفي حاوية من docker compose ps من دون كتابة خطأ في سجل التطبيق. لا يضبط ملف Compose المرفق مع Firecrawl سياسة إعادة تشغيل تلقائية، لذلك تبقى الحاوية التي أنهاها OOM متوقفة؛ ويشمل docker compose ps --all الحاويات المتوقفة. اقرأ dmesg -T | tail بعد أي توقف غير مفسّر. لا تنشر Firecrawl حداً أدنى موثّقاً لحجم الخادم المضيف لهذه الحزمة، لذلك حدّد حجم الخادم وفق عبء العمل لديك. يوضّح حدود الذاكرة في Docker Compose كيفية ضبط القيم لكل خدمة.
هناك تفصيل آخر في المتصفح قد يكلّفك ساعات من التشخيص. يمنح Docker الحاوية 64 MB من الذاكرة المشتركة في /dev/shm، لكن خدمة Playwright في Firecrawl تشغّل Chromium باستخدام --disable-dev-shm-usage، ما يتجاوز هذا القسم الصغير المخصص لملفات الذاكرة المشتركة. يرفع Compose الخاص بـHound هذه القيمة باستخدام shm_size: "1gb"؛ وترث طبقة المتصفح الديناميكية لديه --disable-dev-shm-usage من Playwright عبر Patchright، ولا تزيلها إزالة مفاتيح التبديل في Patchright ولا قائمة ignore_default_args الخاصة بـHound. لا يضبط Compose الخاص بـFirecrawl أي shm_size على الإطلاق؛ إذ تضبط كتلة playwright-service فيه حدود CPU والذاكرة وtmpfs بحجم 1 GB في /tmp/.cache، ولذلك تحتفظ تلك الحاوية بالقيمة الافتراضية البالغة 64 MB. تحقّق من مفاتيح تشغيل Chromium قبل نسخ سطر Hound إلى image تنشئه حول Playwright.
جودة الاستخراج في الصفحات المعتمدة بكثافة على JavaScript
في صفحات HTML الثابتة، أو المدونات التي يتم عرضها من جهة الخادم، أو صفحات التوثيق، أو المقالات الإخبارية، تُرجع جميع هذه المصادر محتوى Markdown متطابقاً تقريباً، ويفوز الأسرع منها. يظهر الفرق في الصفحات التي يتم عرضها من جهة العميل، حيث يكون ملف HTML المُسلَّم عبارة عن هيكل فارغ، ويصل النص عبر JavaScript بعد التحميل.
يتدرج Draco في مستويات المعالجة. يقوم المستويان Tier 0 و Tier 1 بتحليل HTML دون تشغيل أي JavaScript. أما المستوى Tier 2 فيشغل كود JavaScript الخاص بالصفحة داخل V8 isolate ضمن العملية نفسها، وهو محرك JavaScript دون متصفح محيط به، وينص ملف README على أن كود الصفحة لا يحصل على أي ارتباطات بقدرات المضيف هناك. يغطي هذا العديد من تطبيقات الصفحة الواحدة (SPA) بجزء بسيط من ذاكرة المتصفح. عندما يواجه Draco عائقاً لا يمكنه تجاوزه، يخرج draco scrape برمز 3، وهو needs_browser. تحقق من ذلك في البرامج النصية، لأن الملف الفارغ مع رمز خروج صفر يُعد فشلاً يفسد سياق الوكيل بصمت:
draco scrape https://example.com > page.md
echo "exit=$?"تُشغّل خدمة playwright-service الخاصة بـ Firecrawl متصفح Chromium حقيقياً، لذا فهي تعرض ما يعرضه المتصفح. النسخة المستضافة ذاتياً ليست هي المنتج السحابي: ينص التوثيق على أن Fire-engine، الذي يحمل سلوكيات مكافحة الروبوتات المتقدمة للخدمة السحابية، غير مضمن، وأن لقطات الشاشة وإجراءات الصفحة غير متاحة في الحزمة الافتراضية، وبالنسبة لـ Agent و Browser و interact، يوجهك التوثيق إلى Firecrawl Cloud. يقع Hound في المنتصف عن قصد. فهو يجلب البيانات عبر HTTP ويتدرج في المعالجة حسب الطلب، ويغلق المتصفح النشط بعد مهلة خمول، مما يبقي الخادم الهادئ قريباً من استهلاك الموارد الأساسي.
تثبيت Draco بإصدار محدد
وثّق ملف README برنامج تثبيت في سطر واحد. اقرأ ما يفعله قبل تمريره إلى shell: وفقاً للتوثيق في 12 October 2026، يثبّت البرنامج في $HOME/.draco/bin/draco، ويستخدم دائماً إصدار latest، ولا يتحقق من أي توقيع أو hash. على الخادم، ثبّت الإصدار وتحقق من التنزيل. تحافظ التعليمات التالية الخاصة بـv0.20.5 على إعدادات تم التحقق منها في 12 October 2026؛ أما توثيق الإصدار المحدد من upstream فغير متاح لإعادة التحقق.
اعتباراً من 12 October 2026، تعيد تنزيلات إصدارات المشروع الخطأ 404 Not Found، لأن مستودع upstream لم يعد يستجيب، كما أن نطاق المثبّت get.draco.sh الذي يعلنه موقع المشروع لا يُحلّ. لا يوجد عنوان URL مباشر لإصدار يمكن التنزيل منه، لذلك تبدأ الأوامر أدناه على جهاز تملك فيه مسبقاً أرشيف v0.20.5، وهو draco-linux-x86-64.tar.gz، وSHA256SUMS الخاص به في /tmp، وقد احتفظت بهما من تنزيل سابق أو نسختهما من جهاز تثق به. لا تسد هذه الفجوة باستخدام mirror لم تتحقق منه: ملف checksum يقدمه mirror نفسه لا يثبت شيئاً عن الملف الثنائي.
cd /tmp
sha256sum --ignore-missing -c SHA256SUMSيطبع ذلك draco-linux-x86-64.tar.gz: OK. يعني السطر FAILED أن البايتات التي لديك ليست البايتات التي نشرها المشروع، لذا احذفها وابدأ من جديد.
mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.comيطبع الأمر الأخير صفحة المثال بصيغة markdown. قيمة find ليست للزينة: بنية الأرشيف ليست جزءاً من العقد العام للمشروع، كما أن المثبّت الرسمي الذي جرى التحقق منه آخر مرة في 12 October 2026 يحدد موقع الملف الثنائي بالطريقة نفسها.
شغّل daemon باستخدام حسابه الخاص بدلاً من حساب المستخدم الذي تسجّل الدخول به. اكتب /etc/systemd/system/draco.service:
[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target
[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.targetsudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/healthتجيب /health فور بدء daemon في الاستماع. يعني Connection refused أنه لا يستمع، لذا اقرأ journalctl -u draco -n 50. السبب المعتاد هو وجود عملية أخرى تستخدم المنفذ 3002، لأنه المنفذ الافتراضي أيضاً لـFirecrawl. تنقل --port Draco. لا يملك Firecrawl المستضاف ذاتياً هذا الخيار: يأتي منفذه من متغير PORT في ملف Compose الخاص به، ويُنشر كـ"${PORT:-3002}:${INTERNAL_PORT:-3002}"، لذلك غيّر المنفذ المنشور هناك وحافظ على استخدامه نفسه لدى جميع العملاء. لمزيد من التفاصيل حول ملفات الوحدات: ملفات وحدات وخدمات ومؤقتات systemd.
نفّذ الآن الجلب بالطريقة التي سيستخدمها agent لديك:
curl -X POST http://127.0.0.1:3002/v1/scrape \
-H 'content-type: application/json' \
-d '{"url": "https://example.com", "formats": ["markdown"]}'أبقِ خدمة fetch daemon خارج الإنترنت العام
تُعد واجهة fetch API التي لا تستخدم المصادقة وكيلاً مفتوحاً. يمكن لأي شخص يستطيع الوصول إلى المنفذ أن يجعل خادمك يطلب أي URL باستخدام عنوان IP الخاص بك، وستصل بلاغات إساءة الاستخدام إلى مزود الخدمة لديك، لا إلى ذلك الشخص. لم تتضمن أعلام Draco serve الموثقة في 12 أكتوبر 2026 مفتاح API، لذلك يجب أن توفر الشبكة الحماية. أبقِ عملية الربط الافتراضية 127.0.0.1 عندما يعمل الـagent على الخادم نفسه. وعندما يكون الـagent على جهاز آخر، صِل الطرفين عبر نفق خاص؛ ويُعد نفق WireGuard تستضيفه بنفسك الخيار المعتاد. اربط الخدمة بعنوان النفق بدلاً من 0.0.0.0. ثم تحقق من جهاز آخر من أن عنوان IP العام لا يستجيب لأي طلب. يغطي أساسيات جدار ufw وحسابات المستخدمين بأقل قدر من الامتيازات جانبي الحماية.
هل سيتغير رمز وكيلك؟ توافق API عملياً
يستجيب Draco لمسارات Firecrawl v1 التالية: /v1/scrape و/v1/map و/v1/crawl و/v1/batch/scrape و/v1/search، ويذكر ملف README الخاص به، الذي أُجريت آخر مراجعة له في 12 October 2026، أن الحقول غير المعروفة تُقبل وتُتجاهل. يعتمد التوافق على الميزات المطلوبة: يذكر الموقع الرسمي لـDraco أن لقطات الشاشة والنقرات تعيد HTTP 422، لذلك يحتاج عميل Firecrawl v1 الذي يطلب إجراءات صفحة غير مدعومة إلى تغيير الطلبات، بالإضافة إلى تغيير عنوان URL الأساسي. راقب ما تغيّر في الطرف الآخر: يختبر دليل Firecrawl للاستضافة الذاتية الآن بشكل أولي عبر إرسال POST إلى /v2/scrape، بينما تستخدم SDKs الحالية v2 افتراضياً، في حين يسرد موقع Draco مسارات v1. اختبر كل استدعاء باستخدام curl قبل تعديل رمز الوكيل، واقرأ نص JSON بدلاً من الاكتفاء برمز الحالة، لأن أسماء الحقول هي موضع اختلاف هذه التطبيقات عن بعضها.
ملف Robots.txt، وحدود المعدل، والحد الذي يجب ألا تتجاوزه
يقرأ Draco ملف robots.txt تلقائياً، ويوثّق ملف README الخاص به، وفقاً لآخر مراجعة في 12 October 2026، خيار --ignore-robots لتعطيل ذلك. يوثّق Firecrawl الإعداد الافتراضي نفسه. اترك الإعدادين كما هما. لا يفحص Hound robots.txt إلا عند تمرير respect_robots=True إلى smart_fetch، لذا فعّله هناك. ثم اضبط السرعة بنفسك: وفقاً للتوثيق في 12 October 2026، يضيف --delay في Draco فواصل زمنية بالميلي ثانية بين الطلبات، بينما يحدّد --max-concurrency عدد المهام المتوازية، وتبلغ قيمته الافتراضية في البرنامج الخفي 8. استخدام قيمة من 2 إلى 4 ألطف على اتصال VPS مشترك، ونادراً ما يكون أبطأ إجمالاً، لأن الموقع الذي يبدأ في تطبيق حدود المعدل عليك يكلّفك دقائق أكثر مما توفره زيادة التوازي. خزّن مؤقتاً كل ما تجلبه، حتى لا تفرض الجولة الثانية للوكيل أي تكلفة على المصدر. وهذا أيضاً أرخص بند في التحكم في تكلفة وكيل الذكاء الاصطناعي عليك.
تحديات التحقق موضوع منفصل، وقد صُمّم Trawl تحديداً للتعامل مع Cloudflare Turnstile وreCAPTCHA وhCaptcha وGeeTest. تعني صفحة التحقق أن الموقع يرفض حركة المرور الآلية بشكل صريح. تجاوزها يضعك في مخالفة شروط استخدام الموقع، وقد يخالف القانون في بعض الأماكن، لذلك يقتصر هذا الدليل على بنية جلب المحتوى ولا يتناول تجاوزها. والتقنيات نفسها التي تنجح في تجاوز صفحة التحقق هي التي يراقبها مالكو المواقع ويحظرونها، ما يجعل أي مسار عمل يعتمد عليها هشاً ومسيئاً في الوقت نفسه. عندما يكون المصدر مهماً إلى هذا الحد، ابحث عن خلاصة RSS الخاصة به، أو واجهة API العامة، أو تصدير مجمّع. كل خيار منها أقل تكلفة في التشغيل، ولا يتعطل في الأسبوع الذي يغيّر فيه الموقع صفحة التحقق.
اربطه بوكيل عبر MCP
MCP (بروتوكول سياق النموذج) هو الواجهة التي يستخدمها الوكيل لاستدعاء أداة. ويحدّد الغلاف الذي يعمل النموذج بداخله الأدوات التي تصل إلى النموذج أصلاً، وما إذا كان مسموحاً له باستدعاء أداة من دون طلب موافقتك أولاً. لذلك لا يمثّل تشغيل البرنامج الخفي واستماعه سوى نصف عملية الربط. يتضمن Draco خادم MCP في الملف التنفيذي نفسه، عبر stdio:
{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }تسرد وثيقة README، وفق آخر مراجعة في 12 October 2026، draco_scrape وdraco_discover وdraco_search لاستخدام stdio؛ أما مجموعة draco_interact_* فتخص نقطة نهاية HTTP لـMCP في البرنامج الخفي. لا يعمل stdio إلا عندما تكون عملية الوكيل والملف التنفيذي على الجهاز نفسه، لأن النقل يستخدم الإدخال القياسي لتلك العملية. إذا كان الوكيل على مضيف آخر، فإن Hound يوفّر MCP عبر HTTP بدلاً من ذلك: ينشر hound --http --host 127.0.0.1 --port 8765 نقطة نهاية على http://127.0.0.1:8765/mcp، ويمكنك الوصول إليها عبر النفق. تجد خيارات النقل وما ينبغي تعريضه في تشغيل خوادم MCP على VPS.
اجلب النتائج مع البحث. الوكيل الذي يستطيع الجلب فقط ينتظر منك تزويده بعناوين URL. أضف مثيل بحث SearXNG مستضافاً ذاتياً ليتمكن من العثور عليها بنفسه، بالبنية نفسها التي يستخدمها مَهمّة البحث في المتصفح المبنية على SearXNG. بعد تشغيل البرنامج الخفي، تصبح هذه خدمة مشتركة لأي من وكلاء الذكاء الاصطناعي المستضافين ذاتياً الذين تشغّلهم. إذا كان جانب الوكيل هو الجزء الذي لا تثق به كثيراً، فإن كتابة حلقة وكيل صغيرة يدوياً أولاً توضّح موضع توصيل أداة الجلب وما يفعله النموذج بعلامات Markdown التي يستلمها.
FAQ
هل أحتاج إلى متصفح يعمل دون واجهة رسومية لجلب الصفحات لوكيل ذكاء اصطناعي؟
ليس لمعظم الصفحات. تصل الوثائق والمقالات الإخبارية والمدونات المُنشأة على الخادم كاملةً عند استخدام جلب HTTP عادي مع تحويل HTML إلى Markdown، وهذا ما يفعله Draco في مستوياته الدنيا بزمن يقارب 300 ms لكل صفحة من دون متصفح، وفق أرقام المشروع نفسه. تحتاج التطبيقات المُنشأة على جانب العميل إلى متصفح، لأن HTML الذي تُسلّمه يكون مجرد هيكل فارغ. تغطي V8 isolate في Draco جزءاً كبيراً من هذه الحالة الوسطية من دون عملية متصفح، وتخرج بالرمز 3، needs_browser، عندما يتعذر عليها ذلك.
ما مقدار RAM الذي يحتاج إليه Firecrawl المستضاف ذاتياً على VPS؟
يحدّد ملف Compose سقفاً قدره 8 GB لحاوية api، و4 GB لحاوية Playwright. كما تبدأ الحزمة نفسها Redis وRabbitMQ وPostgreSQL وFoundationDB. لا ينشر Firecrawl حداً أدنى موثّقاً لحجم الخادم المضيف لهذه الحزمة. عند الضغط على الذاكرة، ينهي قاتل نفاد الذاكرة في kernel العمليات. وإذا توقفت حاوية، فلا يعيد ملف Compose المرفق تشغيلها تلقائياً. افحص docker compose ps --all بحثاً عن الحاويات المتوقفة، وأكّد وقوع حدث OOM باستخدام dmesg -T | tail.
هل يُعد Draco بديلاً مباشراً لـ API الخاص بـ Firecrawl؟
هو قريب من ذلك بالنسبة إلى نقاط النهاية v1. يوفّر /v1/scrape و/v1/map و/v1/crawl و/v1/batch/scrape و/v1/search، لكن التوافق يعتمد على الميزات المطلوبة. تُرجع لقطات الشاشة والنقرات HTTP 422، لذلك تحتاج العملاء الذين يطلبون إجراءات صفحات غير مدعومة إلى تعديل الطلبات، إضافةً إلى تغيير عنوان URL الأساسي. تستخدم حزم SDK الحالية الخاصة بـ Firecrawl الإصدار v2 افتراضياً، بينما يسرد موقع Draco مسارات v1. تحقّق أولاً من كل استدعاء يجريه وكيلك باستخدام curl.
هل يعني الاستضافة الذاتية لأداة كشط الويب أنني أستطيع تجاهل robots.txt؟
لا. لا يغيّر مكان تشغيل الشيفرة شيئاً مما ينشره الموقع أو ما تسمح به شروطه. يحترم كل من Draco وFirecrawl robots.txt افتراضياً، ويتوفر خيار التجاوز للمواقع التي تملكها أو التي منحتك إذناً كتابياً لكشطها. تُطبَّق حدود المعدل في الطرف البعيد على أي حال، لذلك يحافظ --delay مهذب مع تزامن منخفض على صلاحية استخدام عنوان IP الخاص بك. الحزمة التي لا تعمل إلا عبر تجاوز جدار التحديات هي حزمة تتعطل من دون تحذير.