SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor

بهترین جایگزین‌های self-hosted برای Firecrawl روی VPS

مقایسه فنی Draco، Hound و نسخه self-hosted از Firecrawl بر اساس مصرف RAM و نیاز به headless browser. راهنمای نصب نسخه ثابت و اتصال به agent از طریق پروتکل MCP.

الزامات یک جایگزین self-hosted برای Firecrawl

یک جایگزین self-hosted برای Firecrawl تنها یک وظیفه دارد: دریافت یک URL و بازگرداندن محتوای صفحه به صورت markdown تمیز که برای یک agent قابل خواندن باشد. APIهای میزبانی‌شده (hosted) به ازای هر صفحه هزینه دریافت می‌کنند، بنابراین با افزایش کنجکاوی agent شما، صورت‌حساب نیز افزایش می‌یابد؛ در حالی که یک VPS که از قبل هزینه‌اش را پرداخت کرده‌اید، می‌تواند همان کار را انجام دهد. پروژه‌ها بر سر یک پرسش اصلی تقسیم می‌شوند: آیا یک headless browser (موتور مرورگر واقعی که بدون پنجره اجرا می‌شود) باید روی سرور شما اجرا شود؟

پاسخ به این پرسش، میزان مصرف حافظه، هزینه هر صفحه و اینکه کدام صفحات به صورت خالی بازگردانده می‌شوند را تعیین می‌کند. این راهنما پروژه‌های Draco، Hound و نسخه self-hosted از Firecrawl را مقایسه کرده، سبک‌ترین آن‌ها را در یک نسخه ثابت (pinned version) نصب می‌کند و آن را از طریق MCP (پروتکل مدل کانتکست) به یک agent متصل می‌نماید.

چهار پروژه و ماهیت واقعی هر یک

Draco یک باینری واحد است که با زبان Rust نوشته شده و تحت مجوز MIT یا Apache-2.0 عرضه می‌شود. draco scrape <url> خروجی مارک‌داون را به stdout می‌فرستد. draco serve یک دیمون را اجرا می‌کند که روی 127.0.0.1:3002، یعنی پورتی که Firecrawl از آن استفاده می‌کند، پاسخ می‌دهد. طبق مستندات مورخ 12 اکتبر 2026، این پروژه هیچ ایمیج کانتینری ارائه نمی‌دهد و به‌صورت پیش‌فرض هیچ مرورگری را اجرا نمی‌کند. تا تاریخ 12 اکتبر 2026، مخزن بالادستی آن در github.com/0xchasercat/draco، حساب کاربری پشت آن و دانلودهای نسخه (release) همگی خطای 404 Not Found را برمی‌گردانند. در آن بررسی، یک فورک عمومی همچنان سورس و تگ‌ها را تا نسخه v0.24.0 حفظ کرده بود اما هیچ بیلد رسمی منتشر نکرده بود؛ بنابراین پیش از برنامه‌ریزی برای استفاده از آن، بخش نصب در ادامه را مطالعه کنید.

Firecrawl self-hosted موتور اصلی محصول میزبانی‌شده (hosted) است که تحت مجوز AGPL-3.0 قرار دارد. فایل docker-compose.yaml آن هفت سرویس را تعریف می‌کند: playwright-service، api، redis، rabbitmq، nuq-postgres، foundationdb و foundationdb-init. شما صف واقعی خزش (crawl) را دریافت می‌کنید، اما به قیمت اجرای یک سیستم توزیع‌شده کوچک.

Hound در مخزن master-fetch قرار دارد و به عنوان hound-mcp در PyPI عرضه می‌شود. این پروژه تحت مجوز MIT است و تا تاریخ 12 اکتبر 2026، نسخه 13.2.0 آن (منتشرشده در 26 اوت 2026) موجود است. این ابزار به Python 3.11 یا جدیدتر نیاز دارد. این پروژه در درجه اول یک سرور MCP و در درجه دوم یک ابزار واکشی (fetcher) است: ابتدا HTTP ساده را امتحان می‌کند و اگر واکشی ساده مسدود شد یا یک شل جاوااسکریپت برگرداند، به مرورگر Patchright ارتقا می‌یابد؛ تنظیمات مبتنی بر مرورگر آن، یک مرورگر را در زمان راه‌اندازی گرم (warm) می‌کند.

Trawl به این دلیل در اینجا ذکر شده که کاربران هنگام جستجو برای سایر ابزارها با آن مواجه می‌شوند، اما وظیفه متفاوتی دارد. این ابزار چالش‌های جاوااسکریپت و CAPTCHAها را با یک فایرفاکس دارای پچ اثر انگشت (fingerprint-patched) حل می‌کند و جایگزینی برای FlareSolverr در یک استک رسانه‌ای *arr است. این ابزار اکنون مارک‌داون را نیز می‌خواند و JSON ساختاریافته را از طریق MCP استخراج می‌کند. بخش مربوط به آداب استفاده (etiquette) در ادامه توضیح می‌دهد که چرا نقش آن در حل چالش‌ها تعیین می‌کند که آیا اصلاً در استک عامل (agent stack) شما جایگاهی دارد یا خیر.

چرا استخر مرورگرها عامل اصلی شکست در VPSهای کوچک است

هر تب مرورگر باز، یک پردازش رندرکننده مجزا است که DOM (مدل شیء‌گرای سند) و heap جاوااسکریپت اختصاصی خود را دارد. بنابراین، مصرف حافظه با تعداد صفحات باز در یک لحظه مقیاس می‌شود، نه با تعداد صفحاتی که در روز واکشی می‌شوند. دو مورد از این پروژه‌ها، این هزینه را در فایل‌های compose خود لحاظ کرده‌اند.

نمودارMemory ceilings each project sets in its own compose file (GB)
داده‌های پشت این نمودار
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

فایل compose مربوط به Firecrawl، کانتینر api خود را روی 8 گیگابایت و کانتینر Playwright خود را روی 4 گیگابایت محدود کرده است که با محدودیت‌های swap متناظر همراه است. فایل compose پروژه Hound، مقدار 3 گیگابایت را برای کانتینری که شامل یک Chromium بسته‌بندی‌شده است، تعیین می‌کند. این‌ها سقف‌هایی هستند که خود پروژه‌ها انتخاب کرده‌اند؛ ارقامی منتشرشده که لزوماً نشان‌دهنده مصرف یک سیستم در حالت بیکار نیستند. علاوه بر این، Redis، RabbitMQ، PostgreSQL و FoundationDB نیز سهم خود را از حافظه علاوه بر اعداد اعلامی Firecrawl طلب می‌کنند.

تعیین سقفی بالاتر از RAM موجود، به معنای رزرو آن حافظه نیست. هنگامی که حافظه سرور تمام می‌شود، مکانیزم out-of-memory killer در هسته سیستم‌عامل، یک پردازش را خاتمه می‌دهد؛ در نتیجه، کانتینر از docker compose ps ناپدید می‌شود بدون آنکه خطایی در لاگ برنامه ثبت شود. فایل Compose ارائه‌شده توسط Firecrawl هیچ سیاست restart خودکاری ندارد، بنابراین کانتینری که توسط OOM خاتمه یافته، متوقف باقی می‌ماند؛ docker compose ps --all شامل کانتینرهای متوقف‌شده نیز می‌شود. پس از یک توقف غیرمنتظره، dmesg -T | tail را مطالعه کنید. Firecrawl حداقل اندازه تأییدشده برای میزبان این پشته را منتشر نکرده است، بنابراین اندازه سرور را بر اساس حجم کاری خود انتخاب کنید. تنظیم اعداد برای هر سرویس در محدودیت‌های حافظه در Docker Compose پوشش داده شده است.

یک جزئیات دیگر در مورد مرورگرها وجود دارد که می‌تواند یک شب وقت شما را بگیرد. داکر به صورت پیش‌فرض 64 مگابایت حافظه اشتراکی در /dev/shm به کانتینر اختصاص می‌دهد، اما سرویس Playwright در Firecrawl، مرورگر Chromium را با --disable-dev-shm-usage اجرا می‌کند که از آن پارتیشن کوچک برای فایل‌های حافظه اشتراکی اجتناب می‌کند. فایل compose پروژه Hound این مقدار را با shm_size: "1gb" افزایش می‌دهد؛ لایه مرورگر پویا در آن، --disable-dev-shm-usage را از طریق Patchright از Playwright به ارث می‌برد و نه حذف سوئیچ‌های Patchright و نه ignore_default_args در Hound، آن را حذف نمی‌کنند. فایل compose پروژه Firecrawl هیچ shm_size تنظیم نمی‌کند: بلوک playwright-service در آن، محدودیت‌های CPU و حافظه و یک tmpfs با حجم 1 گیگابایت در /tmp/.cache تعیین می‌کند، بنابراین آن کانتینر همان مقدار پیش‌فرض 64 مگابایت را حفظ می‌کند. پیش از کپی کردن خط مربوط به Hound در ایمیجی که حول Playwright می‌سازید، فلگ‌های اجرای Chromium را بررسی کنید.

کیفیت استخراج در صفحات متکی به JavaScript

در صفحات HTML ایستا، وبلاگ‌های رندرشده در سمت سرور، صفحات مستندات و مقالات خبری، خروجی Markdown تقریباً یکسانی تولید می‌شود و سریع‌ترین ابزار برنده است. تفاوت زمانی آشکار می‌شود که با صفحات رندرشده در سمت کلاینت (client-rendered) مواجه هستیم؛ جایی که HTML تحویل‌داده‌شده یک پوسته خالی است و متن پس از بارگذاری توسط JavaScript دریافت می‌شود.

ابزار Draco به صورت لایه‌بندی‌شده عمل می‌کند. لایه 0 و لایه 1، فایل HTML را بدون اجرای هیچ‌گونه JavaScript تجزیه می‌کنند. لایه 2، کد JavaScript صفحه را در یک V8 isolate درون‌پردازشی اجرا می‌کند؛ این همان موتور JavaScript است که بدون محیط مرورگر اجرا می‌شود و طبق مستندات README، کد صفحه در این محیط به هیچ قابلیت میزبان (host capability) دسترسی ندارد. این روش بسیاری از برنامه‌های تک‌صفحه‌ای (SPA) را با کسری از حافظه مصرفی یک مرورگر کامل پوشش می‌دهد. زمانی که Draco به بن‌بستی می‌رسد که قادر به عبور از آن نیست، draco scrape با کد خروج 3 یعنی needs_browser متوقف می‌شود. این مورد را در اسکریپت‌های خود بررسی کنید، زیرا یک فایل خالی با کد خروج صفر، خطایی است که به‌آرامی زمینه (context) یک عامل (agent) را مسموم می‌کند:

draco scrape https://example.com > page.md
echo "exit=$?"

سرویس playwright-service در Firecrawl یک نمونه واقعی از Chromium را هدایت می‌کند، بنابراین دقیقاً همان چیزی را رندر می‌کند که یک مرورگر نمایش می‌دهد. نسخه self-hosted با محصول ابری (hosted) تفاوت دارد: مستندات ذکر می‌کنند که Fire-engine، که شامل رفتارهای پیشرفته ضد ربات (anti-bot) سرویس ابری است، در این نسخه گنجانده نشده است. همچنین اسکرین‌شات‌ها و تعاملات صفحه در پشته پیش‌فرض در دسترس نیستند و برای استفاده از قابلیت‌های Agent، Browser و interact، مستندات شما را به Firecrawl Cloud ارجاع می‌دهند. ابزار Hound عمداً در جایگاهی میان این دو قرار گرفته است. این ابزار داده‌ها را از طریق HTTP دریافت کرده و بر اساس هر درخواست، سطح پردازش را ارتقا می‌دهد. مرورگر گرم (warm browser) آن نیز پس از یک دوره عدم فعالیت (idle timeout) بسته می‌شود تا یک سرور کم‌مصرف، نزدیک به وضعیت پایه (baseline) باقی بماند.

نصب Draco با نسخه ثابت (Pinned)

فایل README یک اسکریپت نصب تک‌خطی را مستند کرده است. پیش از آنکه خروجی آن را مستقیماً به shell بفرستید، محتوای آن را بررسی کنید: طبق مستندات تاریخ 12 October 2026، این اسکریپت برنامه را در $HOME/.draco/bin/draco نصب می‌کند، همیشه نسخه latest را دریافت می‌کند و هیچ امضا یا هشی را بررسی نمی‌کند. روی سرور، نسخه را ثابت (pin) کنید و فایل دانلود شده را اعتبارسنجی نمایید. دستورالعمل‌های v0.20.5 در زیر، تنظیماتی را حفظ می‌کنند که در تاریخ 12 October 2026 بررسی شده است؛ مستندات upstream برای این نسخه ثابت، جهت بازبینی مجدد در دسترس نیست.

از تاریخ 12 October 2026، لینک‌های دانلود نسخه این پروژه خطای 404 Not Found برمی‌گردانند، زیرا مخزن upstream دیگر پاسخگو نیست و دامنه نصب‌کننده get.draco.sh که در سایت پروژه تبلیغ شده، resolve نمی‌شود. هیچ URL فعالی برای دریافت نسخه وجود ندارد، بنابراین دستورات زیر روی سیستمی اجرا می‌شوند که شما از قبل آرشیو v0.20.5 یعنی draco-linux-x86-64.tar.gz و فایل SHA256SUMS آن را در مسیر /tmp دارید (که از دانلود قبلی حفظ شده یا از سیستمی که به آن اعتماد دارید کپی شده است). این خلأ را با آینه‌ای (mirror) که بررسی نکرده‌اید پر نکنید: فایل checksum که از همان آینه ارائه می‌شود، هیچ مدرکی برای صحت فایل باینری نیست.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

این دستور draco-linux-x86-64.tar.gz: OK را چاپ می‌کند. وجود یک خط FAILED به این معنی است که بایت‌هایی که در اختیار دارید با بایت‌هایی که پروژه منتشر کرده مطابقت ندارد؛ پس آن‌ها را حذف کرده و دوباره شروع کنید.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

دستور آخر، صفحه نمونه را به صورت markdown چاپ می‌کند. بخش find صرفاً تزئینی نیست: ساختار آرشیو بخشی از قرارداد عمومی پروژه نیست و نصب‌کننده رسمی که آخرین بار در 12 October 2026 بررسی شد، فایل باینری را به همین روش پیدا می‌کند.

دیمون را به جای کاربر فعلی خود، تحت حساب کاربری اختصاصی‌اش اجرا کنید. فایل /etc/systemd/system/draco.service را بنویسید:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

به محض اینکه دیمون روی پورت گوش دهد، /health پاسخ می‌دهد. Connection refused به این معنی است که دیمون در حال گوش دادن نیست، پس journalctl -u draco -n 50 را بخوانید. دلیل معمول این است که پردازش دیگری پورت 3002 را اشغال کرده است، چرا که این پورت پیش‌فرض Firecrawl نیز هست. --port مسیر Draco را تغییر می‌دهد. نسخه self-hosted فایروال چنین فلگی ندارد: پورت آن از متغیر PORT در فایل Compose تعیین می‌شود که به صورت "${PORT:-3002}:${INTERNAL_PORT:-3002}" منتشر شده است، بنابراین پورت منتشر شده را در آنجا تغییر دهید و همه کلاینت‌ها را با آن هماهنگ نگه دارید. بررسی عمیق‌تر فایل‌های unit: systemd service units and timers.

اکنون همان‌طور که ایجنت شما عمل می‌کند، داده‌ها را دریافت کنید:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

دیمون fetch را از دسترس اینترنت عمومی خارج کنید

یک API از نوع fetch بدون احراز هویت، یک پروکسی باز محسوب می‌شود. هر کسی که به این پورت دسترسی داشته باشد، می‌تواند سرور شما را وادار کند تا هر URL دلخواهی را با IP شما درخواست کند؛ در این صورت گزارش‌های سوءاستفاده به جای مهاجم، برای ارائه‌دهندهٔ خدمات شما ارسال می‌شود. فلگ‌های serve در Draco که در تاریخ 12 اکتبر 2026 مستند شده‌اند، فاقد کلید API هستند، بنابراین امنیت باید در سطح شبکه تأمین شود. هنگامی که agent روی همان سرور اجرا می‌شود، از bind پیش‌فرض 127.0.0.1 استفاده کنید. زمانی که agent در جای دیگری قرار دارد، هر دو سمت را روی یک تونل خصوصی قرار دهید؛ یک VPN از نوع WireGuard که خودتان میزبانی می‌کنید راهکار معمول برای این کار است و باید به جای 0.0.0.0، روی آدرس تونل bind کنید. سپس از یک دستگاه دیگر بررسی کنید که IP عمومی به هیچ درخواستی پاسخ نمی‌دهد. اصول اولیه فایروال ufw و حساب‌های کاربری با حداقل دسترسی دو بخش اصلی این موضوع را پوشش می‌دهند.

آیا کد عامل (agent) شما تغییر خواهد کرد؟ سازگاری API در عمل

Draco به مسیرهای Firecrawl v1 یعنی /v1/scrape، /v1/map، /v1/crawl، /v1/batch/scrape و /v1/search پاسخ می‌دهد و فایل README آن که آخرین بار در 12 اکتبر 2026 بررسی شده، اعلام می‌کند که فیلدهای ناشناخته پذیرفته و نادیده گرفته می‌شوند. سازگاری به ویژگی‌های درخواستی بستگی دارد: سایت رسمی Draco بیان می‌کند که اسکرین‌شات‌ها و کلیک‌ها کد وضعیت HTTP 422 برمی‌گردانند، بنابراین کلاینت Firecrawl v1 که درخواست عملیات‌های پشتیبانی‌نشده روی صفحه را دارد، علاوه بر تغییر base URL، نیاز به تغییر در درخواست‌ها نیز دارد. تغییرات سمت مقابل را زیر نظر داشته باشید: راهنمای self-hosting خودِ Firecrawl اکنون با یک درخواست POST به /v2/scrape تست‌های smoke را انجام می‌دهد و SDKهای فعلی به‌صورت پیش‌فرض از v2 استفاده می‌کنند، در حالی که سایت Draco مسیرهای v1 را فهرست کرده است. پیش از ویرایش کد عامل، هر فراخوانی را با curl تست کنید و به‌جای تکیه بر کد وضعیت، بدنه JSON را بخوانید، زیرا نام فیلدها همان جایی است که این پیاده‌سازی‌ها از هم فاصله می‌گیرند.

فایل Robots.txt، محدودیت‌های نرخ (rate limits) و رعایت حریم مجاز

ابزار Draco به‌صورت پیش‌فرض robots.txt را می‌خواند و فایل README آن که آخرین بار در تاریخ 12 October 2026 بررسی شده، نحوه غیرفعال کردن آن را با --ignore-robots مستند کرده است. Firecrawl نیز همین رفتار پیش‌فرض را دارد. تنظیمات هر دو را به همان حالت رها کنید. ابزار Hound تنها زمانی robots.txt را بررسی می‌کند که respect_robots=True به smart_fetch ارسال شود، بنابراین آن را در آنجا فعال کنید. سپس سرعت خود را تنظیم کنید: همان‌طور که در تاریخ 12 October 2026 مستند شده است، --delay در Draco میلی‌ثانیه‌ها را بین درخواست‌ها تعیین می‌کند و --max-concurrency تعداد کارهای موازی را محدود می‌سازد که مقدار پیش‌فرض آن در daemon برابر با 8 است. تنظیم این مقدار روی 2 تا 4 برای یک لینک VPS اشتراکی مناسب‌تر است و به‌ندرت باعث کندی کلی می‌شود، زیرا سایتی که شروع به اعمال محدودیت نرخ روی شما می‌کند، زمان بیشتری نسبت به آنچه از طریق هم‌زمانی (concurrency) ذخیره کرده‌اید، از شما می‌گیرد. آنچه را دریافت می‌کنید کش (cache) کنید تا اجرای دوم عامل (agent) هیچ هزینه‌ای برای منبع نداشته باشد. این موضوع همچنین ارزان‌ترین ردیف در کنترل هزینه‌های عامل هوش مصنوعی است.

دیوارهای چالش (Challenge walls) موضوعی جداگانه هستند و Trawl دقیقاً برای همین ساخته شده است: Cloudflare Turnstile، reCAPTCHA، hCaptcha و GeeTest. دیوار چالش به معنای آن است که یک سایت به‌صراحت از پذیرش ترافیک خودکار خودداری می‌کند. دور زدن این دیوارها شما را در برابر شرایط استفاده از سایت و در برخی مناطق در برابر قانون قرار می‌دهد، بنابراین این راهنما تنها زیرساخت‌های دریافت داده را پوشش می‌دهد و در همان‌جا متوقف می‌شود. همان تکنیک‌هایی که از دیوار عبور می‌کنند، مواردی هستند که مالکان سایت آن‌ها را زیر نظر دارند و مسدود می‌کنند، که باعث می‌شود هر خط لوله‌ای که بر پایه آن‌ها ساخته شده، هم شکننده و هم غیراخلاقی باشد. زمانی که یک منبع اهمیت زیادی دارد، به دنبال RSS feed، API عمومی یا خروجی انبوه (bulk export) آن باشید. اجرای هر یک از این موارد ارزان‌تر است و هیچ‌کدام با تغییر دیوار در طول هفته از کار نمی‌افتند.

اتصال آن به یک عامل از طریق MCP

پروتکل MCP (مخفف model context protocol) رابطی است که یک عامل (agent) برای فراخوانی ابزار از آن استفاده می‌کند. این‌که کدام ابزارها در دسترس مدل قرار می‌گیرند و آیا مدل مجاز است بدون پرسش از شما ابزاری را فراخوانی کند یا خیر، در سطحی بالاتر توسط محیط اجرای مدل تعیین می‌شود؛ بنابراین، فعال کردن daemon تنها نیمی از مسیر اتصال است. Draco یک سرور MCP را در همان فایل اجرایی و از طریق stdio به همراه دارد:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

فایل README که آخرین بار در تاریخ 12 اکتبر 2026 بررسی شده است، draco_scrape، draco_discover و draco_search را برای stdio فهرست می‌کند؛ مجموعه draco_interact_* مربوط به endpoint پروتکل MCP از نوع HTTP در daemon است. حالت Stdio تنها زمانی کار می‌کند که فرآیند عامل و فایل اجرایی روی یک ماشین باشند، زیرا بستر انتقال، ورودی استاندارد (standard input) همان فرآیند است. برای عاملی که روی میزبان دیگری قرار دارد، Hound پروتکل MCP را از طریق HTTP ارائه می‌دهد: hound --http --host 127.0.0.1 --port 8765 یک endpoint را در http://127.0.0.1:8765/mcp منتشر می‌کند که می‌توانید از طریق تونل به آن دسترسی پیدا کنید. انتخاب‌های مربوط به بستر انتقال و موارد قابل‌انتشار در اجرای سرورهای MCP روی یک VPS توضیح داده شده‌اند.

بازیابی جفت‌ها با جستجو. عاملی که فقط قابلیت بازیابی دارد، منتظر می‌ماند تا شما URLها را تأمین کنید. با افزودن یک نمونه SearXNG خودمیزبان، عامل می‌تواند خودش آن‌ها را پیدا کند؛ این کار مشابه مهارت جستجوی مرورگر مبتنی بر SearXNG است. هنگامی که daemon بالا بیاید، به یک سرویس مشترک برای هر یک از عوامل هوش مصنوعی خودمیزبان که اجرا می‌کنید تبدیل می‌شود. اگر بخش مربوط به عامل (agent side) همان قسمتی است که در آن کمترین اطمینان را دارید، نوشتن یک حلقه عامل کوچک به صورت دستی باعث می‌شود مشخص شود که ابزار fetch چگونه متصل می‌شود و مدل با markdown دریافتی چه کاری انجام می‌دهد.

FAQ

آیا برای دریافت صفحات برای یک ایجنت هوش مصنوعی به مرورگر headless نیاز دارم؟

برای اکثر صفحات، خیر. مستندات، وبلاگ‌ها و مقالات خبری که سمت سرور رندر می‌شوند، با یک درخواست ساده HTTP و سپس تبدیل HTML به markdown به‌طور کامل دریافت می‌شوند؛ این همان کاری است که Draco در سطوح پایین‌تر خود با سرعت تقریبی 300 میلی‌ثانیه برای هر صفحه (طبق آمارهای خود پروژه) انجام می‌دهد. مرورگر زمانی ارزش مصرف حافظه را دارد که با برنامه‌های رندرشده در سمت کلاینت سروکار داشته باشیم، جایی که HTML ارسالی یک پوسته خالی است. V8 isolate در Draco بخش بزرگی از این نیاز میانی را بدون پردازش مرورگر پوشش می‌دهد و در صورت عدم موفقیت، با کد خروجی 3، needs_browser، متوقف می‌شود.

Firecrawl خودمیزبان (self-hosted) روی یک VPS به چه مقدار RAM نیاز دارد؟

فایل compose این سرویس، سقف 8 گیگابایت را برای کانتینر api و 4 گیگابایت را برای کانتینر Playwright تعیین می‌کند؛ همین پشته (stack) همچنین Redis، RabbitMQ، PostgreSQL و FoundationDB را اجرا می‌کند. Firecrawl هیچ حداقل اندازه میزبان تأییدشده‌ای برای این پشته منتشر نکرده است. تحت فشار حافظه، قابلیت out-of-memory killer در هسته سیستم‌عامل، پردازش‌ها را خاتمه می‌دهد؛ اگر کانتینری متوقف شود، فایل Compose ارائه‌شده آن را به‌طور خودکار دوباره راه‌اندازی نمی‌کند. برای مشاهده کانتینرهای متوقف‌شده docker compose ps --all را بررسی کنید و وقوع رویداد OOM را با dmesg -T | tail تأیید نمایید.

آیا Draco جایگزین مستقیم برای API سرویس Firecrawl است؟

برای endpointهای نسخه v1، شباهت زیادی دارد. این سرویس /v1/scrape، /v1/map، /v1/crawl، /v1/batch/scrape و /v1/search را ارائه می‌دهد، اما سازگاری به ویژگی‌های درخواستی بستگی دارد: اسکرین‌شات‌ها و کلیک‌ها کد وضعیت HTTP 422 برمی‌گردانند، بنابراین کلاینت‌هایی که درخواست عملیات پشتیبانی‌نشده روی صفحه دارند، علاوه بر تغییر base URL، نیاز به تغییر در درخواست‌های خود نیز دارند. SDKهای فعلی Firecrawl به‌طور پیش‌فرض از v2 استفاده می‌کنند، در حالی که سایت Draco مسیرهای v1 را فهرست کرده است. هر تماسی که ایجنت شما برقرار می‌کند را ابتدا با curl بررسی کنید.

آیا خودمیزبانی یک scraper به این معنی است که می‌توانم robots.txt را نادیده بگیرم؟

خیر. محل اجرای کد، هیچ تغییری در آنچه یک سایت منتشر کرده یا آنچه شرایط استفاده‌اش مجاز می‌داند، ایجاد نمی‌کند. هم Draco و هم Firecrawl به‌طور پیش‌فرض به robots.txt احترام می‌گذارند و پرچم (flag) نادیده‌گرفتن آن برای سایت‌هایی وجود دارد که مالک آن‌ها هستید یا مجوز کتبی برای خزش (crawl) آن‌ها دارید. محدودیت‌های نرخ (rate limits) در هر صورت توسط مقصد اعمال می‌شوند، بنابراین یک --delay مؤدبانه با هم‌روندی (concurrency) پایین، باعث می‌شود آدرس IP شما همچنان فعال بماند. پشته‌ای که تنها با دور زدن دیواره‌های امنیتی (challenge wall) کار می‌کند، پشته‌ای است که بدون هشدار از کار می‌افتد.

آیا این مقاله مفید بود؟