SSD Nodes Learn Hosting plans →
מדריכים Matt Connorמאת Matt Connor

חלופות Firecrawl להתקנה עצמית על שרת VPS

השוואה בין Draco, Hound ו-Firecrawl בהתקנה עצמית לפי RAM, צורך בדפדפן headless ותאימות API, עם התקנה נעולה וחיבור MCP.

מה חלופה ל-Firecrawl בהתקנה עצמית חייבת לבצע

לחלופה ל-Firecrawl בהתקנה עצמית יש תפקיד אחד: לקבל URL ולהחזיר את הדף כ-markdown נקי שסוכן (agent) יכול לקרוא. ה-APIs המנוהלים גובים תשלום לפי דף, כך שהחשבון גדל ככל שהסוכן שלכם סקרן יותר, בעוד ששרת VPS שאתם כבר משלמים עליו יכול לבצע את אותה עבודה. הפרויקטים נבדלים בשאלה אחת: האם דפדפן headless (מנוע דפדפן אמיתי שרץ ללא חלון) חייב לעלות על השרת שלכם?

התשובה לשאלה זו קובעת את צריכת הזיכרון, את העלות של כל דף, ואילו דפים יחזרו ריקים. מדריך זה משווה בין Draco, Hound והגרסה של Firecrawl להתקנה עצמית, מתקין את הקלה ביותר בגרסה נעולה, ומחבר אותה לסוכן באמצעות MCP (model context protocol).

ארבעת הפרויקטים ומהו כל אחד מהם בפועל

Draco הוא בינארי יחיד, שנכתב ב־Rust ומופץ ברישיון MIT או Apache-2.0. draco scrape <url> מדפיס Markdown ל־stdout. draco serve מפעיל daemon שעונה ב־127.0.0.1:3002, הפורט שבו משתמש Firecrawl. לפי התיעוד מ־12 October 2026, הוא אינו מספק container image ואינו מפעיל browser כברירת מחדל. נכון ל־12 October 2026, מאגר המקור שלו ב־github.com/0xchasercat/draco, החשבון שמאחוריו וקובצי ההורדה של המהדורות שלו מחזירים כולם 404 Not Found. בבדיקה זו, fork ציבורי עדיין כלל את קוד המקור ואת ה־tags עד v0.24.0, אך לא פרסם builds של מהדורות. לכן קראו את סעיף ההתקנה שלהלן לפני שתבנו עליו.

Firecrawl self-hosted הוא המנוע שמאחורי המוצר המתארח, ברישיון AGPL-3.0. הקובץ docker-compose.yaml שלו מגדיר שבעה שירותים: playwright-service, api, redis, rabbitmq, nuq-postgres, foundationdb ו־foundationdb-init. כך מקבלים את תור הסריקה האמיתי, במחיר של הפעלת מערכת מבוזרת קטנה.

Hound נמצא במאגר master-fetch ומופץ ל־PyPI בשם hound-mcp, ברישיון MIT, בגרסה 13.2.0, שפורסמה ב־26 August 2026, נכון ל־12 October 2026. הוא דורש Python 3.11 ומעלה. זהו בראש ובראשונה שרת MCP ורק לאחר מכן fetcher: הוא מנסה HTTP רגיל, ומסלים ל־browser של Patchright כאשר הבקשה הרגילה נחסמת או מחזירה shell של JavaScript. בתצורה הכוללת browser, הוא מחמם browser בעת האתחול.

Trawl מופיע כאן משום שאנשים נתקלים בו במהלך חיפוש אחר האחרים, והוא מבצע משימה אחרת. הוא פותר אתגרי JavaScript ו־CAPTCHA באמצעות Firefox שעבר תיקון fingerprint, כתחליף ל־FlareSolverr ב־*arr media stack. כעת הוא גם קורא Markdown ומחלץ JSON מובנה דרך MCP. הסעיף שלהלן בנושא כללי שימוש מסביר מדוע תפקידו בפתרון אתגרים קובע אם הוא מתאים בכלל ל־agent stack שלכם.

מדוע מאגר הדפדפנים הוא המקום שבו שרתי VPS קטנים קורסים

כל לשונית דפדפן פתוחה היא תהליך renderer נפרד, שמחזיק DOM משלו (document object model) ו־heap JavaScript משלו. לכן צריכת הזיכרון גדלה לפי מספר הדפים הפתוחים באותו רגע, ולא לפי מספר הדפים שנמשכו במהלך היום. שניים מהפרויקטים האלה מגדירים את העלות הזו בקובצי ה־compose שלהם.

תרשיםMemory ceilings each project sets in its own compose file (GB)
הנתונים שמאחורי התרשים
[
  {
    "label": "Firecrawl api",
    "memory_limit_gb": 8
  },
  {
    "label": "Firecrawl playwright",
    "memory_limit_gb": 4
  },
  {
    "label": "Hound (browser included)",
    "memory_limit_gb": 3
  }
]

קובץ ה־compose של Firecrawl מגביל את קונטיינר ה־api שלו ל־8 GB ואת קונטיינר ה־Playwright שלו ל־4 GB, עם מגבלות swap תואמות. קובץ ה־compose של Hound מגדיר 3 GB לקונטיינר אחד שמכיל Chromium משולב. אלה תקרות שהפרויקטים בחרו ופרסמו, ולא מדידות של מערכת שקטה; Redis, RabbitMQ, PostgreSQL ו־FoundationDB עדיין זקוקים לחלקם בנוסף למספרים של Firecrawl.

תקרה שגבוהה מכמות ה־RAM שברשותכם אינה שומרת את הזיכרון הזה מראש. כאשר לשרת נגמר הזיכרון, מנגנון ה־out-of-memory killer של הליבה מסיים תהליך, ולכן קונטיינר נעלם מ־docker compose ps בלי שגיאה שנכתבה בלוג של היישום. קובץ ה־Compose שסופק עם Firecrawl אינו מגדיר מדיניות restart אוטומטית, ולכן קונטיינר שהסתיים בגלל OOM נשאר במצב stopped; docker compose ps --all כולל קונטיינרים שעצרו. קראו את dmesg -T | tail לאחר עצירה שלא ניתן להסביר. Firecrawl אינה מפרסמת גודל מינימלי מאומת של שרת מארח עבור ה־stack הזה, ולכן התאימו את גודל השרת לעומס העבודה שלכם. הגדרת המספרים לכל שירות מוסברת ב־מגבלות זיכרון ב־Docker Compose.

פרט נוסף הקשור לדפדפן עלול לעלות לכם בערב שלם. Docker מקצה לקונטיינר 64 MB של זיכרון משותף ב־/dev/shm, אך שירות ה־Playwright של Firecrawl מפעיל את Chromium עם --disable-dev-shm-usage, וכך נמנע מהמחיצה הקטנה הזו עבור קובצי הזיכרון המשותף. קובץ ה־compose של Hound מגדיל אותה באמצעות shm_size: "1gb"; שכבת הדפדפן הדינמית שלו יורשת את --disable-dev-shm-usage מ־Playwright דרך Patchright, והסרת מתגים על ידי Patchright, וכן רשימת ignore_default_args של Hound, אינן מסירות אותה. קובץ ה־compose של Firecrawl אינו מגדיר shm_size כלל: בלוק ה־playwright-service שלו מגדיר מגבלות CPU וזיכרון ו־tmpfs בגודל 1 GB ב־/tmp/.cache, ולכן הקונטיינר הזה שומר על ברירת המחדל של 64 MB. בדקו את דגלי ההפעלה של Chromium לפני שאתם מעתיקים את השורה של Hound לתמונה שאתם בונים סביב Playwright.

איכות החילוץ בדפים עתירי JavaScript

ב־HTML סטטי, בבלוג המרונדר בשרת, בדף תיעוד או בכתבת חדשות, כולם מחזירים Markdown כמעט זהה והמהיר מביניהם מנצח. ההבדל מופיע בדפים המרונדרים בצד הלקוח, שבהם ה־HTML המתקבל הוא מעטפת ריקה והטקסט מגיע מ־JavaScript לאחר הטעינה.

Draco מסלים את הפעולה בשלבים. שלב 0 ושלב 1 מנתחים את ה־HTML ללא JavaScript כלל. שלב 2 מריץ את ה־JavaScript של הדף בתוך V8 isolate פנימי, שהוא מנוע ה־JavaScript ללא דפדפן סביבו; ה־README מציין שקוד הדף אינו מקבל שם קישורים ליכולות המארח. זה מכסה יישומי Single-page רבים בשבריר מהזיכרון שצורך דפדפן. כאשר Draco נתקל במחסום שאינו יכול לעבור, draco scrape יוצא עם קוד 3, needs_browser. בדקו זאת בסקריפטים, כיוון שקובץ ריק עם קוד יציאה אפס הוא הכשל שמרעיל את ההקשר של הסוכן בשקט:

draco scrape https://example.com > page.md
echo "exit=$?"

ה־playwright-service של Firecrawl מפעיל Chromium אמיתי, לכן הוא מרנדר את מה שדפדפן מרנדר. הגרסה בהתקנה עצמית אינה המוצר בענן: התיעוד מציין ש־Fire-engine, הנושא את מנגנוני ה־anti-bot המתקדמים של שירות הענן, אינו כלול, שצילומי מסך ופעולות דף אינם זמינים ב־stack ברירת המחדל, ועבור Agent, Browser ו־interact הוא מפנה אתכם ל־Firecrawl Cloud. Hound ממוקם בכוונה באמצע. הוא מושך נתונים דרך HTTP ומסלים לפי בקשה, והדפדפן החם שלו נסגר לאחר זמן המתנה (idle timeout), כך ששרת שקט נשאר קרוב לצריכת הבסיס שלו.

התקנת Draco עם גרסה נעולה

הקובץ README תיעד מתקין בשורה אחת. קראו מה הוא עושה לפני העברתו בצינור (pipe) ל-shell: כפי שתועד ב-12 באוקטובר 2026, הוא מתקין ל-$HOME/.draco/bin/draco, הוא תמיד לוקח את גרסת ה-latest, והוא אינו בודק חתימה או hash. בשרת, נעלו את הגרסה ואמתו את ההורדה. ההוראות ל-v0.20.5 להלן משמרות את ההגדרה שנבדקה ב-12 באוקטובר 2026; התיעוד הרשמי של הגרסה הנעולה אינו זמין לבדיקה חוזרת.

נכון ל-12 באוקטובר 2026, הורדות הגרסאות של הפרויקט מחזירות 404 Not Found, כיוון שהמאגר המקורי אינו מגיב עוד, ודומיין המתקין get.draco.sh שמפורסם באתר הפרויקט אינו נפתר. אין כתובת URL פעילה להורדת גרסה, לכן הפקודות להלן מתחילות במכונה שבה כבר נמצא ארכיון v0.20.5, ה-draco-linux-x86-64.tar.gz, וה-SHA256SUMS שלו ב-/tmp, שנשמרו מהורדה מוקדמת או הועתקו ממכונה שאתם סומכים עליה. אל תמלאו את החסר באמצעות מראה (mirror) שלא בדקתם: קובץ checksum שמסופק מאותה מראה אינו מוכיח דבר לגבי ה-binary.

cd /tmp
sha256sum --ignore-missing -c SHA256SUMS

זה מדפיס draco-linux-x86-64.tar.gz: OK. שורת FAILED משמעותה שהבתים שבידיכם אינם הבתים שהפרויקט פרסם, לכן מחקו אותם והתחילו שוב.

mkdir -p draco-v0.20.5
tar -xzf draco-linux-x86-64.tar.gz -C draco-v0.20.5
sudo install -m 755 "$(find draco-v0.20.5 -type f -name draco | head -n1)" /usr/local/bin/draco
draco scrape https://example.com

הפקודה האחרונה מדפיסה את דף הדוגמה כ-markdown. ה-find אינו קישוט: מבנה הארכיון אינו חלק מהחוזה הציבורי של הפרויקט, והמתקין הרשמי שנבדק לאחרונה ב-12 באוקטובר 2026 מאתר את ה-binary באותה דרך.

הריצו את ה-daemon תחת חשבון משתמש משלו במקום תחת משתמש ה-login שלכם. כתבו את /etc/systemd/system/draco.service:

[Unit]
Description=Draco fetch daemon
After=network-online.target
Wants=network-online.target

[Service]
User=draco
ExecStart=/usr/local/bin/draco serve --host 127.0.0.1 --port 3002 --max-concurrency 4
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true

[Install]
WantedBy=multi-user.target
sudo useradd --system --no-create-home --shell /usr/sbin/nologin draco
sudo systemctl daemon-reload
sudo systemctl enable --now draco
curl -s http://127.0.0.1:3002/health

/health מגיב ברגע שה-daemon מאזין. Connection refused משמעותו שהוא אינו מאזין, לכן קראו את journalctl -u draco -n 50. הסיבה הנפוצה היא תהליך אחר שכבר תופס את 3002, כיוון שזהו גם הפורט המוגדר כברירת מחדל של Firecrawl. --port מעביר את Draco. ל-Firecrawl באירוח עצמי אין דגל כזה: הפורט שלו מגיע מהמשתנה PORT בקובץ ה-Compose שלו, שמפורסם כ-"${PORT:-3002}:${INTERNAL_PORT:-3002}", לכן שנו את הפורט המפורסם שם ושמרו על עקביות בכל הלקוחות מולו. העמקה בקובצי unit: יחידות שירות וטיימרים של systemd.

כעת בצעו שליפה כפי שהסוכן שלכם יבצע:

curl -X POST http://127.0.0.1:3002/v1/scrape \
  -H 'content-type: application/json' \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

שמירה על ה-daemon של ה-fetch מחוץ לאינטרנט הציבורי

ממשק fetch API ללא אימות הוא בבחינת proxy פתוח. כל מי שיכול להגיע לפורט יכול לגרום לשרת שלכם לבצע בקשות לכל URL תחת כתובת ה-IP שלכם, ודוחות השימוש לרעה יגיעו לספק שלכם, לא אליהם. דגלי ה-serve של Draco שתועדו ב-12 באוקטובר 2026 לא כללו מפתח API, לכן ההגנה חייבת להתבצע ברמת הרשת. השאירו את ה-bind המוגדר כברירת מחדל ב-127.0.0.1 כאשר הסוכן רץ על אותו שרת. כאשר הסוכן נמצא במקום אחר, הציבו את שני הקצוות בתוך מנהרה פרטית; VPN מסוג WireGuard שאתם מארחים בעצמכם הוא הפתרון המקובל, ובצעו bind לכתובת המנהרה במקום ל-0.0.0.0. לאחר מכן, בדקו ממכונה אחרת שה-IP הציבורי אינו מגיב לכלום. יסודות ה-firewall של ufw ו-חשבונות משתמש בעלי הרשאות מינימליות מכסים את שני החלקים של משימה זו.

האם קוד ה-agent שלכם ישתנה? תאימות API בפועל

Draco תומך בנתיבי Firecrawl v1: /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape ו-/v1/search, וה-README שלו, שנבדק לאחרונה ב-12 באוקטובר 2026, מציין כי שדות לא מוכרים מתקבלים ומתעלמים מהם. התאימות תלויה בתכונות המבוקשות: האתר הרשמי של Draco מציין כי צילומי מסך ולחיצות מחזירים HTTP 422, לכן לקוח Firecrawl v1 המבקש פעולות דף שאינן נתמכות דורש שינויים בבקשה וגם כתובת base URL חדשה. עקבו אחר השינויים בצד השני: מדריך ה-self-hosting של Firecrawl מבצע כעת בדיקות תקינות (smoke tests) באמצעות POST ל-/v2/scrape, וערכות ה-SDK הנוכחיות משתמשות ב-v2 כברירת מחדל, בעוד שהאתר של Draco מפרט נתיבי v1. בדקו כל קריאה עם curl לפני עריכת קוד ה-agent, וקראו את גוף ה-JSON במקום להסתמך על קוד הסטטוס, כיוון ששמות השדות הם המקום שבו המימושים הללו נבדלים זה מזה.

Robots.txt, מגבלות קצב (rate limits), והגבולות המומלצים

Draco קורא את robots.txt כברירת מחדל, וה-README שלו, שנבדק לאחרונה ב-12 באוקטובר 2026, מתעד את --ignore-robots לביטול התנהגות זו. Firecrawl מתעד את אותה ברירת מחדל. השאירו את שניהם ללא שינוי. Hound בודק את robots.txt רק כאשר respect_robots=True מועבר ל-smart_fetch, לכן יש להפעיל זאת שם. לאחר מכן, קבעו את הקצב שלכם: כפי שמתועד ב-12 באוקטובר 2026, ה---delay של Draco מגדיר מילי-שניות בין בקשות, ו---max-concurrency מגביל משימות מקבילות, כאשר 8 היא ברירת המחדל של ה-daemon. ערך של 2 עד 4 הוא ידידותי יותר לחיבור ב-VPS משותף ולעיתים רחוקות איטי יותר באופן כללי, כיוון שאתר שמתחיל להטיל עליכם מגבלות קצב עולה לכם בדקות רבות יותר מאשר הזמן שנחסך באמצעות מקביליות. בצעו Cache למידע שאתם מושכים, כך שהרצה שנייה של ה-agent לא תעלה למקור דבר. זהו גם הסעיף הזול ביותר ב-שליטה בעלויות של סוכן AI.

חומות אתגר (Challenge walls) הן נושא נפרד, ו-Trawl נבנה בדיוק עבורן: Cloudflare Turnstile, reCAPTCHA, hCaptcha ו-GeeTest. חומת אתגר היא אתר שמסרב במפורש לתעבורה אוטומטית. עקיפתה מעמידה אתכם מול תנאי השימוש של האתר, ובמקומות מסוימים גם מול החוק, לכן מדריך זה מכסה תשתית משיכה (fetching) ועוצר שם. אותן טכניקות שעוברות חומה הן אלו שבעלי אתרים מנטרים וחוסמים, מה שהופך כל pipeline המבוסס עליהן לשביר וגם ללא מנומס. כאשר מקור מידע חשוב מספיק, חפשו את ה-RSS feed שלו, את ה-API הציבורי שלו, או ייצוא נתונים גולמי (bulk export). כל אחת מהאפשרויות הללו זולה יותר להרצה ואף אחת מהן לא תישבר בשבוע שבו החומה תשתנה.

חברו אותו לסוכן באמצעות MCP

MCP (פרוטוקול הקשר של מודל) הוא הממשק שסוכן משתמש בו כדי לקרוא לכלי. אילו כלים בכלל זמינים למודל, והאם מותר לו לקרוא לכלי בלי לבקש את אישורכם תחילה, נקבעים ברמה שמעליו באמצעות התשתית שבה המודל פועל. לכן הפעלת ה־daemon כך שיאזין היא רק מחצית מהחיבור. Draco כולל שרת MCP באותו קובץ בינארי, באמצעות stdio:

{ "mcpServers": { "draco": { "command": "draco", "args": ["mcp"] } } }

ה־README שנבדק לאחרונה ב־12 October 2026 מציין את draco_scrape, draco_discover ו־draco_search עבור stdio; קבוצת draco_interact_* שייכת ל־HTTP MCP endpoint של ה־daemon. stdio פועל רק כאשר תהליך הסוכן והקובץ הבינארי נמצאים באותה מכונה, משום שה־transport משתמש בקלט הסטנדרטי של אותו תהליך. עבור סוכן שפועל במארח אחר, Hound מספק MCP באמצעות HTTP: hound --http --host 127.0.0.1 --port 8765 מפרסם endpoint ב־http://127.0.0.1:8765/mcp, שאליו ניגשים דרך ה־tunnel. אפשרויות ה־transport ומה לחשוף מתוארות ב־הפעלת שרתי MCP ב־VPS.

חיפוש מאפשר להביא זוגות. סוכן שיכול רק לבצע fetch ממתין שתספקו לו כתובות URL. הוסיפו מופע SearXNG לחיפוש באירוח עצמי, והוא יוכל למצוא אותן בעצמו, באותה תבנית כמו יכולת חיפוש בדפדפן המבוססת על SearXNG. לאחר שה־daemon פועל, זהו שירות משותף אחד עבור כל אחד מה־סוכני ה־AI באירוח עצמי שתפעילו. אם צד הסוכן הוא החלק שאינכם בטוחים בו, כתיבת לולאת סוכן קטנה באופן ידני תחילה תבהיר היכן כלי fetch מתחבר ומה המודל עושה עם ה־markdown שהוא מקבל בחזרה.

FAQ

האם אני זקוק לדפדפן headless כדי למשוך דפים עבור סוכן AI?

עבור רוב הדפים, התשובה היא לא. תיעוד, בלוגים ומאמרי חדשות המרונדרים בשרת חוזרים בשלמותם באמצעות משיכת HTTP פשוטה בצירוף שלב של המרת HTML ל-markdown; זהו התהליך ש-Draco מבצעת בשכבות הנמוכות שלה במהירות של כ-300 ms לדף ללא דפדפן, לפי נתוני הפרויקט. דפדפן מצדיק את צריכת הזיכרון שלו ביישומים המרונדרים בצד הלקוח (client-rendered), שבהם ה-HTML המתקבל הוא מעטפת ריקה. ה-V8 isolate של Draco מכסה חלק ניכר מטווח הביניים הזה ללא תהליך דפדפן, והוא יוצא עם קוד 3, needs_browser, כאשר אינו מצליח לעשות זאת.

כמה זיכרון RAM דורש Firecrawl בהתקנה עצמית על שרת VPS?

קובץ ה-compose שלו מגדיר תקרה של 8 GB על ה-container של ה-api ו-4 GB על ה-container של Playwright, כאשר אותו stack מפעיל גם את Redis, RabbitMQ, PostgreSQL ו-FoundationDB.‏ Firecrawl לא מפרסמת דרישות מינימום מאומתות עבור ה-stack הזה. תחת עומס זיכרון, ה-kernel מבצע out-of-memory killer ומסיים תהליכים; אם container נעצר, קובץ ה-Compose המסופק אינו מפעיל אותו מחדש באופן אוטומטי. בדקו את docker compose ps --all עבור containers שנעצרו ואשרו אירוע OOM באמצעות dmesg -T | tail.

האם Draco מהווה תחליף ישיר ל-API של Firecrawl?

עבור נקודות הקצה (endpoints) של v1, התשובה קרובה לחיוב. היא משרתת את /v1/scrape, /v1/map, /v1/crawl, /v1/batch/scrape ו-/v1/search, אך התאימות תלויה בתכונות המבוקשות: צילומי מסך ולחיצות מחזירים HTTP 422, לכן לקוחות המבקשים פעולות דף שאינן נתמכות צריכים לשנות את הבקשות שלהם בנוסף להגדרת כתובת בסיס (base URL) חדשה. ה-SDKs הנוכחיים של Firecrawl משתמשים ב-v2 כברירת מחדל, בעוד שהאתר של Draco מפרט נתיבי v1. ודאו כל קריאה שהסוכן שלכם מבצע באמצעות curl תחילה.

האם אירוח עצמי של כלי גרידה (scraper) אומר שאני יכול להתעלם מ-robots.txt?

לא. המקום שבו הקוד רץ אינו משנה דבר לגבי מה שאתר פרסם או מה שהתנאים שלו מתירים. גם Draco וגם Firecrawl מכבדים את robots.txt כברירת מחדל, וקיים דגל (flag) לעקיפה עבור אתרים שבבעלותכם או שיש לכם אישור כתוב לגרוד אותם. מגבלות קצב (rate limits) נאכפות בצד המרוחק בכל מקרה, לכן --delay מנומס עם רמת מקביליות נמוכה ישמור על כתובת ה-IP שלכם פעילה. stack שמתפקד רק על ידי ניצחון על מנגנוני הגנה (challenge wall) הוא stack שעלול להפסיק לעבוד ללא התראה.

האם המאמר הזה היה מועיל?

#scraping#firecrawl#ai-agents#self-hosting#markdown