Paritok: האם שער tokens באמת מוזיל חשבונות coding agents?
Paritok מכווץ קריאות קבצים ופלט כלים לפני שליחתם ל־API, והפרויקט טוען לחיסכון של 74% ב־tokens. כך פועל השער וכך מחשבים את נקודת האיזון.
מה Paritok עושה לבקשה
Paritok הוא שער tokens: proxy שנמצא בין coding agent שלך לבין ה־API של המודל, ומכווץ כל בקשה לפני העברתה. ה־agent שלך מתקשר עם http://127.0.0.1:8080 במקום עם הספק. ה־proxy מצמצם את סכמות הכלים, את קריאות הקבצים, את פלט הכלים ואת הסבבים הקודמים, שולח את המטען המצומצם במעלה הזרם ומחזיר את התשובה ללא שינוי.
הספק מחייב אותך לפי התוכן שמגיע אליו, אך החשבונית תלויה בשאלה אילו tokens הוסרו, בתמחור המטמון שלהם ובמספר הסבבים שה־agent מבצע. זהו כל הרעיון. מדובר בטענה שונה מהטענה "ה־context שלך נמשך זמן רב יותר", וזו הסיבה שהכלי הזה מעניין, ולא רק מסודר יותר.
הפרויקט עדיין חדש. ה־gateway שוחרר בקוד פתוח ב־15 July 2026, ו־PyPI מתעד את v1.3.14 מתאריך 6 October 2026 ואת v1.3.0 מתאריך 5 August. המשקלים וקוד ה־gateway מופצים ברישיון Apache 2.0. מודל הדחיסה הוא מתאם LoRA (low-rank adaptation) על בסיס Qwen3-4B-Instruct-2507, שעבר זיקוק מתוך מאגר של 45,000 מקטעים שנלקחו ממסלולי עבודה אמיתיים של coding agents, כאשר 40,606 מהם עברו אימות של המורה והפכו לדוגמאות האימון.
מדוע זה אינו קיצוץ הקשר
קיצוץ מוחק לצמיתות. כאשר סוכן מתקרב למגבלת ההקשר ומשמיט את הסבבים הישנים ביותר, הקובץ שקרא בסבב 3 נעלם. אם הוא זקוק לקובץ בסבב 20, הוא קורא אותו שוב, ולכן אתם משלמים על האסימונים האלה פעם נוספת. החיסכון היה למעשה הלוואה.
Paritok מחליף מקטע בצורה קצרה יותר ובתג, [REF:id], ושומר את הטקסט המלא ב־proxy. המודל משחזר מקטע באמצעות קריאה ל־read_original או ל־expand_context. כך משתנה אופן הכשל. כלי קיצוץ נכשל באמצעות שכחה, והוא לעולם אינו מודיע לכם על כך. כלי דחיסה נכשל כאשר הוא מוסר למודל קטע חלקי ומאבד מידע, והמודל יכול לבקש את המקור כאשר הקטע אינו מספיק.
סכמות כלים שעברו סינון עדיין ניתנות לשחזור, אך המסנן האדפטיבי כברירת מחדל משמיט כלים סטנדרטיים שלא נבחרו, ומשמיט כלי MCP שלא נבחרו, אלא אם אות הרלוונטיות של MCP מופעל. כאשר האות מופעל, כלי MCP שלא נבחרו מוחלפים ב־stub. gateway_search_tools תומך בשחזור, והשער מזהה גם הודעות על כלים חסרים ומוסיף כלים תואמים לפני ניסיון חוזר. הדבר חשוב משום שמסנן שמסתיר כלי לצמיתות משנה את הפעולות שהסוכן שלכם מסוגל לבצע, ואתם עלולים לגלות זאת רק דרך משימה שנכשלה בשקט.
שלושת המנופים, ואיזה מהם הוא בחינם
המנוף הראשון הוא מסנן ה-tool-schema. כל בקשה נושאת את המערך המלא tools. בסבב של Claude Code ללא שרתי MCP (ראשי תיבות של model context protocol) מחוברים, הפרויקט מודד בלוק זה בכ-29,000 טוקנים; עם MCP מחובר, הוא מדווח על 44,000 עד 65,000 טוקנים. המסנן מבצע embedding לבקשת המשתמש ולכל תיאור כלי באמצעות BAAI/bge-small-en-v1.5, מודל embedding בגודל 130 MB, שומר את הכלים התואמים, מסיר כלי סטנדרט שלא נבחרו, ומבצע stub לכלי MCP שלא נבחרו רק כאשר אות הרלוונטיות של ה-MCP מופעל. אחרת, הוא מסיר גם את כלי ה-MCP הללו. בדוגמה של 29,000 הטוקנים של הפרויקט, הבלוק מצטמצם לכ-8,000 טוקנים. מודל ה-embedding הזה רץ על ה-CPU.
המנוף השני הוא דחיסת תוכן, וזהו החלק שמשתמש במודל 4B, על גבי GPU או דרך Ollama על גבי CPU. קריאות קבצים, פלט כלים והיסטוריה מצומצמים ל-25.7% מגודלם המקורי. המודל בוחר בעיקר מקטעים (spans) במקום לשכתב אותם, עם שכתוב מוגבל המותר עבור תוכן כגון סיכומי הסקה ומסגור של קריאות לכלים. המאמר של הפרויקט מודד 96.0% מהמזהים, הנתיבים והמספרים שנפלטים ככאלה שמופיעים מילה במילה בקלט שבקורפוס האימון שנוצר על ידי המורה; פלט ה-SWE-bench Lite שנשמר מהמודל המאומן מקבל ציון 96.2% באותו ביקורת. משם מגיעה כותרת ה-74%. קראו זאת בעיון: 74% הוא שיעור הדחיסה על התוכן שעובר דחיסה, לא החיסכון בחשבון שלכם.
המנוף השלישי הוא סיכום היסטוריה. כברירת מחדל, ברגע שההקשר חורג מ-80% מחלון ההקשר המוגדר, סבבים ישנים מסוכמים בעוד ארבעה סבבים אחרונים נשארים ללא שינוי, כך שסשן ארוך ממשיך לרוץ במקום להגיע למגבלה.
כרטיס GPU הוא אופציונלי לאירוח עצמי. זהו המשפט השימושי ביותר בדף זה. pip install "paritok[toolselect]" מעניק לכם את מסנן הכלים על גבי שרת VPS מבוסס CPU רגיל, ללא עמלה לפי טוקן. נסו זאת לפני שאתם שוכרים כרטיס.
מה הפרויקט מדד, ועל איזו תשתית בדיקה
הנתונים שמאחורי התרשים
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]אלו הנתונים שפורסמו על ידי הפרויקט עצמו, שנמדדו על גבי תשתית הבדיקה שלו מול SWE-bench Lite. המודל Paritok-4B-v1 דוחס תוכן ל-25.7% מהגודל המקורי, תוך שמירה על 86.5% משיעור הפתרונות של התוכן הלא-דחוס. שימוש ב-gpt-5 כדוחס משמר איכות גבוהה יותר, 93.6%, אך דוחס רק ל-61.9%, מה שיוביל לתשלום במחירי מודלי קצה כדי לחסוך עלויות של מודלי קצה.
יש לקרוא את עמודת האיכות ביושר. איכות שנשמרה היא שיעור הפתרונות של הדוחס חלקי שיעור הפתרונות של קו הבסיס הלא-דחוס. שמירה על 86.5% משמעותה הפחתה נטו של 13.5% בפתרונות ביחס לאותו קו בסיס; הנתון אינו סופר את שבריר הבעיות שנפתרו בקו הבסיס ואבדו, כיוון שהרצות דחוסות יכולות לפתור בעיות שונות. הנתון מודד הבנה בצעד אחד (single-shot) של קוד מקור גולמי דחוס, כאשר ה-recall מנוטרל ושחזור עריכה בייצור מופעל; הוא אינו מודד את מסנן ה-tool-schema של ה-CPU או את ה-gateway המלא מרובה-הסבבים.
הנתונים שמאחורי התרשים
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]החיסכון מקצה לקצה גדל ככל שהסשן מתקדם, כיוון שההיסטוריה מצטברת והיא הדבר שעובר דחיסה. הפרויקט מדווח על כ-25% בסבב בודד, 39% בסבב 5, ו-63% בסבב 20. רק סבבים 1 עד 5 נמדדו; ה-README מתייחס לשורות המאוחרות יותר כתחזיות. הוא גם מציין היכן הצמיחה נעצרת: בתקציב של 200,000 טוקנים, החיסכון בתוכן לכל סבב מתייצב על כ-48,000 טוקנים, אי שם בין סבב 8 ל-12, כיוון שברגע שה-context מלא, ההיסטוריה מפסיקה לגדול. החיסכון הנפרד של מסנן הכלים (tool-filter) מוסיף כ-21,000 טוקנים לסבב, מה שמביא את הרמה המתוכננת המשולבת לכ-69,000 טוקנים לסבב. הנתון המצוטט רבות של "מעל 85%" מתאר סשנים רוויי context. זהו המקרה הטוב ביותר, ואותו README מציין שהחיסכון מתייצב לכיוון תקרה של כ-72% תחת הגדרות ברירת המחדל, לכן אל תתכננו לפיו.
האם GPU בנפח 24GB מצדיק את העלות של Paritok?
GPU הוא רכיב אופציונלי, והמודל מתאים גם לכרטיסים בנפח קטן מ־24 GB. לצורך חישוב המחשה של השכרה, נניח עלות של $0.44 לשעה עבור כרטיס בנפח 24 GB. בהפעלה רציפה במשך חודש שלם מדובר ב־730 שעות, כלומר $321. בהפעלה רק בשעות העבודה, 8 שעות ביום במשך 22 ימים, מדובר ב־176 שעות, כלומר $77.
כעת נהפוך את צמצום הטוקנים לצמצום בדולרים. ההפחתה חלה על טוקני הקלט. טוקני הפלט עוברים דרך ה־proxy ללא שינוי, ולכן ה־proxy אינו דוחס אותם. תמחרו בנפרד קלט חדש, כתיבות למטמון וקריאות מהמטמון, לפי התעריפים של הספק שלכם, ולאחר מכן השוו את העלות הכוללת של ה־API לפני השינוי ואחריו. גם אם הקלט מהווה 80% מהעלות הכוללת בדולרים, הכפלת הפחתת הטוקנים ב־0.8 אינה מוכיחה מה יהיה החיסכון בחשבון.
הנתונים שמאחורי התרשים
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]כרטיס שפועל ברציפות מצדיק את עצמו ברגע שהחיסכון החודשי שנמדד בעלויות ה־API עולה על $321.2, או על $77.44 אם עוצרים את המופע מחוץ לשעות העבודה. הפחתה של 85% בטוקנים לבדה אינה מוכיחה חיסכון של 68% בחשבון, ולכן אינה יכולה לקבוע סף חודשי להוצאות על סוכנים. חלקו את עלות ההשכרה בשיעור החיסכון שנמדד בחשבון כדי לקבל את הסף הזה.
שני גורמים הופכים את התוצאה לטובה יותר מכפי שהתרשים מציג. המודל אינו זקוק ל־24 GB: גרסת ה־q4 היא בערך 2.5 GB, וגרסת ה־f16 היא בערך 8 GB. לכן כרטיס קטן יותר, או שרת GPU שאתם כבר מפעילים למטרה אחרת, מפחית את כל המספרים בתרשים. בנוסף, עצירת המופע כאשר איש אינו כותב קוד היא המנוף המשמעותי ביותר כאן, משום שהיא מפחיתה את עלות ההשכרה בכשלושה רבעים.
גורם אחד הופך את התוצאה לגרועה יותר. שלב הדחיסה דורש משאבי עיבוד. כל טוקן שמודל ה־4B דוחס הוא טוקן שעליו לקרוא, וכל מקטע שהוא משאיר הוא מקטע שעליו לכתוב מחדש. הדבר מוסיף זמן השהיה לכל תור של הסוכן. בכרטיס GPU שאתם שוכרים לפי שעה, העלות הזאת מתבטאת בהמתנה ולא בשורה בחשבונית, ולכן קל להחמיץ אותה עד שמרגישים בה.
אם אתם משווים באופן כללי בין שעות GPU מושכרות לבין טוקני API, האיזון בין VPS עם GPU לבין טוקני API מבצע את אותו חישוב עבור ההסקה עצמה.
הפעלת gateway מסוג Paritok ב־VPS
מטא־הנתונים של החבילה ב־PyPI מקבלים Python 3.10 ומעלה, אף שהתג ב־README מציין 3.11 ומעלה. Ubuntu 24.04 מגיע עם Python 3.12, ולכן תמונת VPS בסיסית מספיקה עבור מסנן כלי ה־CPU.
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"קבעו את הגרסה במפורש. ב־PyPI מתוארכת v1.3.0 ל־5 August 2026 ו־v1.3.14 ל־6 October 2026, ופרויקט שמתקדם בקצב כזה משנה שמות בין גרסאות: v1.3.0 עצמה שינתה את expand_context ל־read_original ב־API שלה. pip install paritok ללא גרסה, או git clone של main, יתקינו עבורכם gateway שונה בשבוע הבא ולא ישאירו תיעוד של הגרסה שהפיקה את המדידות.
ה־backend כברירת מחדל הוא Ollama. משכו את המודל, ולאחר מכן העניקו לו את השם הקצר שה־proxy מחפש.
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1מכיוון שהמודל המקומי כותב את ה־spans שהוא שומר עבור כל מקטע שהוא דוחס, תהליך דחיסה שמתמשך זמן רב ייראה כתור סוכן שנתקע, ו־המגבלה num_predict של Ollama על אורך הפלט היא הפרמטר שמגביל אותו.
כתבו לידו את paritok.yaml. use_gpu_server: false הוא שמבטיח שהדחיסה תתבצע בחומרה שלכם.
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlparitok up הוא קיצור דרך למשיכת המודל אם הוא חסר ולהפעלת ה־proxy על פורט 8080; Ollama חייב להיות מותקן מראש. בדקו את ה־proxy לפני שאתם מפנים אליו סוכן.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health מחזיר אובייקט JSON קטן שמכיל את "status":"ok" ומחרוזת גרסה. /stats מחזיר את סך פעולות הדחיסה ואת ההערכה העצמית של ה־proxy לגבי החיסכון שהשיג. התייחסו להערכה זו כאילו ה־proxy מדרג את העבודה שלו, ואמתו אותה מול דף השימוש של הספק שלכם.
כאשר התפוקה חשובה יותר מהנוחות, vLLM מגיש את ה־adapter על גבי מודל הבסיס.
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000הדגל --max-lora-rank 32 נמצא בפקודה של הפרויקט עצמו, משום שה־adapter הוא בדרגה 32. לאחר מכן הגדירו את local_model.base_url ל־http://localhost:8000/v1 בתוך paritok.yaml, כדי שה־proxy יתקשר עם vLLM במקום עם Ollama.
Ollama מהיר יותר להקמה. vLLM מטפל בבקשות מקביליות בצורה טובה בהרבה, והדבר נעשה חשוב מיד כאשר יותר מסוכן אחד משתף את השרת. ההבדל המעשי בין Ollama ל־vLLM הוא שיכריע איזו אפשרות מתאימה לכם.
הפנו את הסוכן אל ה־proxy באמצעות משתני הסביבה של כתובת הבסיס.
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI מתעלם מ־OPENAI_BASE_URL, ולכן paritok up כותב עבורכם את ~/.codex/config.toml כאשר codex.enabled: true מוגדר בתוך paritok.yaml. ייצוא המשתנה לבדו משאיר את Codex בתקשורת ישירה עם הספק, והסימן לכך הוא מונה /stats שאינו משתנה בזמן העבודה.
השאירו את ה־listener על 127.0.0.1, ולעולם לא על 0.0.0.0. ה־proxy מעביר ל־upstream את פרטי האימות שסופקו בכל בקשה, ו־endpoint ה־/stats שלו, שאינו דורש אימות, חושף דוגמאות של תוכן מקורי ותוכן דחוס. לכן listener שפונה לאינטרנט חושף הקשר פרטי ומשאבי דחיסה מקומיים. גשו אליו ממחשב נייד באמצעות מנהרת SSH או VPN, במקום לפתוח את הפורט.
הפעילו אותו תחת systemd כדי שיישאר פעיל לאחר אתחול. התאימו את הנתיבים להתקנה שלכם. צרו את המשתמש paritok שבו היחידה משתמשת, והעניקו לו את ספריית ההתקנה:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetהפעילו אותו באמצעות sudo systemctl enable --now paritok, ולאחר מכן הריצו שוב את curl מול /health. יחידה שמתחילה ומסתיימת מיד מצביעה בדרך כלל על נתיב שגוי לקובץ התצורה, ו־journalctl -u paritok -n 50 מדפיס את הסיבה.
האפשרות המתארחת, והמחיר שהיא גובה
הפרויקט מציע גם את הדחיסה כשירות. הגדירו את use_gpu_server: true באמצעות מפתח API מ־paritok.com, והמודל 4B יפעל על החומרה של השירות. נכון ל־2 November 2026, החיוב הוא $0.30 לכל מיליון אסימוני קבצים שהוא דוחס, מתוך יתרה ששולמה מראש, וסינון סכמות כלים הוא ללא תשלום. חשבונות חדשים מקבלים יתרה חינמית בסך $5 ללא צורך בכרטיס. תקופת ההשקה, שבה השירות המתארח היה ללא תשלום, הסתיימה ב־1 October 2026, ולכן השירות בתשלום כעת. כך נחסכת עבודת אירוח מודל הדחיסה, אך עדיין עליכם להפעיל את השער.
המשמעות היא גם שההנחיות שלכם והקבצים שהסוכן קורא עוזבים את המחשב שלכם ומגיעים לצד שלישי לפני שהם מגיעים לספק המודל שלכם. אירוח עצמי נועד להימנע בדיוק ממעבר כזה. החליטו איזו משתי האפשרויות חשובה לכם יותר לפני שתגדירו את הדגל, משום ששינוי הדגל מצריך שורה אחת בלבד, אך להשלכותיו יש משמעות שונה.
כיצד למדוד את המצב אצלכם לפני השינוי ואחריו
המספרים שפורסמו הם המספרים של הפרויקט, שהתקבלו באמצעות תשתית הבדיקה של הפרויקט על SWE-bench Lite. המאגר שלכם אינו SWE-bench Lite. מדדו את השימוש שלכם.
- הפעילו שבוע רגיל אחד ללא proxy בנתיב. רשמו בשורות נפרדות את מספר ה־input tokens, ה־cache-write tokens, ה־cache-read tokens ואת ה־output tokens העדכניים, מדף השימוש של הספק שלכם, ולא כסכום אחד בדולרים.
- בשבוע שלאחר מכן הפעילו את ה־proxy לפני השירות, ובצעו את אותו סוג עבודה.
- השוו את קטגוריות ה־input לפי המחירים בפועל, וכללו גם כל שינוי בעלות ה־output. ה־proxy אינו דוחס output, אך שינויים בהתנהגות הסוכן ובמספר התורות עדיין משפיעים על כמות ה־output שאתם רוכשים.
- ספרו את המשימות שנאלצתם לבצע מחדש. זהו צד האיכות של העסקה, ושום dashboard אינו מדווח עליו.
- הוסיפו את שעות ה־GPU לשבוע השני לפני השוואת הסכומים.
הפרדת ה־input מה־output חשובה, משום שהמחירים שלהם שונים מאוד ו־compressor משפיע רק על אחד מהם. נכון ל־2 November 2026, Claude Sonnet 4.6 עולה $3 לכל מיליון input tokens ו־$15 לכל מיליון output tokens, וקריאת prompt cache עולה 10% ממחיר ה־input, כלומר $0.30 לכל מיליון. Claude Sonnet 5.5 החדש יותר עולה $2 ו־$10, וקריאות ה־cache שלו עולות 5% ממחיר ה־input, כלומר $0.10 לכל מיליון. הפער בין עלות input token לעלות output token הוא שקובע אם compressor בצד ה־input מועיל לכם. לאן ה־tokens של Claude Code הולכים בפועל מסביר איזה חלק מה־context גדול מספיק כדי להצדיק דחיסה.
Prompt caching מסבך במיוחד את חישוב החיסכון מסינון כלים. בלוק הכלים נמצא בתחילת הבקשה, ולכן לאחר התור הראשון הוא בדרך כלל נשלף מה־cache; ב־Sonnet 4.6 העלות היא 10% ממחיר ה־input. הסרת 21,000 tokens מבלוק שנמצא ב־cache חוסכת 21,000 tokens במחיר של $0.30 למיליון, כלומר כ־$0.006 לתור, ולא $0.063 כפי שהיה מתקבל לפי המחיר ללא cache. הפרויקט משאיר את הבלוק המסונן ללא שינוי במשך הסשן, כדי שה־prefix שנמצא ב־cache לא ישתנה. מסנן שבוחר מחדש את הכלים בכל תור יבטל את ה־prefix הזה, ועלול לעלות יותר מהחיסכון שהשיג.
מה עדיין לא אומת
כל נתוני הביצועים שלעיל מגיעים מהפרויקט עצמו. קיימת בדיקת דחיסה עצמאית על קורפוס סינתטי, אך היא מציינת במפורש שאינה בודקת הצלחה במשימות SWE-bench; נתוני איכות הפתרון של הפרויקט עבור SWE-bench Lite עדיין לא אומתו באופן עצמאי. גם מאחר שה־gateway שוחרר בקוד פתוח ביולי 2026, מאחורי הקוד יש מעט מאוד היסטוריה תפעולית. גם שיעור הדחיסה וגם הנתון לגבי שימור האיכות נמדדים בידי הגורם שמרוויח מכך שייראו טוב. אין בכך כדי להוכיח שהם שגויים. המשמעות היא שהם אינם מאומתים, ויש להתייחס אליהם אחרת מנתון שאתם הפקתם בעצמכם.
כדאי להכיר התנהגות מתועדת אחת לפני שמאשימים את ההגדרה שלכם. מודל ה־embedding שבו משתמש מסנן הכלים נטען בבקשה הראשונה ולא בעת האתחול, ולכן הפרויקט מתעד זמן חימום של 10 עד 15 שניות, ולאחר מכן כ־15 ms לכל קריאה. שלחו בקשת ניסיון אחת לאחר שה־proxy עולה, והסבב האמיתי הראשון של הסוכן לא ייראה כאילו נתקע.
ארבעה דברים תוכלו לברר בעצמכם בתוך אחר צהריים אחד: האם ה־proxy עולה ונשאר פעיל, האם /stats משתנה בזמן העבודה, האם שורת אסימוני הקלט של הספק שלכם אכן מצטמצמת, והאם הסוכן עדיין משלים את העבודה. אלה יקבעו את התוצאה עבור ההגדרה שלכם טוב בהרבה מכל benchmark שפורסם.
באשר למיקום של כלי זה לצד כלי הניהול האחרים שלכם: gateway עצמאי של LiteLLM מנתב ומודד בקשות בלי לשנות את התוכן שלהן, ולכן שני הכלים פותרים בעיות שונות וניתן לשרשר אותם, כאשר Paritok נמצא קרוב ביותר לסוכן. אם המטרה האמיתית היא חשבון נמוך יותר ולא דווקא הכלי הזה, מגוון רחב יותר של בקרות עלויות עבור סוכן ב־VPS כולל כמה שינויים שאפשר לנסות תחילה ללא עלות.
FAQ
האם Paritok מפחית את חשבון ה-API שלי או רק את השימוש ב-context?
הכלי מקטין את הבקשה לפני שהיא מגיעה לספק; החיסכון בעלויות תלוי במחיר הטוקנים שהוסרו ובמספר ה-turns של הסוכן. היקף החיסכון בפועל קטן מהכותרות המבטיחות. הנתון של 74% מתייחס לשיעור הדחיסה של התוכן שעבר דחיסה בלבד. מקצה לקצה, הפרויקט מדווח על חיסכון של כ-25% ב-turn בודד, וצופה חיסכון של 63% בטוקני קלט עד ה-turn ה-20. טוקני פלט עוברים ללא שינוי, אך הכמות שנוצרת עדיין תלויה בהתנהגות הסוכן.
כמה כוח GPU אני צריך כדי לארח בעצמי את מודל הדחיסה?
כרטיס GPU הוא אופציונלי: Ollama מריץ את המודל גם על ה-CPU. גרסת ה-q4 תופסת כ-2.5 GB וגרסת ה-f16 כ-8 GB, כך שהמודל נכנס לכרטיס של 24 GB עם הרבה מקום פנוי. כרטיס קטן יותר יעבוד גם הוא, והדבר משפר את חישוב הכדאיות לטובתך. מסנן ה-tool-schema אינו זקוק ל-GPU כלל: הוא משתמש ב-BAAI/bge-small-en-v1.5, מודל embedding של 130 MB שרץ על ה-CPU. התקן את paritok[toolselect] על שרת VPS רגיל ותקבל את צמצום ה-tool-block במחיר של מעט RAM.
מה קורה אם הדוחס מסיר משהו שהסוכן היה זקוק לו?
שום דבר לא הולך לאיבוד לצמיתות. המודל מוחק מקטעים ממה שנשלח הלאה, אך מקטעים דחוסים נושאים תגית [REF:id] והמודל משחזר את הטקסט המלא באמצעות read_original או expand_context. מסנן הכלים המוגדר כברירת מחדל מסיר כלים סטנדרטיים שלא נבחרו ומסיר כלי MCP שלא נבחרו, אלא אם כן אות הרלוונטיות של ה-MCP מופעל; במקרה כזה הוא יוצר stub לאותם כלי MCP. שחזור כלים משתמש ב-gateway_search_tools ובזיהוי הודעות על כלים חסרים. הסיכון האמיתי שקט יותר מקובץ חסר: המודל עובד מתוך תמצית מאבדת נתונים (lossy) ולעולם לא מבין שהוא צריך לבקש את המקור. הנתון של 86.5% איכות נשמרת ב-SWE-bench Lite מודד הבנה ב-single-shot של קוד מקור דחוס ללא אפשרות שחזור (recall) ועם שחזור עריכה פעיל; הוא אינו מודד את מסנן ה-tool-schema ב-CPU או את ה-gateway המלא מרובה ה-turns.
מדוע הבקשה הראשונה שלי לוקחת חמש עשרה שניות?
מודל ה-embedding שמאחורי מסנן הכלים נטען בבקשה הראשונה במקום בזמן העלייה (startup). הפרויקט מתעד זמן חימום של 10 עד 15 שניות, ולאחר מכן בערך 15 ms לכל קריאה. שלח בקשת בדיקה אחת עם curl לאחר הפעלת ה-proxy, וה-turn הראשון האמיתי של הסוכן לא יתעכב.
האם כדאי לי להשתמש בשרת GPU מאוחסן במקום אירוח עצמי?
זה מסיר את הצורך באירוח מודל הדחיסה ובשכירת GPU, בעוד שאתה עדיין מנהל את ה-gateway. נכון ל-2 בנובמבר 2026, העלות היא $0.30 למיליון טוקני קבצים שנדחסו, בתשלום מיתרה מראש, עם $5 אשראי חינם לחשבונות חדשים; תקופת ההשקה החינמית הסתיימה ב-1 באוקטובר 2026. זה גם שולח את ה-prompts שלך ואת הקבצים שהסוכן שלך קורא לצד שלישי לפני שהם מגיעים לספק המודל שלך. אם אתה מארח בעצמך כדי לשמור את הקוד על תשתית שבשליטתך, הגדרה זו מבטלת את הסיבה שבגללה התחלת. אירוח עצמי שומר את הדחיסה על השרת שלך; בקשות דחוסות ופרטי הזיהוי של הספק עדיין עוברים במעלה הזרם לספק המודל שלך.