Paritok ลดค่าใช้จ่าย coding agent ได้จริงหรือไม่
Paritok อ้างว่าลด token ได้ 74% ด้วยการบีบอัด file reads และ tool output บทความนี้อธิบายกลไก จุดคุ้มทุน และข้อควรรู้ของ v1.3.14
สิ่งที่ Paritok ทำกับคำขอ
Paritok คือ token gateway หรือ proxy ที่อยู่ระหว่าง coding agent กับ model API และบีบอัดคำขอแต่ละรายการก่อนส่งต่อ agent ของคุณจะติดต่อ http://127.0.0.1:8080 แทน provider proxy จะลดขนาด tool schema, การอ่านไฟล์, ผลลัพธ์จาก tool และ turn ก่อนหน้า จากนั้นส่ง payload ที่มีขนาดเล็กลงไปยัง upstream และส่ง reply กลับมาโดยไม่แก้ไข
Provider จะคิดค่าบริการจากข้อมูลที่ไปถึง provider แต่ invoice ขึ้นอยู่กับว่าลบ token ใดออกไป, token เหล่านั้นมีราคา cache เท่าใด และ agent ใช้กี่ turn นี่คือแนวคิดทั้งหมด ประเด็นนี้แตกต่างจากคำกล่าวที่ว่า "context ของคุณใช้งานได้นานขึ้น" และเป็นเหตุผลที่ทำให้เครื่องมือนี้น่าสนใจ ไม่ใช่เพียงช่วยจัดข้อมูลให้เป็นระเบียบ
โครงการนี้ยังอยู่ในระยะเริ่มต้น gateway เปิดเป็น open source เมื่อ 15 July 2026 และ PyPI ระบุให้ v1.3.14 อยู่ในวันที่ 6 October 2026 และ v1.3.0 อยู่ในวันที่ 5 August weights และโค้ดของ gateway ใช้สัญญาอนุญาต Apache 2.0 ส่วน compression model เป็น adapter แบบ LoRA (low-rank adaptation) บน Qwen3-4B-Instruct-2507 ซึ่งกลั่นจากกลุ่มตัวอย่าง 45,000 segments ที่นำมาจาก coding-agent trajectory จริง โดย 40,606 segments ผ่านการตรวจสอบโดย teacher และกลายเป็น training examples
เหตุใดสิ่งนี้จึงไม่ใช่การตัดทอน context
การตัดทอนจะลบข้อมูลอย่างถาวร เมื่อ agent ใกล้ถึงขีดจำกัดของ context แล้วลบ turn ที่เก่าที่สุด ไฟล์ที่อ่านใน turn 3 จะหายไป หากต้องใช้ไฟล์นั้นอีกครั้งใน turn 20 ก็ต้องอ่านไฟล์ใหม่ ทำให้ต้องจ่ายค่า token เหล่านั้นเป็นครั้งที่สอง สิ่งที่ประหยัดได้จึงเป็นเพียงการยืมมา
Paritok จะแทนที่ segment ด้วยรูปแบบที่สั้นลงพร้อม tag [REF:id] และเก็บข้อความฉบับเต็มไว้บน proxy โมเดลจะกู้คืน segment ได้โดยเรียกใช้ read_original หรือ expand_context วิธีนี้ทำให้ลักษณะของความล้มเหลวเปลี่ยนไป trimmer ล้มเหลวด้วยการลืม และจะไม่แจ้งให้คุณทราบ ส่วน compressor ล้มเหลวด้วยการส่ง excerpt ที่มีข้อมูลสูญหายให้โมเดล และโมเดลสามารถขอข้อความต้นฉบับได้เมื่อ excerpt ไม่เพียงพอ
tool schema ที่ถูกกรองยังสามารถกู้คืนได้ แต่ adaptive filter เริ่มต้นจะตัด standard tools ที่ไม่ได้เลือกออก และตัด MCP tools ที่ไม่ได้เลือกออกด้วย เว้นแต่ MCP relevance signal จะทำงาน เมื่อ signal ดังกล่าวทำงาน MCP tools ที่ไม่ได้เลือกจะถูกแทนที่ด้วย stub gateway_search_tools รองรับการกู้คืน และ gateway ยังตรวจจับข้อความที่แจ้งว่าไม่มี tool แล้วแทรก tools ที่ตรงกันก่อน retry ด้วย ประเด็นนี้สำคัญ เพราะ filter ที่ซ่อน tool อย่างถาวรจะเปลี่ยนสิ่งที่ agent สามารถทำได้ และคุณจะทราบเรื่องนี้จาก task ที่ล้มเหลวโดยไม่แสดงอาการอย่างชัดเจน
กลไกทั้งสาม และกลไกที่ใช้งานได้ฟรี
กลไกแรกคือตัวกรอง tool-schema ทุกคำขอจะพ่วงอาร์เรย์ tools ทั้งหมดมาด้วย ในการทำงานของ Claude Code ที่ไม่มีการเชื่อมต่อ MCP (model context protocol) เซิร์ฟเวอร์ โปรเจกต์นี้วัดขนาดบล็อกดังกล่าวได้ประมาณ 29,000 tokens แต่เมื่อเชื่อมต่อ MCP แล้ว จะมีขนาดเพิ่มขึ้นเป็น 44,000 ถึง 65,000 tokens ตัวกรองจะทำการ embedding คำขอของผู้ใช้และคำอธิบายเครื่องมือแต่ละรายการด้วย BAAI/bge-small-en-v1.5 ซึ่งเป็นโมเดล embedding ขนาด 130 MB จากนั้นจะเก็บเฉพาะเครื่องมือที่ตรงกันไว้ ตัดเครื่องมือมาตรฐานที่ไม่ถูกเลือกออก และจะสร้าง stub สำหรับเครื่องมือ MCP ที่ไม่ถูกเลือกก็ต่อเมื่อสัญญาณความเกี่ยวข้องของ MCP ทำงานเท่านั้น มิฉะนั้นก็จะตัดเครื่องมือ MCP เหล่านั้นออกไปด้วย ในตัวอย่างขนาด 29,000 tokens ของโปรเจกต์นี้ บล็อกดังกล่าวจะลดลงเหลือประมาณ 8,000 tokens โดยโมเดล embedding นี้จะทำงานบน CPU
กลไกที่สองคือการบีบอัดเนื้อหา ซึ่งเป็นส่วนที่ใช้โมเดล 4B บน GPU หรือผ่าน Ollama บน CPU การอ่านไฟล์ ผลลัพธ์จากเครื่องมือ และประวัติการทำงานจะถูกลดขนาดลงเหลือ 25.7% ของขนาดเดิม โมเดลจะใช้วิธีเลือกช่วงข้อความแทนการเขียนใหม่ทั้งหมด โดยมีการจำกัดการเขียนใหม่เฉพาะเนื้อหาบางประเภท เช่น สรุปเหตุผลและการจัดรูปแบบการเรียกใช้เครื่องมือ เอกสารของโปรเจกต์ระบุว่า 96.0% ของตัวระบุ (identifiers), path และตัวเลขที่แสดงออกมานั้นปรากฏเหมือนต้นฉบับทุกประการในคลังข้อมูลฝึกสอนที่สร้างโดยครู (teacher-generated training corpus) และผลลัพธ์จาก SWE-bench Lite ของโมเดลที่ผ่านการฝึกแล้วก็ทำคะแนนได้ 96.2% ในการตรวจสอบแบบเดียวกัน นี่คือที่มาของตัวเลข 74% ที่เป็นหัวข้อหลัก โปรดอ่านอย่างละเอียด: 74% คืออัตราการบีบอัดของเนื้อหาที่ถูกบีบอัด ไม่ใช่ส่วนลดในบิลค่าใช้จ่ายของคุณ
กลไกที่สามคือการสรุปประวัติ โดยค่าเริ่มต้นเมื่อบริบทเกิน 80% ของหน้าต่างที่กำหนดไว้ รอบการทำงานที่เก่ากว่าจะถูกสรุป ในขณะที่ 4 รอบล่าสุดจะยังคงอยู่ครบถ้วน เพื่อให้เซสชันที่ยาวนานสามารถทำงานต่อไปได้โดยไม่ติดขีดจำกัด
GPU เป็นอุปกรณ์เสริมสำหรับการ self-hosting นี่คือประโยคที่มีประโยชน์ที่สุดในหน้านี้ pip install "paritok[toolselect]" ช่วยให้คุณใช้ตัวกรองเครื่องมือบน CPU VPS ทั่วไปได้ โดยไม่มีค่าใช้จ่ายต่อ token ลองใช้งานดูก่อนที่คุณจะเช่าการ์ดจอมาใช้
สิ่งที่โครงการวัดผลและชุดทดสอบที่ใช้
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]นี่คือตัวเลขที่โครงการเผยแพร่เอง โดยวัดผลบนชุดทดสอบของโครงการเทียบกับ SWE-bench Lite ตัว Paritok-4B-v1 บีบอัดเนื้อหาให้เหลือ 25.7% ของขนาดเดิม โดยยังคงรักษาอัตราการแก้ปัญหาได้ 86.5% เมื่อเทียบกับกรณีไม่บีบอัด การใช้ gpt-5 เป็นตัวบีบอัดจะรักษาคุณภาพได้มากกว่าที่ 93.6% แต่บีบอัดได้เพียง 61.9% เท่านั้น ซึ่งคุณจะต้องจ่ายค่าบริการในระดับ frontier เพื่อประหยัดค่าบริการในระดับ frontier เช่นกัน
โปรดอ่านคอลัมน์คุณภาพตามความเป็นจริง คุณภาพที่รักษาไว้คืออัตราการแก้ปัญหาของตัวบีบอัดหารด้วยอัตราการแก้ปัญหาพื้นฐานแบบไม่บีบอัด การรักษาไว้ได้ 86.5% หมายถึงมีการลดลงสุทธิของจำนวนปัญหาที่แก้ได้ 13.5% เมื่อเทียบกับค่าพื้นฐาน ตัวเลขนี้ไม่ได้นับเฉพาะสัดส่วนของปัญหาที่เคยแก้ได้ในค่าพื้นฐานแล้วสูญเสียไป เพราะการรันแบบบีบอัดอาจแก้ปัญหาที่แตกต่างออกไปได้ด้วย ตัวเลขนี้วัดความเข้าใจแบบ single-shot ของซอร์สโค้ดดิบที่ถูกบีบอัด โดยปิดการเรียกคืนข้อมูล (recall) และเปิดการกู้คืนการแก้ไข (edit recovery) ในระดับ production แต่ไม่ได้วัดผลตัวกรอง CPU tool-schema หรือ gateway แบบ multi-turn เต็มรูปแบบ
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]การประหยัดแบบ end-to-end จะเพิ่มขึ้นเมื่อเซสชันดำเนินไป เนื่องจากประวัติการทำงานจะสะสมมากขึ้นและประวัตินั้นคือสิ่งที่ถูกนำไปบีบอัด โครงการรายงานการประหยัดไว้ที่ประมาณ 25% ในเทิร์นเดียว, 39% ที่เทิร์น 5 และ 63% ที่เทิร์น 20 มีการวัดผลจริงเพียงเทิร์นที่ 1 ถึง 5 เท่านั้น ส่วนแถวถัดจากนั้น README ระบุว่าเป็นเพียงการคาดการณ์ นอกจากนี้ยังระบุจุดที่การเติบโตจะหยุดลงด้วย คือบนงบประมาณ 200,000 token การประหยัดเนื้อหาต่อเทิร์นจะคงที่อยู่ที่ประมาณ 48,000 tokens ซึ่งอยู่ใกล้ช่วงเทิร์นที่ 8 ถึง 12 เพราะเมื่อ context เต็มแล้ว ประวัติการทำงานจะไม่เพิ่มขึ้นอีก การประหยัดแยกต่างหากจากตัวกรองเครื่องมือ (tool-filter) จะช่วยลดได้อีกประมาณ 21,000 tokens ต่อเทิร์น ทำให้จุดคงที่รวมที่คาดการณ์ไว้จะอยู่ที่ประมาณ 69,000 tokens ต่อเทิร์น ตัวเลข "เกิน 85%" ที่อ้างถึงกันอย่างแพร่หลายนั้นอธิบายถึงเซสชันที่ context อิ่มตัว นั่นคือกรณีที่ดีที่สุด และ README ฉบับเดียวกันระบุว่าการประหยัดจะคงที่เข้าสู่เพดานที่ประมาณ 72% ภายใต้การตั้งค่าเริ่มต้น ดังนั้นอย่าใช้ตัวเลขนั้นเป็นฐานในการวางแผนงานของคุณ
GPU ขนาด 24GB คุ้มค่ากับ Paritok หรือไม่?
GPU เป็นตัวเลือกเสริม และโมเดลสามารถรันบนการ์ดที่มีหน่วยความจำน้อยกว่า 24 GB ได้ เพื่อคำนวณค่าเช่าเป็นตัวอย่าง ให้ใช้อัตรา $0.44 ต่อชั่วโมงสำหรับการ์ดขนาด 24 GB หากเปิดทิ้งไว้ตลอดทั้งเดือน จะเท่ากับ 730 ชั่วโมง หรือ $321 หากเปิดเฉพาะเวลาทำงาน วันละ 8 ชั่วโมง เป็นเวลา 22 วัน จะเท่ากับ 176 ชั่วโมง หรือ $77
ต่อไปให้แปลงการลดจำนวน token เป็นการลดค่าใช้จ่าย การลดนี้มีผลกับ input tokens ส่วน output tokens ส่งผ่าน proxy โดยไม่เปลี่ยนแปลง ดังนั้น proxy จึงไม่บีบอัด output tokens ให้คิดราคา fresh input, cache writes และ cache reads แยกกันตามอัตราของ provider แล้วเปรียบเทียบค่า API รวมก่อนและหลัง แม้ input จะคิดเป็น 80% ของค่าใช้จ่ายรวม การนำการลดจำนวน token ไปคูณด้วย 0.8 ก็ยังไม่เพียงพอที่จะยืนยันว่าค่าใช้จ่ายจะลดลงเท่าใด
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]การเปิดการ์ดทิ้งไว้จะคุ้มทุนเมื่อค่า API รายเดือนที่วัดได้ลดลงมากกว่า $321.2 หรือ $77.44 หากหยุด instance นอกเวลาทำงาน การลดจำนวน token 85% เพียงอย่างเดียวไม่ได้ยืนยันว่าค่าใช้จ่ายจะลดลง 68% จึงไม่สามารถใช้ยืนยันเกณฑ์ค่าใช้จ่ายรายเดือนของ agent ได้ ให้นำค่าเช่าหารด้วยสัดส่วนการประหยัดค่าใช้จ่ายที่วัดได้ เพื่อคำนวณเกณฑ์ดังกล่าว
มี 2 ปัจจัยที่ทำให้ผลลัพธ์ดีกว่าที่กราฟแสดง โมเดลไม่จำเป็นต้องใช้ 24 GB: build q4 ใช้พื้นที่ประมาณ 2.5 GB และ build f16 ใช้ประมาณ 8 GB ดังนั้นการใช้การ์ดขนาดเล็กกว่า หรือ GPU box ที่คุณเปิดใช้งานอยู่แล้วเพื่อวัตถุประสงค์อื่น จะทำให้ตัวเลขทุกตัวในกราฟลดลง และการหยุด instance เมื่อไม่มีใครเขียนโค้ดเป็นปัจจัยสำคัญที่สุด เพราะช่วยลดค่าเช่าได้ประมาณสามในสี่
มีปัจจัยหนึ่งที่ทำให้ผลลัพธ์แย่ลง ขั้นตอนการบีบอัดต้องใช้การประมวลผลจริง ทุก token ที่โมเดล 4B บีบอัดคือ token ที่โมเดลต้องอ่าน และทุก span ที่โมเดลเก็บไว้คือข้อมูลที่ต้องเขียนกลับออกมา จึงเพิ่ม latency ในการทำงานของ agent แต่ละครั้ง สำหรับการ์ดที่เช่าเป็นรายชั่วโมง ต้นทุนนี้จะปรากฏเป็นเวลารอ ไม่ใช่รายการหนึ่งในใบแจ้งหนี้ จึงสังเกตได้ยากจนกว่าจะเริ่มรู้สึกถึงความล่าช้า
หากคุณกำลังเปรียบเทียบค่าเช่า GPU รายชั่วโมงกับค่าใช้จ่ายของ API tokens โดยทั่วไป จุดคุ้มทุนระหว่าง GPU VPS กับ API tokens จะคำนวณในลักษณะเดียวกันสำหรับ inference โดยตรง
การเรียกใช้ gateway ของ Paritok บน VPS
ข้อมูลแพ็กเกจบน PyPI ระบุว่ารองรับ Python 3.10 ขึ้นไป แม้ badge ใน README จะระบุว่า 3.11+ ก็ตาม Ubuntu 24.04 มาพร้อม Python 3.12 ดังนั้น image ของ VPS แบบมาตรฐานจึงเพียงพอสำหรับตัวกรองเครื่องมือ CPU
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"กำหนด version ให้ตายตัว PyPI ระบุวันที่ของ v1.3.0 เป็น 5 August 2026 และ v1.3.14 เป็น 6 October 2026 โครงการที่เปลี่ยนแปลงเร็วเช่นนี้อาจเปลี่ยนชื่อสิ่งต่าง ๆ ระหว่าง release ได้: v1.3.0 เองเปลี่ยนชื่อ expand_context เป็น read_original ใน API การใช้ pip install paritok โดยไม่ระบุ version หรือใช้ git clone ของ main จะทำให้คุณได้ gateway คนละตัวในสัปดาห์ถัดไป และไม่มีบันทึกว่า gateway ตัวใดเป็นผู้สร้างค่าที่คุณวัด
Backend เริ่มต้นคือ Ollama ให้ pull model ก่อน แล้วกำหนดชื่อสั้นให้ตรงกับชื่อที่ proxy ค้นหา
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1เนื่องจาก local model จะเขียน span ที่เก็บไว้สำหรับแต่ละ segment ที่บีบอัด การบีบอัดที่ใช้เวลานานจะแสดงออกเป็น agent turn ที่ค้าง และ ค่า num_predict ของ Ollama ที่จำกัดความยาว output คือค่าที่ใช้กำหนดขอบเขตดังกล่าว
เขียน paritok.yaml ไว้ถัดจากค่านั้น use_gpu_server: false คือค่าที่ทำให้การบีบอัดเกิดขึ้นบน hardware ของคุณเอง
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlparitok up เป็น shortcut สำหรับ pull model หากยังไม่มี และเริ่ม proxy บนพอร์ต 8080 โดยต้องติดตั้ง Ollama ไว้แล้ว ตรวจสอบ proxy ก่อนกำหนดให้ agent เรียกใช้
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health จะคืนค่า JSON object ขนาดเล็กที่มี "status":"ok" และ version string ส่วน /stats จะคืนยอดรวมการบีบอัดและค่าประมาณของ proxy เองว่าประหยัดได้เท่าใด ให้ถือว่าค่าประมาณดังกล่าวเป็นการประเมินผลงานของ proxy เอง และตรวจสอบกับหน้าแสดงการใช้งานของ provider
หากเน้น throughput มากกว่าความสะดวก vLLM จะให้บริการ adapter บน base model
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000flag --max-lora-rank 32 อยู่ในคำสั่งของโครงการเอง เพราะ adapter มี rank 32 จากนั้นกำหนด local_model.base_url เป็น http://localhost:8000/v1 ใน paritok.yaml เพื่อให้ proxy ติดต่อกับ vLLM แทน Ollama
Ollama เริ่มใช้งานได้เร็วกว่า ส่วน vLLM รองรับ concurrent request ได้ดีกว่ามาก ซึ่งจะเริ่มมีความสำคัญทันทีเมื่อมี agent มากกว่า 1 ตัวใช้เครื่องเดียวกัน ความแตกต่างที่ใช้งานจริงระหว่าง Ollama และ vLLM เป็นปัจจัยที่ใช้ตัดสินใจเลือกในกรณีนี้
กำหนดให้ agent เรียก proxy ผ่าน environment variable ของ base URL
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI ไม่สนใจ OPENAI_BASE_URL ดังนั้น paritok up จะเขียน ~/.codex/config.toml ให้เมื่อกำหนด codex.enabled: true ไว้ใน paritok.yaml การ export variable เพียงอย่างเดียวจะทำให้ Codex ติดต่อกับ provider โดยตรง สัญญาณที่บ่งชี้กรณีนี้คือ counter /stats ไม่เพิ่มขึ้นระหว่างการใช้งาน
ให้ listener ฟังเฉพาะ 127.0.0.1 และห้ามใช้ 0.0.0.0 proxy จะส่ง credentials ที่มากับแต่ละ request ต่อไปยัง upstream และ endpoint /stats ที่ไม่มี authentication จะแสดงตัวอย่างของ content ต้นฉบับและ content ที่บีบอัด ดังนั้น listener ที่เปิดรับจาก Internet จะเปิดเผย context ส่วนตัวและ resource สำหรับการบีบอัดภายในเครื่อง ให้เข้าถึงจาก laptop ผ่าน SSH tunnel หรือ VPN แทนการเปิดพอร์ต
เรียกใช้ผ่าน systemd เพื่อให้ทำงานต่อหลัง reboot ปรับ path ให้ตรงกับการติดตั้งของคุณ สร้าง user paritok ที่ unit จะใช้เรียก service และมอบสิทธิ์ให้ user นี้กับ install directory:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetเปิดใช้งานด้วย sudo systemctl enable --now paritok แล้ว curl /health อีกครั้ง unit ที่เริ่มทำงานแล้วออกทันทีมักหมายความว่า path ของ config file ไม่ถูกต้อง และ journalctl -u paritok -n 50 จะแสดงสาเหตุ
ตัวเลือกแบบ hosted และต้นทุนที่ต้องจ่าย
โครงการนี้ยังให้บริการ compression ในรูปแบบ service ด้วย ตั้งค่า use_gpu_server: true โดยใช้ API key จาก paritok.com แล้วให้โมเดล 4B ทำงานบน hardware ของผู้ให้บริการ ณ วันที่ 2 November 2026 ระบบคิดค่าบริการ $0.30 ต่อ file token จำนวนหนึ่งล้านรายการที่ระบบ compress โดยหักจากเครดิตที่เติมไว้ล่วงหน้า ส่วนการกรอง tool-schema ไม่มีค่าใช้จ่าย บัญชีใหม่ได้รับเครดิตฟรี $5 โดยไม่ต้องใช้บัตร การเปิดให้บริการช่วงแรกซึ่ง hosted service ยังไม่มีค่าใช้จ่ายสิ้นสุดลงเมื่อ 1 October 2026 ดังนั้นปัจจุบันจึงเป็นบริการแบบมีค่าใช้จ่าย วิธีนี้ช่วยตัดงานดูแล hosting ของ compression model ออกไป แต่คุณยังคงเป็นผู้เรียกใช้ gateway เอง
อย่างไรก็ตาม prompts ของคุณและไฟล์ที่ agent อ่านจะออกจากเครื่องของคุณไปยัง third party ก่อนจะไปถึง model provider ของคุณ การ self-hosting มีไว้เพื่อหลีกเลี่ยงการส่งต่อในลักษณะนี้โดยเฉพาะ ก่อนตั้งค่า flag ดังกล่าว ให้ตัดสินใจก่อนว่าคุณต้องการ optimize เรื่องใด เพราะการเปลี่ยน flag ใช้เพียงการแก้ไขบรรทัดเดียว แต่ผลที่ตามมาไม่ใช่เรื่องเล็กฎาคม
วิธีวัดผลก่อนและหลังด้วยข้อมูลของคุณเอง
ตัวเลขที่เผยแพร่เป็นตัวเลขของโครงการ ซึ่งมาจาก harness ของโครงการบน SWE-bench Lite แต่ repository ของคุณไม่ใช่ SWE-bench Lite ดังนั้นให้วัดผลจากงานของคุณเอง
- ใช้งานตามปกติเป็นเวลา 1 สัปดาห์โดยไม่มี proxy อยู่ในเส้นทาง บันทึก input, cache-write, cache-read และ output tokens จากหน้าการใช้งานของผู้ให้บริการแยกเป็นคนละบรรทัด ไม่ใช่บันทึกเป็นยอดเงินรวมเพียงรายการเดียว
- ใช้งานในสัปดาห์ถัดไปโดยให้ proxy อยู่ด้านหน้า และทำงานในลักษณะเดียวกัน
- เปรียบเทียบหมวด input โดยใช้ราคาจริงของแต่ละหมวด และรวมการเปลี่ยนแปลงของค่า output ด้วย proxy ไม่ได้บีบอัด output แต่พฤติกรรมของ agent และจำนวน turn ที่เปลี่ยนไปยังส่งผลต่อปริมาณ output ที่คุณต้องซื้อ
- นับจำนวนงานที่ต้องทำซ้ำ นี่คือส่วนด้านคุณภาพของการแลกเปลี่ยน และไม่มี dashboard ใดรายงานข้อมูลนี้
- เพิ่มชั่วโมงการใช้งาน GPU ของสัปดาห์ที่สองก่อนเปรียบเทียบยอดรวม
การแยก input ออกจาก output มีความสำคัญ เพราะทั้งสองรายการมีราคาต่างกันมาก และ compressor จะทำงานกับเพียงรายการเดียว ณ วันที่ 2 November 2026 Claude Sonnet 4.6 มีค่าใช้จ่าย $3 ต่อ 1 ล้าน input tokens และ $15 ต่อ 1 ล้าน output tokens ส่วน prompt-cache read มีราคา 10% ของอัตรา input หรือ $0.30 ต่อ 1 ล้าน tokens Claude Sonnet 5.5 รุ่นใหม่กว่ามีราคา $2 และ $10 ตามลำดับ และ cache reads มีราคา 5% ของอัตรา input หรือ $0.10 ต่อ 1 ล้าน tokens ส่วนต่างระหว่างค่า input และ output token เป็นตัวกำหนดว่า input-side compressor จะคุ้มค่าสำหรับคุณหรือไม่ tokens ของ Claude Code ถูกใช้ไปที่ใดจริง จะช่วยให้ทราบว่าส่วนใดของ context มีขนาดใหญ่พอที่จะคุ้มกับการบีบอัด
Prompt caching ทำให้การคำนวณความคุ้มค่าของ tool-filter ซับซ้อนขึ้นโดยเฉพาะ tool block อยู่ด้านหน้าของ request ดังนั้นหลังจาก turn แรก โดยปกติจะเป็น cache hit ใน Sonnet 4.6 รายการนี้มีค่าใช้จ่าย 10% ของราคา input การลด 21,000 tokens จาก block ที่อยู่ใน cache จึงช่วยประหยัด 21,000 tokens ที่ราคา $0.30 ต่อ 1 ล้าน tokens หรือประมาณ $0.006 ต่อ turn ไม่ใช่ $0.063 ตามที่อัตราแบบไม่อยู่ใน cache อาจทำให้เข้าใจ โครงการจะคง filtered block ให้เหมือนเดิมตลอด session เพื่อไม่ให้ cached prefix เปลี่ยน หาก filter เลือก tools ใหม่ทุก turn จะทำให้ prefix ดังกล่าวใช้ cache ไม่ได้ และอาจมีค่าใช้จ่ายมากกว่ายอดที่ประหยัดได้
สิ่งที่ยังไม่ได้รับการยืนยัน
ตัวเลขประสิทธิภาพทั้งหมดข้างต้นมาจากโครงการโดยตรง มีการตรวจสอบการบีบอัดด้วย synthetic corpus โดยหน่วยงานอิสระอยู่ แต่การตรวจสอบนั้นระบุชัดเจนว่าไม่ได้ทดสอบความสำเร็จของงาน SWE-bench ดังนั้นตัวเลขคุณภาพการแก้โจทย์ SWE-bench Lite ของโครงการจึงยังไม่ได้รับการยืนยันจากแหล่งอิสระ นอกจากนี้ gateway เพิ่งเปิดซอร์สใน July 2026 จึงยังมีประวัติการใช้งานจริงของโค้ดไม่มาก ตัวเลขอัตราการบีบอัดและคุณภาพที่รักษาไว้ต่างวัดโดยฝ่ายที่ได้ประโยชน์หากตัวเลขออกมาดูดี นั่นไม่ได้หมายความว่าตัวเลขเหล่านั้นผิด แต่หมายความว่ายังไม่ได้รับการยืนยัน และควรให้น้ำหนักต่างจากตัวเลขที่คุณวัดด้วยตนเอง
มีพฤติกรรมหนึ่งที่มีการบันทึกไว้และควรทราบก่อนกล่าวโทษการตั้งค่าของคุณ โมเดล embedding ที่ตัวกรองเครื่องมือใช้จะโหลดเมื่อมีคำขอแรก แทนที่จะโหลดตอนเริ่มต้น ดังนั้นโครงการจึงระบุว่าควรเผื่อเวลา warm-up 10 ถึง 15 วินาที จากนั้นแต่ละ call จะใช้เวลาประมาณ 15 ms ส่งคำขอที่ไม่สำคัญ 1 รายการหลังจาก proxy เริ่มทำงาน แล้ว agent turn จริงครั้งแรกจะไม่ดูเหมือนค้าง
มี 4 เรื่องที่คุณตรวจสอบได้ด้วยตนเองภายในช่วงบ่าย: proxy เริ่มทำงานและทำงานต่อเนื่องหรือไม่, /stats เปลี่ยนแปลงขณะคุณทำงานหรือไม่, บรรทัด input-token ของ provider ลดลงจริงหรือไม่ และ agent ยังคงทำงานจนเสร็จหรือไม่ เรื่องเหล่านี้ตัดสินผลสำหรับการตั้งค่าของคุณได้ดีกว่า benchmark ที่เผยแพร่ใด ๆ
สำหรับตำแหน่งของเครื่องมือนี้เมื่อเทียบกับเครื่องมืออื่นของคุณ gateway LiteLLM ที่โฮสต์เอง จะ route และวัดคำขอโดยไม่เปลี่ยนเนื้อหา ดังนั้นเครื่องมือทั้งสองจึงแก้ปัญหาคนละด้านและสามารถต่อใช้งานร่วมกันได้ โดยให้ Paritok อยู่ใกล้ agent ที่สุด หากเป้าหมายจริงคือการลดค่าใช้จ่าย ไม่ใช่การใช้เครื่องมือนี้โดยเฉพาะ ชุดแนวทางควบคุมค่าใช้จ่ายที่กว้างกว่าสำหรับ agent บน VPS มีการเปลี่ยนแปลงหลายรายการที่ลองทำก่อนได้โดยไม่เสียค่าใช้จ่าย
FAQ
Paritok ช่วยลดค่าใช้จ่าย API หรือลดเพียงการใช้งาน context เท่านั้น?
มันจะบีบอัดคำขอก่อนส่งถึงผู้ให้บริการ การประหยัดค่าใช้จ่ายขึ้นอยู่กับราคาของโทเค็นที่ถูกลบออกและจำนวนรอบการทำงานของเอเจนต์ ผลลัพธ์การลดขนาดจริงจะน้อยกว่าตัวเลขที่โฆษณาไว้ ตัวเลข 74% คืออัตราการบีบอัดของเนื้อหาที่ถูกประมวลผล หากมองแบบ end-to-end โครงการรายงานว่าลดลงประมาณ 25% ในการทำงานรอบเดียว และคาดการณ์ว่าจะลด input-token ได้ถึง 63% ในรอบที่ 20 ส่วน output tokens จะถูกส่งผ่านไปโดยไม่มีการเปลี่ยนแปลง แต่ปริมาณที่สร้างขึ้นยังคงขึ้นอยู่กับพฤติกรรมของเอเจนต์
ต้องใช้ GPU มากแค่ไหนในการ self-host โมเดลบีบอัด?
GPU เป็นเพียงตัวเลือกเสริม: Ollama สามารถรันโมเดลบน CPU ได้เช่นกัน รุ่น q4 มีขนาดประมาณ 2.5 GB และรุ่น f16 มีขนาดประมาณ 8 GB ดังนั้นโมเดลจึงสามารถทำงานบนการ์ดจอขนาด 24 GB ได้โดยมีพื้นที่เหลือเฟือ การ์ดจอขนาดเล็กกว่าก็ใช้งานได้ ซึ่งจะช่วยให้จุดคุ้มทุนทางการเงินดีขึ้นสำหรับคุณ ส่วนตัวกรอง tool-schema ไม่จำเป็นต้องใช้ GPU เลย เพราะใช้ BAAI/bge-small-en-v1.5 ซึ่งเป็นโมเดล embedding ขนาด 130 MB ที่รันบน CPU ได้ ติดตั้ง paritok[toolselect] บน VPS ทั่วไป คุณก็สามารถลดขนาด tool-block ได้โดยแลกกับ RAM เพียงเล็กน้อยเท่านั้น
จะเกิดอะไรขึ้นหากตัวบีบอัดลบข้อมูลที่เอเจนต์จำเป็นต้องใช้?
ไม่มีข้อมูลใดสูญหายอย่างถาวร โมเดลจะลบช่วงข้อความออกจากสิ่งที่ส่งต่อ แต่ส่วนที่ถูกบีบอัดจะมีแท็ก [REF:id] กำกับไว้ และโมเดลจะกู้คืนข้อความเต็มด้วย read_original หรือ expand_context ตัวกรองเครื่องมือค่าเริ่มต้นจะตัดเครื่องมือมาตรฐานที่ไม่ได้เลือกออก และตัดเครื่องมือ MCP ที่ไม่ได้เลือกออก เว้นแต่สัญญาณความเกี่ยวข้องของ MCP จะทำงาน ซึ่งในกรณีนั้นมันจะสร้าง stub สำหรับเครื่องมือ MCP เหล่านั้น การกู้คืนเครื่องมือใช้ gateway_search_tools และการตรวจจับข้อความแจ้งเตือนเครื่องมือที่หายไป ความเสี่ยงที่แท้จริงนั้นเงียบเชียบกว่าไฟล์หาย: โมเดลทำงานจากเนื้อหาที่ถูกตัดทอนและอาจไม่รู้ตัวว่าควรเรียกขอข้อมูลต้นฉบับ ตัวเลขความแม่นยำ 86.5% บน SWE-bench Lite วัดจากการทำความเข้าใจเนื้อหาต้นฉบับที่ถูกบีบอัดในรอบเดียวโดยปิดการเรียกคืนข้อมูลและเปิดการกู้คืนการแก้ไข แต่ไม่ได้วัดผลตัวกรอง CPU tool-schema หรือ gateway แบบหลายรอบทั้งหมด
ทำไมคำขอแรกของฉันถึงใช้เวลาถึงสิบห้าวินาที?
โมเดล embedding ที่อยู่เบื้องหลังตัวกรองเครื่องมือจะโหลดในการเรียกใช้ครั้งแรกแทนที่จะโหลดตอนเริ่มต้นระบบ โครงการระบุว่าต้องใช้เวลา warm-up ประมาณ 10 ถึง 15 วินาที จากนั้นจะใช้เวลาประมาณ 15 ms ต่อการเรียกใช้ในครั้งถัดไป ให้ส่งคำขอทดสอบหนึ่งครั้งด้วย curl หลังจากเริ่ม proxy แล้ว รอบการทำงานจริงครั้งแรกของเอเจนต์จะไม่ติดขัด
ฉันควรใช้เซิร์ฟเวอร์ GPU แบบ hosted แทนการ self-host หรือไม่?
วิธีนี้ช่วยลดภาระการโฮสต์โมเดลบีบอัดและค่าเช่า GPU ในขณะที่คุณยังคงดูแล gateway เอง ณ วันที่ 2 พฤศจิกายน 2026 มีค่าใช้จ่าย $0.30 ต่อล้านโทเค็นไฟล์ที่บีบอัด โดยหักจากเครดิตที่เติมไว้ล่วงหน้า และมีเครดิตฟรี $5 สำหรับบัญชีใหม่ (ช่วงเปิดตัวฟรีสิ้นสุดลงเมื่อวันที่ 1 ตุลาคม 2026) นอกจากนี้ วิธีนี้ยังส่ง prompt และไฟล์ที่เอเจนต์ของคุณอ่านไปยังบุคคลที่สามก่อนที่จะถึงผู้ให้บริการโมเดลของคุณ หากคุณกำลังทำ self-host เพื่อเก็บโค้ดไว้บนโครงสร้างพื้นฐานที่คุณควบคุม การตั้งค่านี้จะทำลายเหตุผลที่คุณเริ่มต้นแต่แรก การทำ self-host จะเก็บการบีบอัดไว้ในเครื่องของคุณเอง ส่วนคำขอที่บีบอัดและข้อมูลรับรองของผู้ให้บริการจะยังคงถูกส่งไปยังผู้ให้บริการโมเดลของคุณตามปกติ