SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Paritok: Gateway Token untuk Kurangkan Kos Ejen

Paritok memampatkan bacaan fail dan output alat sebelum dihantar ke API model. Projek ini mendakwa pengurangan token sebanyak 74%; semak mekanisme dan titik pulang modal.

Perkara yang Paritok lakukan terhadap permintaan

Paritok ialah get laluan token: proksi yang berada antara ejen pengekodan anda dengan API model dan memampatkan setiap permintaan sebelum memajukannya. Ejen anda berkomunikasi dengan http://127.0.0.1:8080 dan bukannya dengan pembekal. Proksi mengecilkan skema alat, bacaan fail, output alat dan giliran terdahulu, menghantar payload yang lebih kecil kepada pelayan huluan, lalu memulangkan balasan tanpa perubahan.

Pembekal mengebil anda berdasarkan kandungan yang sampai kepadanya, tetapi invois bergantung pada token yang dibuang, harga cache token tersebut dan bilangan giliran yang diambil oleh ejen. Itulah keseluruhan ideanya. Dakwaan ini berbeza daripada "konteks anda bertahan lebih lama", dan inilah sebab alat ini menarik, bukan sekadar menjadikan kandungan lebih kemas.

Projek ini masih baharu. Get laluan itu diterbitkan sebagai sumber terbuka pada 15 July 2026, manakala PyPI menetapkan tarikh v1.3.14 pada 6 October 2026 dan v1.3.0 pada 5 August. Weights dan kod get laluan dilesenkan di bawah Apache 2.0. Model pemampatan itu ialah adapter LoRA (low-rank adaptation) pada Qwen3-4B-Instruct-2507, yang didistilkan daripada kumpulan 45,000 segmen yang diambil daripada trajektori ejen pengekodan sebenar. Daripada jumlah itu, 40,606 lulus pengesahan guru dan menjadi contoh latihan.

Mengapa ini bukan pemangkasan konteks

Pemangkasan memadamkan kandungan secara kekal. Apabila ejen menghampiri had konteks lalu menggugurkan giliran paling lama, fail yang dibacanya pada giliran 3 sudah tiada. Jika ejen memerlukan fail itu pada giliran 20, ejen membacanya semula, jadi token tersebut dikira sekali lagi. Penjimatan itu hanya pinjaman.

Paritok menggantikan segmen dengan bentuk yang lebih pendek bersama tag, [REF:id], dan menyimpan teks penuh pada proksi. Model mendapatkan semula segmen dengan memanggil read_original atau expand_context. Ini mengubah mod kegagalan. Pemangkas gagal dengan melupakan kandungan tanpa memaklumkan anda. Pemampat pula gagal dengan memberikan petikan yang kehilangan maklumat kepada model, dan model boleh meminta teks asal apabila petikan itu tidak mencukupi.

Skema alat yang ditapis masih boleh dipulihkan, tetapi penapis adaptif lalai menggugurkan alat standard yang tidak dipilih dan alat MCP yang tidak dipilih, melainkan isyarat perkaitan MCP diaktifkan. Apabila isyarat itu diaktifkan, alat MCP yang tidak dipilih digantikan dengan stub. gateway_search_tools menyokong pemulihan, dan get laluan juga mengesan mesej alat yang hilang lalu memasukkan alat yang sepadan sebelum mencuba semula. Ini penting kerana penapis yang menyembunyikan alat secara kekal mengubah perkara yang boleh dilakukan oleh ejen anda, dan anda hanya akan mengetahuinya melalui tugasan yang gagal secara senyap.

Tiga tuil, dan yang mana satu percuma

Tuil pertama ialah penapis skema alat. Setiap permintaan membawa keseluruhan tatasusunan tools. Dalam pusingan Claude Code tanpa pelayan MCP (model context protocol) yang dilampirkan, projek ini mengukur blok tersebut pada kira-kira 29,000 token; dengan MCP dilampirkan, ia melaporkan 44,000 hingga 65,000 token. Penapis ini membenamkan permintaan pengguna dan setiap penerangan alat dengan BAAI/bge-small-en-v1.5, iaitu model pembenaman 130 MB, mengekalkan alat yang sepadan, menggugurkan alat standard yang tidak dipilih, dan hanya menyediakan stub untuk alat MCP yang tidak dipilih apabila isyarat kerelevanan MCP dicetuskan. Jika tidak, ia menggugurkan alat MCP tersebut juga. Dalam contoh 29,000 token projek ini, blok tersebut berkurangan kepada kira-kira 8,000 token. Model pembenaman itu berjalan pada CPU.

Tuil kedua ialah pemampatan kandungan, dan ini adalah bahagian yang menggunakan model 4B, pada GPU atau melalui Ollama pada CPU. Bacaan fail, output alat dan sejarah dipotong kepada 25.7% daripada saiz asalnya. Model ini terutamanya memilih rentang (spans) dan bukannya menulis semula, dengan penulisan semula terhad dibenarkan untuk kandungan seperti ringkasan penaakulan dan pembingkaian panggilan alat. Kertas kerja projek ini mengukur 96.0% pengecam, laluan dan nombor yang dikeluarkan muncul secara verbatim dalam input dalam korpus latihan yang dijana oleh guru; output SWE-bench Lite yang dipegang oleh model terlatih mencatatkan 96.2% pada audit yang sama. Itulah punca angka 74% tersebut. Baca dengan teliti: 74% ialah kadar pemampatan pada kandungan yang dimampatkan, bukan potongan pada bil anda.

Tuil ketiga ialah ringkasan sejarah. Secara lalai, sebaik sahaja konteks melebihi 80% daripada tetingkap yang dikonfigurasikan, pusingan yang lebih lama akan diringkaskan manakala empat pusingan terkini kekal utuh supaya sesi yang panjang terus berjalan dan bukannya mencapai had.

GPU adalah pilihan untuk self-hosting. Itu adalah ayat yang paling berguna di halaman ini. pip install "paritok[toolselect]" memberikan anda penapis alat pada VPS CPU biasa, tanpa yuran per-token. Cuba dahulu sebelum anda menyewa kad.

Apa yang diukur oleh projek ini, dan pada harness yang mana

CartaSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Data di sebalik carta ini
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Ini adalah angka yang diterbitkan oleh projek itu sendiri, diukur pada harness miliknya terhadap SWE-bench Lite. Paritok-4B-v1 memampatkan kandungan kepada 25.7% daripada saiz asal sambil mengekalkan 86.5% daripada kadar penyelesaian tanpa mampatan. Menggunakan gpt-5 sebagai pemampat mengekalkan kualiti yang lebih tinggi, iaitu 93.6%, tetapi hanya memampatkan kepada 61.9%, dan anda perlu membayar harga model frontier semata-mata untuk menjimatkan kos model frontier.

Baca lajur kualiti dengan teliti. Kualiti yang dikekalkan ialah kadar penyelesaian pemampat dibahagikan dengan kadar penyelesaian garis dasar tanpa mampatan. Mengekalkan 86.5% bermakna pengurangan bersih sebanyak 13.5% dalam penyelesaian berbanding garis dasar tersebut; ia tidak mengira pecahan masalah yang diselesaikan oleh garis dasar yang hilang, kerana larian termampat juga boleh menyelesaikan masalah yang berbeza. Angka ini mengukur kefahaman sekali jalan (single-shot) bagi sumber mentah yang dimampatkan dengan fungsi recall dilumpuhkan dan pemulihan suntingan pengeluaran diaktifkan; ia tidak mengukur penapis skema alat CPU atau gerbang berbilang pusingan (multi-turn) sepenuhnya.

CartaReported input-token saving as a session grows (project's own harness)
Data di sebalik carta ini
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Penjimatan hujung-ke-hujung meningkat apabila sesi berjalan, kerana sejarah terkumpul dan sejarah itulah yang dimampatkan. Projek ini melaporkan kira-kira 25% pada satu pusingan, 39% menjelang pusingan ke-5, dan 63% menjelang pusingan ke-20. Hanya pusingan 1 hingga 5 yang diukur; README melabelkan baris kemudian sebagai unjuran. Ia juga menyatakan di mana pertumbuhan itu berhenti: pada bajet 200,000 token, penjimatan kandungan setiap pusingan mendatar pada sekitar 48,000 token, di suatu tempat berhampiran pusingan 8 hingga 12, kerana apabila konteks penuh, sejarah berhenti berkembang. Penjimatan penapis alat yang berasingan menambah kira-kira 21,000 token setiap pusingan, menjadikan unjuran dataran gabungan kira-kira 69,000 token setiap pusingan. Angka "melebihi 85%" yang sering disebut menggambarkan sesi yang tepu dengan konteks. Itu adalah kes terbaik, dan README yang sama menyatakan bahawa penjimatan mendatar ke arah siling sekitar 72% di bawah tetapan lalai, jadi jangan merancang berdasarkan angka tersebut.

Adakah GPU 24GB berbaloi untuk Paritok?

GPU adalah pilihan, dan model ini boleh dijalankan pada kad yang kurang daripada 24GB. Untuk contoh pengiraan sewaan, gunakan kadar $0.44 sejam bagi kad 24GB. Jika dibiarkan berjalan sepanjang bulan, tempohnya ialah 730 jam, iaitu $321. Jika dijalankan hanya pada waktu bekerja, selama 8 jam sehari untuk 22 hari, tempohnya ialah 176 jam, iaitu $77.

Sekarang tukarkan pengurangan token kepada pengurangan kos dalam dolar. Pengurangan ini hanya terpakai pada token input. Token output melalui proxy tanpa perubahan, jadi proxy tidak memampatkannya. Kira perubahan bagi input baharu, penulisan cache dan pembacaan cache secara berasingan menggunakan kadar pembekal anda, kemudian bandingkan jumlah kos API sebelum dan selepas perubahan. Walaupun input merangkumi 80% daripada jumlah kos anda, mendarabkan pengurangan token dengan 0.8 tidak membuktikan jumlah penjimatan bil.

CartaMonthly API saving needed to cover an illustrative $0.44/hour card
Data di sebalik carta ini
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Kad yang dibiarkan berjalan akan membayar kosnya sendiri apabila penjimatan API bulanan yang diukur melebihi $321.2, atau $77.44 jika anda menghentikan instance di luar waktu bekerja. Pengurangan token sebanyak 85% sahaja tidak membuktikan penjimatan bil sebanyak 68%, jadi ia tidak dapat menetapkan ambang perbelanjaan ejen bulanan. Bahagikan kos sewaan dengan pecahan penjimatan bil yang diukur untuk mendapatkan ambang tersebut.

Dua perkara menjadikan pilihan ini lebih baik daripada yang ditunjukkan oleh carta. Model ini tidak memerlukan 24GB: binaan q4 berukuran kira-kira 2.5GB dan binaan f16 kira-kira 8GB. Oleh itu, kad yang lebih kecil, atau kotak GPU yang memang anda jalankan untuk tujuan lain, akan mengurangkan semua angka dalam carta tersebut. Selain itu, menghentikan instance apabila tiada sesiapa menulis kod ialah langkah paling berkesan kerana tindakan itu mengurangkan kos sewaan kira-kira tiga perempat.

Satu perkara menjadikannya lebih buruk. Proses pemampatan memerlukan kerja sebenar. Setiap token yang dimampatkan oleh model 4B ialah token yang perlu dibacanya, dan setiap rentang yang dikekalkan perlu ditulis semula. Ini menambah kependaman pada setiap giliran ejen. Pada kad yang disewa mengikut jam, kos ini muncul sebagai masa menunggu, bukan sebagai baris pada invois. Oleh itu, kos ini mudah terlepas pandang sehingga anda mengalaminya sendiri.

Jika anda membandingkan jam GPU sewaan dengan token API secara umum, pengiraan titik pulang modal antara GPU VPS dengan token API menggunakan aritmetik yang sama untuk inferens itu sendiri.

Menjalankan get laluan Paritok pada VPS

Metadata pakej di PyPI menerima Python 3.10 atau lebih baharu, walaupun lencana README menyatakan 3.11+. Ubuntu 24.04 disertakan dengan Python 3.12, jadi imej VPS biasa sudah memadai untuk penapis alat CPU.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Tetapkan versi secara khusus. PyPI mencatat v1.3.0 pada 5 August 2026 dan v1.3.14 pada 6 October 2026. Projek yang bergerak sepantas itu boleh menamakan semula perkara antara keluaran: v1.3.0 sendiri menamakan semula expand_context kepada read_original dalam APInya. pip install paritok tanpa versi khusus, atau git clone bagi main, akan memberikan anda get laluan yang berbeza pada minggu hadapan dan tidak meninggalkan rekod tentang get laluan yang menghasilkan nombor yang anda ukur.

Backend lalai ialah Ollama. Tarik model itu, kemudian berikan nama pendek yang dicari oleh proksi.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Oleh sebab model tempatan menulis rentang yang disimpannya bagi setiap segmen yang dimampatkan, proses pemampatan yang berjalan terlalu lama akan kelihatan sebagai giliran ejen yang tersekat. Had num_predict Ollama pada panjang output ialah tetapan yang mengehadkannya.

Tulis paritok.yaml di sebelahnya. use_gpu_server: false memastikan pemampatan dilakukan pada perkakasan anda sendiri.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up ialah pintasan untuk menarik model jika model itu tiada dan memulakan proksi pada port 8080; Ollama mestilah sudah dipasang. Semak proksi itu sebelum menghalakan ejen kepadanya.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health mengembalikan objek JSON kecil yang mengandungi "status":"ok" dan rentetan versi. /stats mengembalikan jumlah pemampatan serta anggaran proksi sendiri tentang perkara yang dijimatkannya. Anggap anggaran itu sebagai penilaian proksi terhadap kerjanya sendiri, lalu sahkannya dengan halaman penggunaan penyedia anda.

Untuk throughput dan bukan kemudahan, vLLM menyediakan adapter di atas model asas.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Flag --max-lora-rank 32 berada dalam arahan projek itu sendiri kerana adapter tersebut mempunyai rank 32. Kemudian tetapkan local_model.base_url kepada http://localhost:8000/v1 dalam paritok.yaml supaya proksi bercakap dengan vLLM dan bukannya Ollama.

Ollama lebih pantas untuk disediakan. vLLM mengendalikan permintaan serentak dengan jauh lebih baik, dan perkara ini mula penting sebaik sahaja lebih daripada satu ejen berkongsi mesin tersebut. Perbezaan praktikal antara Ollama dan vLLM menentukan pilihan untuk anda.

Halakan ejen kepada proksi menggunakan pemboleh ubah persekitaran base URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI mengabaikan OPENAI_BASE_URL, jadi paritok up menulis ~/.codex/config.toml untuk anda apabila codex.enabled: true ditetapkan dalam paritok.yaml. Mengeksport pemboleh ubah itu sahaja menyebabkan Codex terus berkomunikasi dengan penyedia, dan tandanya ialah pembilang /stats yang tidak pernah berubah semasa anda bekerja.

Kekalkan listener pada 127.0.0.1, bukan pada 0.0.0.0. Proksi memajukan bukti kelayakan yang dibekalkan bersama setiap permintaan kepada upstream. Endpoint /stats yang tidak memerlukan pengesahan pula mendedahkan sampel kandungan asal dan kandungan yang dimampatkan. Oleh itu, listener yang menghadap Internet akan mendedahkan konteks peribadi serta sumber pemampatan tempatan. Aksesnya dari komputer riba melalui terowong SSH atau VPN, bukannya membuka port tersebut.

Jalankan proses itu di bawah systemd supaya ia terus berjalan selepas reboot. Laraskan path agar sepadan dengan pemasangan anda. Cipta pengguna paritok yang akan digunakan oleh unit tersebut dan berikan pengguna itu direktori pemasangan:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Aktifkan dengan sudo systemctl enable --now paritok, kemudian jalankan curl /health sekali lagi. Unit yang bermula kemudian terus keluar biasanya menunjukkan path fail konfigurasi tidak betul, dan journalctl -u paritok -n 50 memaparkan sebabnya.

Pilihan dihoskan dan kosnya

Projek ini juga menawarkan pemampatan sebagai perkhidmatan. Tetapkan use_gpu_server: true dengan kunci API daripada paritok.com, kemudian model 4B akan dijalankan pada perkakasan mereka. Setakat 2 November 2026, cajnya ialah $0.30 bagi setiap juta token fail yang dimampatkan, menggunakan kredit prabayar, manakala penapisan skema alat adalah percuma. Akaun baharu menerima kredit percuma sebanyak $5 tanpa memerlukan kad. Tempoh pelancaran ketika perkhidmatan dihoskan ini percuma berakhir pada 1 October 2026, jadi perkhidmatan ini kini berbayar. Pilihan ini menghapuskan kerja mengehos model pemampatan, tetapi anda masih menjalankan gateway.

Ini juga bermakna prompt anda dan fail yang dibaca oleh ejen anda meninggalkan mesin anda dan sampai kepada pihak ketiga sebelum sampai kepada penyedia model anda. Self-hosting wujud untuk mengelakkan lompatan itu. Tentukan perkara yang hendak anda utamakan sebelum menetapkan flag tersebut, kerana flag itu hanya memerlukan perubahan satu baris, tetapi kesannya tidak semudah itu.

Cara mengukur keadaan sendiri sebelum dan selepas

Angka yang diterbitkan ialah angka projek, yang diperoleh daripada harness projek pada SWE-bench Lite. Repositori anda bukan SWE-bench Lite. Ukur keadaan anda sendiri.

  • Jalankan satu minggu biasa tanpa proxy dalam laluan permintaan. Catat token input baharu, cache-write, cache-read dan output sebagai baris berasingan daripada halaman penggunaan provider anda, bukan sebagai satu jumlah dolar.
  • Jalankan minggu berikutnya dengan proxy di hadapan, sambil melakukan jenis kerja yang sama.
  • Bandingkan kategori input pada harga sebenar masing-masing dan masukkan sebarang perubahan dalam kos output. Proxy tidak memampatkan output, tetapi perubahan dalam tingkah laku agent dan bilangan turn tetap mempengaruhi jumlah output yang anda beli.
  • Kira tugas yang perlu anda ulang. Ini ialah separuh kualiti dalam pertukaran tersebut, dan tiada dashboard yang melaporkannya.
  • Tambahkan jam GPU kepada minggu kedua sebelum membandingkan jumlah keseluruhan.

Memisahkan input daripada output penting kerana kedua-duanya mempunyai harga yang sangat berbeza dan compressor hanya memproses salah satu daripadanya. Setakat 2 November 2026, Claude Sonnet 4.6 berharga $3 bagi setiap juta token input dan $15 bagi setiap juta token output, manakala bacaan prompt-cache berharga 10% daripada kadar input, iaitu $0.30 bagi setiap juta. Claude Sonnet 5.5 yang lebih baharu berharga $2 dan $10, manakala bacaan cache-nya ialah 5% daripada kadar input, iaitu $0.10 bagi setiap juta. Perbezaan kos token input dan output menentukan sama ada compressor pada bahagian input berbaloi untuk anda. Ke mana token Claude Code sebenarnya pergi menunjukkan bahagian konteks yang cukup besar untuk dimampatkan.

Prompt caching khususnya merumitkan pengiraan penapisan tool. Blok tool berada di bahagian hadapan request, jadi selepas turn pertama, blok itu biasanya menjadi cache hit; pada Sonnet 4.6, kosnya ialah 10% daripada harga input. Mengurangkan 21,000 token daripada blok yang dicache menjimatkan kos 21,000 token pada kadar $0.30 bagi setiap juta, iaitu kira-kira $0.006 bagi setiap turn, bukannya $0.063 seperti yang dicadangkan oleh kadar tanpa cache. Projek ini mengekalkan blok yang ditapis dalam keadaan tetap sepanjang session supaya prefix yang dicache tidak berubah. Filter yang memilih semula tool pada setiap turn akan membatalkan prefix tersebut dan mungkin menelan kos lebih tinggi daripada jumlah yang dijimatkan.

Perkara yang masih belum disahkan

Semua angka prestasi di atas datang daripada projek itu sendiri. Semakan pemampatan menggunakan korpus sintetik secara bebas memang wujud, tetapi semakan itu menyatakan dengan jelas bahawa ia tidak menguji kejayaan tugasan SWE-bench; angka kualiti penyelesaian SWE-bench Lite daripada projek itu masih belum disahkan secara bebas. Memandangkan gateway itu dibuka sebagai sumber terbuka pada Julai 2026, sejarah operasi kod tersebut juga masih sangat terhad. Kadar pemampatan dan angka kualiti yang dikekalkan kedua-duanya diukur oleh pihak yang mendapat manfaat jika hasilnya kelihatan baik. Ini tidak bermakna angka itu salah. Angka tersebut masih belum disahkan, dan anda wajar menilainya secara berbeza daripada angka yang anda hasilkan sendiri.

Satu tingkah laku yang didokumenkan perlu diketahui sebelum anda menyalahkan persediaan anda. Model embedding yang digunakan oleh penapis alat dimuatkan pada permintaan pertama, bukan semasa permulaan. Oleh itu, projek tersebut mendokumenkan tempoh pemanasan selama 10 hingga 15 saat, kemudian sekitar 15 ms bagi setiap panggilan. Hantar satu permintaan ujian selepas proxy bermula supaya giliran ejen sebenar anda tidak kelihatan tersekat.

Empat perkara boleh anda tentukan sendiri dalam masa satu petang: sama ada proxy bermula dan terus berjalan, sama ada /stats bergerak semasa anda bekerja, sama ada baris token input daripada penyedia anda benar-benar berkurang, dan sama ada ejen masih menyiapkan kerja tersebut. Perkara ini lebih menentukan kesesuaian untuk persediaan anda berbanding mana-mana penanda aras yang diterbitkan.

Tentang kedudukannya berbanding alat lain yang anda gunakan: gateway LiteLLM yang dihoskan sendiri menghala dan mengukur permintaan tanpa mengubah kandungannya, jadi kedua-duanya menyelesaikan masalah yang berbeza dan boleh dirangkaikan, dengan Paritok berada paling hampir dengan ejen. Jika matlamat sebenar anda ialah mengurangkan bil, bukan menggunakan alat khusus ini, set kawalan kos yang lebih luas untuk ejen pada VPS merangkumi beberapa perubahan yang boleh dicuba terlebih dahulu tanpa kos.

FAQ

Adakah Paritok mengurangkan bil API saya atau hanya penggunaan konteks saya?

Ia mengecilkan permintaan sebelum ia sampai kepada penyedia; penjimatan bil bergantung pada harga token yang dibuang dan jumlah giliran (turn count) ejen yang terhasil. Saiz pengurangan tersebut adalah lebih kecil daripada yang diuar-uarkan. Angka 74% adalah kadar pemampatan pada kandungan yang dimampatkan. Secara keseluruhan (end-to-end), projek ini melaporkan kira-kira 25% penjimatan pada satu giliran dan mengunjurkan 63% menjelang giliran ke-20 sebagai penjimatan token input. Token output tidak disentuh, namun jumlah yang dijana masih bergantung pada gelagat ejen.

Berapa banyak GPU yang saya perlukan untuk mengehos sendiri model pemampatan?

GPU adalah pilihan: Ollama boleh menjalankan model tersebut pada CPU juga. Binaan q4 adalah kira-kira 2.5 GB dan binaan f16 kira-kira 8 GB, jadi model ini muat di dalam kad 24 GB dengan ruang yang masih banyak. Kad yang lebih kecil juga boleh berfungsi, dan ia mengubah pengiraan titik pulang modal (break-even) yang lebih memihak kepada anda. Penapis skema alatan (tool-schema filter) tidak memerlukan GPU langsung: ia menggunakan BAAI/bge-small-en-v1.5, iaitu model embedding 130 MB yang berjalan pada CPU. Pasang paritok[toolselect] pada VPS biasa dan anda mendapat pengurangan blok alatan dengan hanya menggunakan sedikit RAM.

Apa yang berlaku jika pemampat membuang sesuatu yang diperlukan oleh ejen?

Tiada apa yang hilang selama-lamanya. Model memadamkan rentang (spans) daripada apa yang dihantar, tetapi segmen yang dimampatkan membawa tag [REF:id] dan model memulihkan teks penuh dengan read_original atau expand_context. Penapis alatan lalai akan membuang alatan standard yang tidak dipilih dan membuang alatan MCP yang tidak dipilih melainkan isyarat kaitan MCP-nya aktif, yang mana ia akan melakukan stub pada alatan MCP tersebut. Pemulihan alatan menggunakan gateway_search_tools dan pengesanan mesej alatan yang hilang. Risiko sebenar adalah lebih senyap daripada fail yang hilang: model berfungsi daripada petikan yang hilang maklumat (lossy excerpt) dan tidak pernah menyedari ia sepatutnya meminta yang asal. Angka 86.5% kualiti yang dikekalkan pada SWE-bench Lite mengukur kefahaman sekali jalan (single-shot) terhadap sumber mentah yang dimampatkan dengan fungsi recall dilumpuhkan dan pemulihan suntingan pengeluaran diaktifkan; ia tidak mengukur penapis skema alatan CPU atau gerbang berbilang giliran (multi-turn gateway) sepenuhnya.

Mengapa permintaan pertama saya mengambil masa lima belas saat?

Model embedding di sebalik penapis alatan dimuatkan pada permintaan pertama dan bukannya semasa permulaan (startup). Projek ini mendokumentasikan pemanasan (warm-up) selama 10 hingga 15 saat, kemudian kira-kira 15 ms bagi setiap panggilan selepas itu. Hantar satu permintaan percubaan dengan curl selepas memulakan proksi, dan giliran ejen sebenar yang pertama tidak akan tergendala.

Patutkah saya menggunakan pelayan GPU yang dihoskan berbanding mengehos sendiri?

Ia menghilangkan keperluan mengehos model pemampatan dan sebarang sewaan GPU, sementara anda masih menyelenggara gerbang tersebut. Setakat 2 November 2026, kosnya ialah $0.30 bagi setiap juta token fail yang dimampatkan, dibayar daripada kredit prabayar, dengan $5 kredit percuma untuk akaun baharu; tempoh pelancaran percuma berakhir pada 1 Oktober 2026. Ia juga menghantar prompt anda dan fail yang dibaca oleh ejen anda kepada pihak ketiga sebelum ia sampai kepada penyedia model anda. Jika anda mengehos sendiri untuk memastikan kod berada pada infrastruktur yang anda kawal, tetapan tersebut membatalkan sebab anda bermula. Pengehosan sendiri memastikan pemampatan kekal pada kotak anda sendiri; permintaan yang dimampatkan dan kelayakan penyedia masih dihantar ke hulu (upstream) kepada penyedia model anda.

Adakah artikel ini berguna?