SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Paritok: Benarkah Tagihan Coding Agent Lebih Murah?

Paritok memadatkan pembacaan file dan output tool sebelum dikirim ke API model. Proyek ini mengklaim pengurangan token 74%; simak mekanisme dan titik impasnya.

Yang dilakukan Paritok terhadap sebuah permintaan

Paritok adalah gateway token: proxy yang berada di antara coding agent dan model API, lalu memadatkan setiap permintaan sebelum meneruskannya. Agent Anda berkomunikasi dengan http://127.0.0.1:8080, bukan dengan provider. Proxy memperkecil skema tool, pembacaan file, output tool, dan turn sebelumnya, mengirim payload yang lebih kecil ke upstream, lalu meneruskan kembali balasan tanpa perubahan.

Provider menagihkan biaya berdasarkan data yang tiba di provider. Namun, jumlah tagihan bergantung pada token yang dihapus, harga cache untuk token tersebut, dan jumlah turn yang dijalankan agent. Itulah inti pendekatan ini. Klaimnya berbeda dari "context Anda bertahan lebih lama". Inilah alasan tool ini menarik, bukan sekadar membuat payload lebih rapi.

Proyek ini masih baru. Gateway tersebut dirilis sebagai open source pada 15 July 2026. PyPI mencatat v1.3.14 bertanggal 6 October 2026 dan v1.3.0 bertanggal 5 August. Weight dan kode gateway menggunakan lisensi Apache 2.0. Model kompresinya adalah adapter LoRA (low-rank adaptation) pada Qwen3-4B-Instruct-2507. Model ini didistilasi dari kumpulan 45,000 segmen yang diambil dari trajectory coding agent nyata. Sebanyak 40,606 segmen lolos validasi teacher dan menjadi contoh pelatihan.

Mengapa ini bukan pemangkasan konteks

Pemangkasan menghapus data secara permanen. Saat agent mendekati batas konteks lalu membuang giliran percakapan yang paling lama, file yang dibacanya pada giliran 3 sudah tidak tersedia. Jika file itu diperlukan pada giliran 20, agent membacanya lagi, sehingga token tersebut kembali dikenai biaya. Penghematan itu hanya pinjaman.

Paritok mengganti suatu segmen dengan bentuk yang lebih singkat beserta tag, [REF:id], lalu menyimpan teks lengkapnya pada proxy. Model dapat memulihkan segmen dengan memanggil read_original atau expand_context. Hal ini mengubah jenis kegagalannya. Trimmer gagal karena melupakan informasi, dan tidak pernah memberi tahu Anda. Compressor gagal karena memberikan cuplikan yang kehilangan sebagian informasi kepada model, lalu model dapat meminta teks asli jika cuplikan tersebut tidak memadai.

Skema tool yang difilter tetap dapat dipulihkan, tetapi filter adaptif default membuang tool standar yang tidak dipilih dan tool MCP yang tidak dipilih, kecuali sinyal relevansi MCP aktif. Jika sinyal tersebut aktif, tool MCP yang tidak dipilih akan dibuat menjadi stub. gateway_search_tools mendukung pemulihan, dan gateway juga mendeteksi pesan tentang tool yang hilang lalu menyisipkan tool yang sesuai sebelum mencoba kembali. Hal ini penting karena filter yang menyembunyikan tool secara permanen mengubah kemampuan agent, dan Anda baru mengetahuinya melalui tugas yang diam-diam gagal.

Tiga pengungkit dan mana yang gratis

Pengungkit pertama adalah filter skema tool. Setiap permintaan membawa seluruh array tools. Pada giliran Claude Code tanpa server MCP (model context protocol) yang terpasang, proyek ini mengukur blok tersebut sekitar 29,000 token; dengan MCP terpasang, ukurannya dilaporkan mencapai 44,000 hingga 65,000 token. Filter ini menyematkan permintaan pengguna dan setiap deskripsi tool menggunakan BAAI/bge-small-en-v1.5, yaitu model embedding berukuran 130 MB, mempertahankan tool yang relevan, menghapus tool standar yang tidak dipilih, serta membuat stub untuk tool MCP yang tidak dipilih hanya ketika sinyal relevansi MCP aktif. Jika tidak, tool MCP tersebut juga dihapus. Dalam contoh proyek berukuran 29,000 token, blok ini menyusut menjadi sekitar 8,000 token. Model embedding tersebut berjalan pada CPU.

Pengungkit kedua adalah kompresi konten. Bagian ini menggunakan model 4B, pada GPU atau melalui Ollama pada CPU. Pembacaan file, output tool, dan riwayat dipangkas menjadi 25.7% dari ukuran aslinya. Model terutama memilih rentang teks, bukan menulis ulang teks tersebut. Penulisan ulang terbatas diizinkan untuk konten seperti ringkasan penalaran dan pembingkaian pemanggilan tool. Makalah proyek tersebut mengukur bahwa 96.0% identifier, path, dan angka yang dihasilkan muncul secara verbatim dalam input pada korpus pelatihan yang dibuat oleh teacher; output SWE-bench Lite dari model yang telah dilatih memperoleh skor 96.2% pada audit yang sama menggunakan data yang tidak disertakan dalam pelatihan. Dari sinilah angka utama 74% berasal. Baca dengan cermat: 74% adalah tingkat kompresi pada konten yang dikompresi, bukan pengurangan tagihan Anda.

Pengungkit ketiga adalah peringkasan riwayat. Secara default, setelah konteks melebihi 80% dari window yang dikonfigurasi, giliran yang lebih lama diringkas, sedangkan empat giliran terbaru tetap utuh. Dengan demikian, sesi yang panjang dapat terus berjalan tanpa mencapai batas.

GPU bersifat opsional untuk self-hosting. Itulah kalimat paling berguna di halaman ini. pip install "paritok[toolselect]" menyediakan filter tool pada VPS CPU biasa, tanpa biaya per token. Cobalah sebelum menyewa kartu GPU.

Hal yang diukur proyek, dan pada harness milik siapa

GrafikSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Data di balik grafik ini
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Ini adalah angka yang diterbitkan sendiri oleh proyek, yang diukur pada harness miliknya sendiri terhadap SWE-bench Lite. Paritok-4B-v1 memadatkan konten menjadi 25.7% dari ukuran asli, sambil mempertahankan 86.5% dari tingkat penyelesaian tanpa pemadatan. Menggunakan gpt-5 sebagai pemadat mempertahankan kualitas yang lebih tinggi, 93.6%, tetapi hanya memadatkan konten menjadi 61.9%, sehingga Anda membayar harga frontier untuk menghemat biaya frontier.

Baca kolom kualitas secara cermat. Kualitas yang dipertahankan adalah tingkat penyelesaian oleh pemadat dibagi tingkat penyelesaian baseline tanpa pemadatan. Mempertahankan 86.5% berarti pengurangan bersih sebesar 13.5% dalam jumlah penyelesaian dibandingkan baseline tersebut; angka ini tidak menghitung proporsi masalah yang terselesaikan pada baseline tetapi gagal diselesaikan, karena proses terkompresi juga dapat menyelesaikan masalah yang berbeda. Angka ini mengukur pemahaman sekali jalan atas source mentah yang telah dipadatkan, dengan recall dinonaktifkan dan pemulihan edit produksi diaktifkan; angka ini tidak mengukur filter skema tool pada CPU atau gateway multi-turn secara keseluruhan.

GrafikReported input-token saving as a session grows (project's own harness)
Data di balik grafik ini
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Penghematan end-to-end meningkat seiring berlangsungnya session, karena history terus bertambah dan history adalah bagian yang dipadatkan. Proyek melaporkan sekitar 25% pada satu turn, 39% pada turn 5, dan 63% pada turn 20. Hanya turn 1 hingga 5 yang diukur; README menandai baris setelahnya sebagai proyeksi. README tersebut juga menjelaskan kapan pertumbuhannya berhenti: pada anggaran 200,000 token, penghematan konten per turn mendatar di sekitar 48,000 token, sekitar turn 8 hingga 12, karena setelah context penuh, history tidak lagi bertambah. Penghematan terpisah dari tool-filter menambahkan sekitar 21,000 token per turn, sehingga plateau gabungan yang diproyeksikan menjadi sekitar 69,000 token per turn. Angka "past 85%" yang sering dikutip menggambarkan session yang context-nya sudah penuh. Itu adalah kondisi terbaik, dan README yang sama menyatakan bahwa penghematan mendatar menuju batas sekitar 72% pada pengaturan default, jadi jangan menjadikannya dasar perencanaan.

Apakah GPU 24GB sepadan dengan Paritok?

GPU bersifat opsional, dan model ini dapat dijalankan pada kartu dengan kapasitas kurang dari 24 GB. Sebagai contoh perhitungan sewa, gunakan tarif $0.44 per jam untuk kartu 24 GB. Jika terus berjalan selama sebulan penuh, durasinya 730 jam, sehingga biayanya $321. Jika hanya dijalankan selama jam kerja, yaitu 8 jam per hari selama 22 hari, durasinya 176 jam, sehingga biayanya $77.

Sekarang ubah pengurangan token menjadi pengurangan biaya. Pengurangan ini berlaku untuk token input. Token output diteruskan oleh proxy tanpa perubahan, sehingga proxy tidak mengompresnya. Hitung perubahan pada input baru, penulisan cache, dan pembacaan cache secara terpisah menggunakan tarif provider Anda, lalu bandingkan total biaya API sebelum dan sesudahnya. Meskipun input menyumbang 80% dari total biaya Anda, mengalikan pengurangan token dengan 0.8 tidak membuktikan penghematan tagihan.

GrafikMonthly API saving needed to cover an illustrative $0.44/hour card
Data di balik grafik ini
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Kartu yang terus berjalan akan menutup biaya sewanya setelah penghematan API bulanan yang terukur melebihi $321.2, atau $77.44 jika instance dihentikan di luar jam kerja. Pengurangan token sebesar 85% saja tidak membuktikan penghematan tagihan sebesar 68%, sehingga tidak dapat menetapkan ambang pengeluaran agent bulanan. Bagi biaya sewa dengan persentase penghematan tagihan yang terukur untuk mendapatkan ambang tersebut.

Ada dua hal yang membuat hasilnya lebih baik daripada yang ditunjukkan grafik. Model ini tidak memerlukan 24 GB: build q4 berukuran sekitar 2.5 GB dan build f16 sekitar 8 GB. Jadi, kartu yang lebih kecil, atau GPU box yang sudah Anda jalankan untuk keperluan lain, akan menurunkan semua angka pada grafik tersebut. Selain itu, menghentikan instance saat tidak ada yang melakukan coding adalah tuas penghematan terbesar di sini karena dapat memangkas biaya sewa sekitar tiga perempat.

Ada satu hal yang membuat hasilnya lebih buruk. Proses kompresi membutuhkan kerja komputasi. Setiap token yang dikompresi oleh model 4B harus dibaca terlebih dahulu, dan setiap rentang teks yang dipertahankan harus ditulis kembali. Hal ini menambah latensi pada setiap giliran agent. Pada kartu yang disewa per jam, biaya ini muncul sebagai waktu tunggu, bukan sebagai baris pada invoice, sehingga mudah terlewat sampai Anda merasakannya.

Jika Anda membandingkan jam GPU sewaan dengan token API secara umum, perbandingan titik impas antara GPU VPS dan token API menggunakan perhitungan yang sama untuk inference itu sendiri.

Menjalankan gateway Paritok pada VPS

Metadata paket di PyPI menerima Python 3.10 atau yang lebih baru, meskipun badge README menyatakan 3.11+. Ubuntu 24.04 menyertakan Python 3.12, sehingga image VPS standar sudah cukup untuk filter alat CPU.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Tetapkan versinya. PyPI mencatat v1.3.0 pada 5 August 2026 dan v1.3.14 pada 6 October 2026. Proyek yang bergerak secepat itu dapat mengganti nama berbagai hal antar-rilis: v1.3.0 sendiri mengganti nama expand_context menjadi read_original dalam API-nya. pip install paritok tanpa versi, atau git clone dari main, dapat memberi Anda gateway yang berbeda minggu depan tanpa menyisakan catatan gateway mana yang menghasilkan angka yang Anda ukur.

Backend default-nya adalah Ollama. Unduh modelnya, lalu berikan nama singkat yang dicari proxy.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Karena model lokal menulis span yang disimpannya untuk setiap segmen yang dikompres, proses kompresi yang berjalan terlalu lama akan terlihat sebagai giliran agent yang macet. Batas num_predict Ollama pada panjang output adalah parameter yang membatasinya.

Tulis paritok.yaml di sebelahnya. use_gpu_server: false memastikan kompresi berlangsung pada perangkat keras Anda sendiri.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up adalah pintasan untuk mengunduh model jika belum tersedia dan menjalankan proxy pada port 8080; Ollama harus sudah terpasang. Periksa proxy sebelum mengarahkan agent kepadanya.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health mengembalikan objek JSON kecil yang berisi "status":"ok" dan string versi. /stats mengembalikan total kompresi dan perkiraan proxy sendiri tentang jumlah yang dihemat. Perlakukan perkiraan tersebut sebagai penilaian proxy atas pekerjaannya sendiri, lalu konfirmasikan dengan halaman penggunaan provider Anda.

Untuk throughput, bukan kemudahan, vLLM menyajikan adapter di atas base model.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Flag --max-lora-rank 32 terdapat dalam command milik proyek karena adapter tersebut memiliki rank 32. Kemudian tetapkan local_model.base_url ke http://localhost:8000/v1 dalam paritok.yaml agar proxy berbicara dengan vLLM, bukan Ollama.

Ollama lebih cepat disiapkan. vLLM menangani request secara bersamaan dengan jauh lebih baik. Hal ini mulai penting segera setelah lebih dari satu agent menggunakan server yang sama. Perbedaan praktis antara Ollama dan vLLM menentukan pilihan untuk kasus ini.

Arahkan agent ke proxy menggunakan environment variable base URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI mengabaikan OPENAI_BASE_URL, sehingga paritok up menulis ~/.codex/config.toml untuk Anda ketika codex.enabled: true ditetapkan dalam paritok.yaml. Mengekspor variable tersebut saja membuat Codex tetap berbicara langsung dengan provider. Tandanya adalah counter /stats yang tidak pernah bertambah selama Anda bekerja.

Pertahankan listener pada 127.0.0.1, jangan pada 0.0.0.0. Proxy meneruskan kredensial yang disertakan pada setiap request ke upstream, dan endpoint /stats yang tidak memerlukan autentikasi mengekspos sampel konten asli dan terkompresi. Karena itu, listener yang menghadap Internet dapat mengekspos konteks privat dan resource kompresi lokal. Akses listener dari laptop melalui SSH tunnel atau VPN, bukan dengan membuka port tersebut.

Jalankan proxy di bawah systemd agar tetap berjalan setelah reboot. Sesuaikan path dengan instalasi Anda. Buat user paritok yang digunakan oleh unit tersebut, lalu berikan user itu direktori instalasi:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Aktifkan dengan sudo systemctl enable --now paritok, lalu jalankan curl ke /health lagi. Unit yang start lalu langsung exit biasanya menunjukkan bahwa path file konfigurasi salah. journalctl -u paritok -n 50 menampilkan penyebabnya.

Opsi hosted dan biayanya bagi Anda

Proyek ini juga menyediakan kompresi sebagai layanan. Atur use_gpu_server: true dengan API key dari paritok.com, lalu model 4B akan berjalan pada hardware milik penyedia. Per 2 November 2026, biayanya adalah $0.30 per satu juta token file yang dikompresi, menggunakan kredit prabayar, dan pemfilteran skema tool tidak dikenai biaya. Akun baru mendapatkan kredit gratis sebesar $5 tanpa memerlukan kartu. Periode peluncuran ketika layanan hosted masih gratis berakhir pada 1 Oktober 2026, sehingga layanan ini sekarang berbayar. Dengan opsi ini, Anda tidak perlu mengelola hosting model kompresi, tetapi gateway tetap dijalankan di sisi Anda.

Artinya, prompt Anda dan file yang dibaca agent akan meninggalkan mesin Anda dan mencapai pihak ketiga sebelum diteruskan ke model provider Anda. Self-hosting tersedia untuk menghindari perpindahan tersebut. Tentukan hal yang ingin Anda optimalkan sebelum mengatur flag itu. Perubahan flag hanya memerlukan satu baris, tetapi konsekuensinya tidak sesederhana itu.

Cara mengukur kondisi sebelum dan sesudah

Angka yang dipublikasikan adalah angka proyek, yang diperoleh dari harness proyek pada SWE-bench Lite. Repositori Anda bukan SWE-bench Lite. Ukur hasil Anda sendiri.

  • Jalankan satu minggu normal tanpa proxy dalam jalur koneksi. Catat token input baru, penulisan cache, pembacaan cache, dan output sebagai baris terpisah dari halaman penggunaan provider Anda, bukan sebagai satu total dolar.
  • Jalankan minggu berikutnya dengan proxy di depan, menggunakan jenis pekerjaan yang sama.
  • Bandingkan kategori input berdasarkan harga aktualnya dan sertakan setiap perubahan biaya output. Proxy tidak mengompresi output, tetapi perubahan perilaku agent dan jumlah giliran tetap memengaruhi jumlah output yang Anda beli.
  • Hitung tugas yang harus Anda ulangi. Ini adalah sisi kualitas dari pertukaran tersebut, dan tidak ada dashboard yang melaporkannya.
  • Tambahkan jam penggunaan GPU ke minggu kedua sebelum membandingkan totalnya.

Memisahkan input dari output penting karena keduanya memiliki harga yang sangat berbeda dan compressor hanya memproses salah satunya. Per 2 November 2026, Claude Sonnet 4.6 berbiaya $3 per satu juta token input dan $15 per satu juta token output, sedangkan pembacaan prompt cache berbiaya 10% dari tarif input, yaitu $0.30 per satu juta token. Claude Sonnet 5.5 yang lebih baru berbiaya $2 dan $10, sedangkan pembacaan cache-nya berbiaya 5% dari tarif input, yaitu $0.10 per satu juta token. Perbedaan biaya token input dan output menentukan apakah compressor pada sisi input bermanfaat bagi Anda. Ke mana token Claude Code sebenarnya digunakan menunjukkan bagian konteks yang cukup besar untuk dikompresi.

Prompt caching secara khusus memperumit perhitungan filter tool. Blok tool berada di bagian depan request, sehingga setelah giliran pertama biasanya menjadi cache hit; pada Sonnet 4.6, biayanya adalah 10% dari harga input. Menghapus 21,000 token dari blok yang di-cache menghemat biaya untuk 21,000 token dengan tarif $0.30 per satu juta token, yaitu sekitar $0.006 per giliran, bukan $0.063 seperti yang ditunjukkan tarif tanpa cache. Proyek mempertahankan blok yang telah difilter tetap sama selama sesi agar prefix yang di-cache tidak berubah. Filter yang memilih ulang tool pada setiap giliran akan membatalkan prefix tersebut dan dapat menghabiskan biaya lebih besar daripada penghematannya.

Hal yang masih belum terverifikasi

Semua angka performa di atas berasal dari proyek itu sendiri. Ada pemeriksaan kompresi menggunakan korpus sintetis yang dilakukan secara independen, tetapi pemeriksaan tersebut secara eksplisit tidak menguji keberhasilan tugas SWE-bench; angka kualitas penyelesaian SWE-bench Lite dari proyek ini masih belum dikonfirmasi secara independen. Gateway ini baru dirilis sebagai open source pada Juli 2026, sehingga riwayat operasional kode tersebut juga masih sangat terbatas. Tingkat kompresi dan angka kualitas yang dipertahankan sama-sama diukur oleh pihak yang diuntungkan jika hasilnya terlihat baik. Hal itu tidak berarti angkanya salah. Namun, angka tersebut belum terkonfirmasi, sehingga Anda harus memperlakukannya secara berbeda dari angka yang Anda hasilkan sendiri.

Ada satu perilaku yang terdokumentasi dan perlu diketahui sebelum Anda menyalahkan konfigurasi. Model embedding yang digunakan oleh filter alat dimuat pada request pertama, bukan saat startup. Karena itu, proyek ini mendokumentasikan waktu pemanasan selama 10 hingga 15 detik, lalu sekitar 15 ms per pemanggilan setelahnya. Kirim satu request yang tidak penting setelah proxy dimulai agar giliran agen pertama yang sebenarnya tidak tampak macet.

Ada empat hal yang dapat Anda pastikan sendiri dalam satu sore: apakah proxy dapat dimulai dan tetap berjalan, apakah /stats berubah selama Anda bekerja, apakah baris input-token dari provider Anda benar-benar berkurang, dan apakah agen tetap menyelesaikan pekerjaan. Hal-hal tersebut jauh lebih menentukan untuk konfigurasi Anda daripada benchmark apa pun yang dipublikasikan.

Mengenai posisi ini di samping tool lain yang Anda gunakan: gateway LiteLLM yang di-host sendiri merutekan dan mengukur request tanpa mengubah isinya. Jadi, keduanya menyelesaikan masalah yang berbeda dan dapat dirangkai, dengan Paritok berada paling dekat dengan agen. Jika tujuan sebenarnya adalah mengurangi tagihan, bukan menggunakan tool khusus ini, serangkaian kontrol biaya yang lebih luas untuk agen pada VPS mencakup beberapa perubahan yang dapat dicoba terlebih dahulu tanpa biaya.

FAQ

Apakah Paritok mengurangi biaya API saya atau hanya penggunaan konteks?

Paritok memperkecil permintaan sebelum dikirim ke provider. Penghematan biaya bergantung pada harga token yang dihapus dan jumlah giliran yang dihasilkan agent. Besarnya pengurangan tersebut lebih kecil daripada yang tersirat pada angka utama. Angka 74% adalah tingkat kompresi pada konten yang dikompresi. Secara menyeluruh, proyek ini melaporkan penghematan token input sekitar 25% pada satu giliran dan memproyeksikan 63% pada giliran ke-20. Token output diteruskan tanpa perubahan, tetapi jumlah token yang dihasilkan tetap bergantung pada perilaku agent.

Berapa kapasitas GPU yang diperlukan untuk meng-host model kompresi sendiri?

GPU bersifat opsional: Ollama juga menjalankan model pada CPU. Build q4 berukuran sekitar 2.5 GB dan build f16 sekitar 8 GB, sehingga model tersebut dapat dimuat pada kartu 24 GB dengan banyak ruang tersisa. Kartu yang lebih kecil juga dapat digunakan dan membuat perhitungan titik impas lebih menguntungkan. Filter skema tool sama sekali tidak memerlukan GPU: filter ini menggunakan BAAI/bge-small-en-v1.5, yaitu model embedding berukuran 130 MB yang berjalan pada CPU. Instal paritok[toolselect] pada VPS biasa untuk mendapatkan pengurangan blok tool dengan biaya RAM yang kecil.

Apa yang terjadi jika compressor menghapus sesuatu yang diperlukan agent?

Tidak ada data yang hilang secara permanen. Model menghapus bagian tertentu dari data yang diteruskan, tetapi segmen terkompresi membawa tag [REF:id] dan model dapat memulihkan teks lengkap dengan read_original atau expand_context. Filter tool default menghapus standard tools yang tidak dipilih dan MCP tools yang tidak dipilih, kecuali sinyal relevansi MCP aktif; dalam kondisi tersebut, filter membuat stub untuk MCP tools tersebut. Pemulihan tool menggunakan gateway_search_tools dan mendeteksi pesan tentang tool yang hilang. Risiko sebenarnya lebih sulit terlihat daripada file yang hilang: model bekerja berdasarkan cuplikan lossy dan tidak pernah menyadari bahwa model seharusnya meminta teks asli. Angka 86.5% untuk kualitas yang dipertahankan pada SWE-bench Lite mengukur pemahaman single-shot atas source mentah terkompresi, dengan recall dinonaktifkan dan pemulihan edit produksi diaktifkan. Angka tersebut tidak mengukur filter skema tool berbasis CPU atau gateway multi-giliran secara menyeluruh.

Mengapa permintaan pertama saya memerlukan waktu lima belas detik?

Model embedding di balik filter tool dimuat pada permintaan pertama, bukan saat startup. Proyek ini mendokumentasikan waktu pemanasan selama 10 hingga 15 detik, kemudian sekitar 15 ms per panggilan. Kirim satu permintaan percobaan dengan curl setelah memulai proxy agar giliran agent pertama yang sebenarnya tidak tertunda.

Sebaiknya saya menggunakan server GPU hosted daripada melakukan self-hosting?

Pilihan ini menghilangkan kebutuhan untuk meng-host model kompresi dan membayar sewa GPU, tetapi Anda tetap mengelola gateway. Per 2 November 2026, biayanya adalah $0.30 per juta token file yang dikompresi, dibayar dari kredit prabayar, dengan kredit gratis sebesar $5 untuk akun baru; periode peluncuran gratis berakhir pada 1 Oktober 2026. Pilihan ini juga mengirim prompt Anda dan file yang dibaca agent ke pihak ketiga sebelum data tersebut mencapai provider model Anda. Jika Anda melakukan self-hosting untuk menyimpan kode pada infrastruktur yang Anda kendalikan, pengaturan tersebut bertentangan dengan alasan awal Anda. Self-hosting menjaga proses kompresi tetap pada server Anda sendiri; permintaan terkompresi dan kredensial provider tetap dikirim ke provider model Anda.

Apakah artikel ini bermanfaat?