Paritok token gateway ile agent faturası düşer mi?
Paritok, dosya okumaları ve tool çıktılarındaki token sayısını proje iddiasına göre %74 azaltıyor. Sıkıştırma mekanizmasını ve başabaş hesabını inceleyin.
Bir istek üzerinde Paritok’un yaptığı işlemler
Paritok bir token gateway’idir: coding agent ile model API’si arasında çalışan ve her isteği iletmeden önce sıkıştıran bir proxy’dir. Agent’ınız sağlayıcıyla doğrudan değil, http://127.0.0.1:8080 üzerinden iletişim kurar. Proxy; tool şemalarını, dosya okumalarını, tool çıktısını ve önceki turları küçültür, daha küçük payload’ı upstream’e gönderir ve yanıtı değiştirmeden geri iletir.
Sağlayıcı, kendisine ulaşan veriler üzerinden ücretlendirir. Ancak fatura; hangi token’ların kaldırıldığına, bunların cache fiyatlandırmasına ve agent’ın kaç tur çalıştığına bağlıdır. Temel fikir budur. Bu, “context daha uzun süre geçerli kalır” iddiasından farklıdır. Bu nedenle araç yalnızca düzen sağladığı için değil, maliyeti etkileyebildiği için ilgi çekicidir.
Proje yenidir. Gateway 15 July 2026 tarihinde open source olarak yayımlandı. PyPI, v1.3.14 sürümünü 6 October 2026 tarihine ve v1.3.0 sürümünü 5 August tarihine kaydeder. Ağırlıklar ve gateway kodu Apache 2.0 lisansına sahiptir. Compression model, gerçek coding-agent trajectory’lerinden alınan 45,000 segmentlik havuzdan distillation uygulanarak Qwen3-4B-Instruct-2507 üzerinde oluşturulmuş bir LoRA (low-rank adaptation) adapter’ıdır. Bu segmentlerin 40,606 tanesi teacher validation sürecini geçti ve training example olarak kullanıldı.
Bunun context trimming olmamasının nedeni
Trimming, veriyi kalıcı olarak siler. Bir agent context limitine yaklaştığında en eski turları kaldırırsa 3. turda okuduğu dosya artık mevcut değildir. 20. turda bu dosyaya ihtiyaç duyarsa dosyayı yeniden okur ve bu token'lar için ikinci kez ödeme yapılır. Tasarruf yalnızca ertelenmiş bir maliyettir.
Paritok, bir segmenti daha kısa bir biçim ve [REF:id] etiketiyle değiştirir; tam metni proxy üzerinde tutar. Model, read_original veya expand_context çağrısı yaparak segmenti geri alır. Bu, hata biçimini değiştirir. Bir trimmer, veriyi unutarak başarısız olur ve bunu size bildirmez. Bir compressor ise modele kayıplı bir alıntı vererek başarısız olur; alıntı yeterli olmadığında model aslını isteyebilir.
Filtrelenmiş tool şemaları geri alınabilir durumdadır. Ancak varsayılan adaptive filter, seçilmeyen standard tool'ları ve MCP relevance signal tetiklenmediği sürece seçilmeyen MCP tool'larını kaldırır. Bu sinyal tetiklendiğinde seçilmeyen MCP tool'ları stub olarak bırakılır. gateway_search_tools geri almayı destekler. Gateway ayrıca eksik tool mesajlarını algılar ve yeniden denemeden önce eşleşen tool'ları ekler. Bu önemlidir; çünkü bir tool'u kalıcı olarak gizleyen filter, agent'ınızın gerçekleştirebileceği işlemleri değiştirir. Bunu, sessizce hatalı sonuçlanan bir görev üzerinden öğrenirsiniz.
Üç kaldıraç ve hangisinin ücretsiz olduğu
Birinci kaldıraç, araç-şema filtresidir. Her istek, tüm tools dizisini taşır. Hiçbir MCP (model context protocol) sunucusu bağlı olmayan bir Claude Code oturumunda proje, bu bloğu yaklaşık 29.000 token olarak ölçer; MCP bağlıyken bu değer 44.000 ile 65.000 token arasındadır. Filtre, kullanıcının isteğini ve her bir araç açıklamasını 130 MB boyutundaki bir gömme modeli olan BAAI/bge-small-en-v1.5 ile gömer, eşleşen araçları tutar, seçilmeyen standart araçları çıkarır ve seçilmeyen MCP araçlarını yalnızca MCP alaka düzeyi sinyali tetiklendiğinde taslak haline getirir. Aksi takdirde, bu MCP araçlarını da çıkarır. Projenin 29.000 tokenlık örneğinde, blok yaklaşık 8.000 tokene düşer. Bu gömme modeli CPU üzerinde çalışır.
İkinci kaldıraç içerik sıkıştırmadır ve bu, GPU üzerinde veya CPU üzerinde Ollama aracılığıyla 4B modelini kullanan kısımdır. Dosya okumaları, araç çıktıları ve geçmiş, orijinal boyutlarının %25,7'sine indirilir. Model, ağırlıklı olarak yeniden yazmak yerine aralıkları seçer; akıl yürütme özetleri ve araç çağrısı çerçeveleme gibi içerikler için sınırlı düzeyde yeniden yazmaya izin verilir. Projenin makalesi, üretilen tanımlayıcıların, yolların ve sayıların %96,0'ının, eğitmen tarafından oluşturulan eğitim kümesindeki girdiyle birebir aynı olduğunu ölçer; eğitilmiş modelin SWE-bench Lite çıktısı aynı denetimde %96,2 puan alır. %74 başlığı buradan gelmektedir. Dikkatli okuyun: %74, sıkıştırılan içerik üzerindeki sıkıştırma oranıdır, faturanızdaki indirim oranı değildir.
Üçüncü kaldıraç geçmiş özetlemedir. Varsayılan olarak, bağlam yapılandırılmış pencerenin %80'ini aştığında, daha eski etkileşimler özetlenirken son dört etkileşim bozulmadan tutulur; böylece uzun bir oturum sınıra takılmak yerine çalışmaya devam eder.
Self-hosting için GPU isteğe bağlıdır. Bu, sayfadaki en yararlı cümledir. pip install "paritok[toolselect]", herhangi bir token başına ücret olmadan, standart bir CPU VPS üzerinde araç filtresini kullanmanızı sağlar. Bir ekran kartı kiralamadan önce bunu deneyin.
Projenin neyi ve hangi altyapı üzerinde ölçtüğü
Bu grafiğin arkasındaki veriler
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]Bunlar, projenin kendi altyapısı üzerinde SWE-bench Lite'a karşı ölçtüğü ve yayınladığı verilerdir. Paritok-4B-v1, içeriği orijinal boyutunun 25.7% oranına sıkıştırırken, sıkıştırılmamış çözüm oranının 86.5% kadarını korumaktadır. Sıkıştırıcı olarak gpt-5 kullanıldığında daha fazla kalite korunur (93.6%), ancak yalnızca 61.9% oranında sıkıştırma sağlanır; bu durumda da sınır teknolojisi maliyetlerinden tasarruf etmek için yine sınır teknolojisi maliyetleri ödemiş olursunuz.
Kalite sütununu dürüstçe okuyun. Korunan kalite, sıkıştırıcının çözüm oranının, sıkıştırılmamış temel çözüm oranına bölünmesiyle elde edilir. %86,5 oranında koruma, temel değerlere göre çözümlerde %13,5'lik net bir azalma anlamına gelir; bu, temel değerlerle çözülen problemlerden kaybedilen kısmı saymaz, çünkü sıkıştırılmış çalıştırmalar farklı problemleri de çözebilir. Bu rakam, geri çağırma (recall) devre dışı bırakılmış ve üretim düzenleme kurtarma (production edit recovery) etkinleştirilmiş halde, sıkıştırılmış ham kaynağın tek seferlik kavranmasını ölçer; CPU araç şeması filtresini veya tam çok turlu ağ geçidini ölçmez.
Bu grafiğin arkasındaki veriler
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]Uçtan uca tasarruf, oturum ilerledikçe artar; çünkü geçmiş birikir ve sıkıştırılan şey de bu geçmiş verisidir. Proje, tek bir turda yaklaşık 25%, 5. turda 39% ve 20. turda 63% tasarruf bildirmektedir. Yalnızca 1 ile 5 arasındaki turlar ölçülmüştür; README dosyası sonraki satırları projeksiyon olarak etiketler. Ayrıca büyümenin nerede durduğunu da belirtir: 200.000 token bütçesinde, tur başına içerik tasarrufu yaklaşık 48.000 token civarında düzleşir; bu da 8 ile 12. turlar arasında bir yere denk gelir, çünkü bağlam dolduğunda geçmiş verisi büyümeyi durdurur. Ayrı olan araç filtresi tasarrufu, tur başına yaklaşık 21.000 token ekleyerek öngörülen birleşik düzlüğü tur başına yaklaşık 69.000 token seviyesine çıkarır. Yaygın olarak alıntılanan "%85'in üzerinde" ifadesi, bağlamın doygunluğa ulaştığı oturumları tanımlar. Bu en iyi durum senaryosudur ve aynı README dosyası, varsayılan ayarlarda tasarrufun %72 civarında bir tavana doğru düzleştiğini belirtmektedir, bu yüzden planlarınızı buna göre yapmayın.
Paritok için 24 GB GPU maliyetini karşılar mı?
GPU isteğe bağlıdır ve model 24 GB'tan küçük kartlara sığar. Örnek bir kiralama hesabı için 24 GB'lık bir kartın saatlik ücretini $0.44 kabul edin. Kart ay boyunca kesintisiz çalışırsa 730 saat eder ve toplam maliyet $321 olur. Yalnızca çalışma saatlerinde, günde 8 saat ve 22 gün çalıştırılırsa 176 saat eder ve maliyet $77 olur.
Şimdi token azaltımını dolar tasarrufuna dönüştürün. Azaltım, input token'lar için geçerlidir. Output token'lar proxy'den değiştirilmeden geçer; bu nedenle proxy bunları sıkıştırmaz. Değişikliği yeni input, cache yazma ve cache okuma için provider'ınızın ücretlerini kullanarak ayrı ayrı fiyatlandırın. Ardından API maliyetini değişiklik öncesi ve sonrası karşılaştırın. Dolar cinsinden toplam maliyetinizin %80'i input'tan oluşsa bile token azaltımını 0.8 ile çarpmak, faturadaki tasarrufu göstermez.
Bu grafiğin arkasındaki veriler
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]Çalışır durumda bırakılan bir kart, ölçülen aylık API tasarrufu $321.2 değerini aştığında maliyetini karşılar. Instance'ı çalışma saatleri dışında durdurursanız bu eşik $77.44 olur. Tek başına %85 token azaltımı, faturada %68 tasarruf sağlandığını göstermez. Bu nedenle aylık agent harcaması için bir eşik de belirlemez. Bu eşiği bulmak için kiralama maliyetini ölçülen fatura tasarrufu oranına bölün.
İki etken, bu seçeneği grafiğin gösterdiğinden daha avantajlı hale getirir. Modelin 24 GB'a ihtiyacı yoktur: q4 build yaklaşık 2.5 GB, f16 build ise yaklaşık 8 GB boyutundadır. Bu nedenle daha küçük bir kart veya zaten başka bir iş için çalıştırdığınız bir GPU box, grafikteki tüm değerleri düşürür. Ayrıca kimse kod yazmıyorken instance'ı durdurmak burada en büyük tasarruf sağlar. Çünkü kiralama maliyetini yaklaşık dörtte üç oranında azaltır.
Bir etken de maliyeti artırır. Sıkıştırma işlemi gerçek bir iş yüküdür. 4B modelinin sıkıştırdığı her token, modelin okuması gereken bir tokendir. Koruduğu her span'i de yeniden yazması gerekir. Bu durum her agent turuna gecikme ekler. Saatlik kiraladığınız bir kartta bu maliyet faturada ayrı bir kalem olarak değil, bekleme süresi olarak görünür. Bu nedenle etkisini deneyimleyene kadar fark etmek kolay değildir.
Kiralanan GPU saatlerini genel olarak API token'larıyla karşılaştırıyorsanız GPU VPS ile API token'ları arasındaki başabaş noktası, inference işleminin kendisi için aynı hesabı yapar.
VPS üzerinde Paritok gateway çalıştırma
PyPI üzerindeki paket meta verileri Python 3.10 veya daha yeni sürümleri kabul eder, ancak README rozeti 3.11+ gösterir. Ubuntu 24.04, Python 3.12 ile birlikte gelir. Bu nedenle CPU tool filtresi için standart bir VPS imajı yeterlidir.
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"Sürümü sabitleyin. PyPI, v1.3.0 sürümünü 5 August 2026 ve v1.3.14 sürümünü 6 October 2026 tarihine kaydeder. Bu hızla ilerleyen bir proje sürümler arasında adları değiştirebilir: v1.3.0, kendi API'sinde expand_context adını read_original olarak değiştirmiştir. Sürümü belirtilmemiş bir pip install paritok veya main için bir git clone kullanmak, gelecek hafta farklı bir gateway kurmanıza neden olur ve ölçtüğünüz değerleri hangi sürümün ürettiğine ilişkin kayıt bırakmaz.
Varsayılan backend Ollama'dır. Modeli çekin, ardından proxy'nin aradığı kısa adı verin.
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1Yerel model, sıkıştırdığı her segment için koruduğu aralıkları yazdığından, uzun süren bir sıkıştırma işlemi agent dönüşünün takılmış gibi görünmesine neden olur. Ollama'nın çıktı uzunluğundaki num_predict sınırı, bu uzunluğu belirleyen ayardır.
Yanına paritok.yaml yazın. use_gpu_server: false, sıkıştırma işleminin kendi donanımınızda kalmasını sağlar.
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlparitok up, model eksikse modeli çekip proxy'yi 8080 portunda başlatmak için kullanılan kısayoldur. Ollama'nın önceden kurulmuş olması gerekir. Bir agent'ı proxy'ye yönlendirmeden önce proxy'yi kontrol edin.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health, "status":"ok" ve bir sürüm dizesi içeren küçük bir JSON nesnesi döndürür. /stats, sıkıştırma toplamlarını ve proxy'nin ne kadar tasarruf sağladığına ilişkin kendi tahminini döndürür. Bu tahmini proxy'nin kendi çalışmasını değerlendirmesi olarak ele alın ve sağlayıcınızın kullanım sayfasıyla doğrulayın.
Kolaylık yerine throughput gerektiğinde vLLM, adapter'ı temel modelin üzerinde sunar.
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000--max-lora-rank 32 flag'i projenin kendi komutunda bulunur; bunun nedeni adapter rank değerinin 32 olmasıdır. Ardından paritok.yaml içinde local_model.base_url değerini http://localhost:8000/v1 olarak ayarlayın. Böylece proxy, Ollama yerine vLLM ile iletişim kurar.
Ollama daha hızlı kurulur. Birden fazla agent aynı makineyi paylaştığında vLLM eş zamanlı istekleri çok daha iyi işler. Ollama ve vLLM arasındaki pratik fark, bu seçimde hangisinin kullanılacağını belirler.
base URL environment variable'larını kullanarak agent'ı proxy'ye yönlendirin.
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI, OPENAI_BASE_URL değerini yok sayar. Bu nedenle paritok.yaml içinde codex.enabled: true ayarlandığında paritok up, ~/.codex/config.toml değerini sizin için yazar. Değişkeni tek başına export etmek Codex'in doğrudan sağlayıcıyla iletişim kurmasına neden olur. Bunun göstergesi, çalışırken hiç ilerlemeyen bir /stats sayacıdır.
Listener'ı 127.0.0.1 üzerinde tutun; hiçbir zaman 0.0.0.0 üzerinde çalıştırmayın. Proxy, her istekle sağlanan kimlik bilgilerini upstream'e iletir. Kimlik doğrulaması olmayan /stats endpoint'i, özgün ve sıkıştırılmış içeriğe ait örnekleri dışarı açar. Bu nedenle internete açık bir listener, özel context'i ve yerel sıkıştırma kaynaklarını açığa çıkarır. Portu açmak yerine SSH tunnel veya VPN üzerinden bir laptop'tan erişin.
Yeniden başlatma sonrasında çalışmaya devam etmesi için systemd altında çalıştırın. Yolları kurulumunuza göre düzenleyin. Unit'in çalışacağı paritok kullanıcısını oluşturun ve bu kullanıcıya kurulum dizinini verin:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now paritok ile etkinleştirin, ardından /health komutunu yeniden çalıştırın. Başlayıp hemen çıkan bir unit genellikle config file path değerinin yanlış olduğunu gösterir; journalctl -u paritok -n 50 nedeni yazdırır.
Barındırılan seçenek ve bunun maliyeti
Proje, sıkıştırma işlevini bir hizmet olarak da sunar. use_gpu_server: true değeri, paritok.com üzerinden alınan bir API anahtarıyla ayarlanır ve 4B model hizmet sağlayıcının donanımında çalıştırılır. 2 November 2026 itibarıyla sıkıştırdığı her 1 milyon dosya token'ı için, önceden yüklenmiş bakiyeden $0.30 ücret alınır; araç şeması filtreleme ücretsizdir. Yeni hesaplara, kart gerekmeksizin $5 ücretsiz kredi verilir. Barındırılan hizmetin ücretsiz olduğu başlangıç dönemi 1 October 2026 tarihinde sona ermiştir; hizmet artık ücretlidir. Böylece sıkıştırma modelini barındırma işi ortadan kalkar, ancak gateway yine tarafınızdan çalıştırılır.
Bunun anlamı, istemlerinizin ve agent'ınızın okuduğu dosyaların model sağlayıcınıza ulaşmadan önce makinenizden çıkıp üçüncü bir tarafa ulaşmasıdır. Self-hosting, tam olarak bu aktarımı önlemek için kullanılır. Bu flag'i ayarlamadan önce hangi seçeneği optimize ettiğinize karar verin. Çünkü flag tek satırda değiştirilebilir, ancak sonucu aynı ölçüde basit değildir.
Kendi öncesi ve sonrası ölçümlerinizi nasıl yapabilirsiniz
Yayımlanan rakamlar, projenin SWE-bench Lite üzerindeki kendi test düzeneğinden elde ettiği rakamlardır. Sizin deponuz SWE-bench Lite değildir. Kendi ölçümlerinizi yapın.
- Proxy kullanmadan, istek yolunda proxy olmadan normal bir hafta çalışın. Provider kullanım sayfasından güncel input, cache-write, cache-read ve output token sayılarını ayrı satırlar halinde kaydedin; bunları tek bir dolar toplamı olarak kaydetmeyin.
- Sonraki hafta proxy'yi öne koyarak aynı türde işleri yapın.
- Input kategorilerini gerçek fiyatları üzerinden karşılaştırın ve output maliyetindeki değişiklikleri de dahil edin. Proxy output'u sıkıştırmaz, ancak agent davranışındaki ve tur sayısındaki değişiklikler satın aldığınız output miktarını yine de etkiler.
- Yeniden yapmak zorunda kaldığınız görevleri sayın. Bu, karşılaştırmanın kalite boyutudur ve hiçbir dashboard bunu raporlamaz.
- Toplamları karşılaştırmadan önce ikinci haftaya GPU saatlerini ekleyin.
Input ile output'u ayırmak önemlidir. Çünkü bu ikisi çok farklı fiyatlandırılır ve bir compressor yalnızca bunlardan birine müdahale eder. 2 November 2026 itibarıyla Claude Sonnet 4.6, milyon input token başına $3 ve milyon output token başına $15 ücretlendirir; prompt-cache read ücreti ise input oranının %10'u, yani milyon başına $0.30'dır. Daha yeni Claude Sonnet 5.5 için bu fiyatlar sırasıyla $2 ve $10'dır; cache read oranı input fiyatının %5'i, yani milyon başına $0.10'dır. Input ve output token maliyetleri arasındaki fark, input tarafında çalışan bir compressor'ın sizin için değerli olup olmadığını belirler. Claude Code token'larının gerçekte nereye gittiği ise context'in hangi bölümünün sıkıştırmayı gerektirecek kadar büyük olduğunu gösterir.
Prompt caching, özellikle tool-filter hesaplamalarını karmaşıklaştırır. Tool block, request'in başında yer alır. Bu nedenle ilk turdan sonra normalde cache hit gerçekleşir; Sonnet 4.6 üzerinde bunun maliyeti input fiyatının %10'udur. Cache'lenmiş bir block'tan 21,000 token çıkarmak, milyon başına $0.30 üzerinden 21,000 token tasarruf sağlar ve tur başına yaklaşık $0.006 eder. Cache kullanılmayan fiyatın göstereceği $0.063 tutarında değildir. Proje, cache'lenmiş prefix'in değişmemesi için filtrelenmiş block'u session boyunca sabit tutar. Her turda araçları yeniden seçen bir filter, bu prefix'i geçersiz kılabilir ve tasarruf ettirdiğinden daha yüksek maliyete yol açabilir.
Hâlâ doğrulanmamış olanlar
Yukarıdaki tüm performans sayıları doğrudan projenin kendisinden alınmıştır. Bağımsız bir sentetik derlem sıkıştırma denetimi mevcut olsa da bu denetim, SWE-bench görevlerinin başarıyla tamamlanıp tamamlanmadığını açıkça test etmez. Projenin SWE-bench Lite çözüm kalitesi verileri de bağımsız olarak doğrulanmış değildir. Gateway Temmuz 2026'da açık kaynak olarak yayımlandığından, kodun arkasında çok az operasyonel geçmiş bulunur. Sıkıştırma oranı ve korunan kalite değeri, her ikisi de iyi görünmelerinden fayda sağlayan tarafça ölçülmektedir. Bu, söz konusu değerlerin yanlış olduğu anlamına gelmez. Bu değerler doğrulanmamıştır. Bu nedenle, bunları kendi ürettiğiniz bir sayıdan farklı değerlendirmelisiniz.
Kurulumunuzu suçlamadan önce bilinmesi gereken belgelenmiş bir davranış vardır. Araç filtresinin kullandığı embedding modeli başlangıçta değil, ilk istekte yüklenir. Bu nedenle proje, 10 ila 15 saniyelik bir warm-up süresi ve sonrasında çağrı başına yaklaşık 15 ms süre belgeler. Proxy başladıktan sonra bir kez sonuçlarını kullanmayacağınız bir istek gönderin. Böylece ilk gerçek agent turu takılmış gibi görünmez.
Bir öğleden sonra dört konuyu kendiniz netleştirebilirsiniz: proxy'nin başlayıp çalışmaya devam edip etmediği, çalışırken /stats değerinin değişip değişmediği, sağlayıcınızın input-token satırının gerçekten düşüp düşmediği ve agent'ın işi yine tamamlayıp tamamlamadığı. Kendi kurulumunuz açısından sonucu, yayımlanmış herhangi bir benchmark'tan çok daha iyi bu konular belirler.
Bunun diğer araçlarınızın yanındaki konumuna gelince: self-hosted LiteLLM gateway, isteklerin içeriğini değiştirmeden bunları yönlendirir ve ölçer. Bu nedenle iki araç farklı sorunları çözer ve birlikte zincirlenebilir. Bu yapıda Paritok, agent'a en yakın katmanda bulunur. Gerçek amaç bu özel araç değil, daha düşük bir fatura ise VPS üzerindeki bir agent için daha geniş maliyet kontrolü seçenekleri, önce denemenin hiçbir maliyeti olmayan çeşitli değişiklikleri içerir.
FAQ
Paritok API faturamı mı düşürür yoksa sadece bağlam kullanımımı mı azaltır?
İsteği sağlayıcıya ulaşmadan önce küçültür; fatura tasarrufu, kaldırılan tokenların maliyetine ve temsilcinin (agent) sonuçta ulaştığı tur sayısına bağlıdır. Bu düşüşün boyutu, manşetlerde belirtilenden daha azdır. %74 rakamı, sıkıştırılan içeriğin sıkıştırma oranıdır. Proje, uçtan uca tek bir turda yaklaşık %25 tasarruf bildirirken, 20. turda girdi token tasarrufunun %63 olacağını öngörmektedir. Çıktı tokenları olduğu gibi iletilir ancak üretilen miktar yine de temsilci davranışına bağlıdır.
Sıkıştırma modelini kendi sunucumda barındırmak için ne kadar GPU gerekir?
GPU isteğe bağlıdır: Ollama modeli CPU üzerinde de çalıştırabilir. q4 sürümü yaklaşık 2.5 GB, f16 sürümü ise yaklaşık 8 GB boyutundadır; dolayısıyla model, 24 GB kapasiteli bir karta rahatlıkla sığar. Daha küçük bir kart da iş görür ve bu durum başa baş maliyet hesabını sizin lehinize değiştirir. Araç şeması filtresi (tool-schema filter) hiç GPU gerektirmez: CPU üzerinde çalışan 130 MB boyutundaki BAAI/bge-small-en-v1.5 gömme (embedding) modelini kullanır. paritok[toolselect] aracını standart bir VPS üzerine kurduğunuzda, küçük bir miktar RAM maliyetiyle araç bloğu sıkıştırmasından faydalanabilirsiniz.
Sıkıştırıcı, temsilcinin ihtiyaç duyduğu bir şeyi silerse ne olur?
Hiçbir şey kalıcı olarak kaybolmaz. Model, iletilen içerikten bölümleri siler ancak sıkıştırılmış segmentler bir [REF:id] etiketi taşır ve model, read_original veya expand_context kullanarak tam metni geri yükler. Varsayılan araç filtresi, seçilmemiş standart araçları kaldırır; MCP alaka düzeyi sinyali tetiklenmediği sürece seçilmemiş MCP araçlarını da kaldırır, sinyal tetiklendiğinde ise bu MCP araçlarını taslak (stub) haline getirir. Araç kurtarma işlemi gateway_search_tools ve eksik araç mesajlarının algılanmasını kullanır. Asıl risk, eksik bir dosyadan daha sessizdir: model kayıplı bir alıntı üzerinden çalışır ve orijinalini istemesi gerektiğini asla fark etmeyebilir. SWE-bench Lite üzerindeki %86.5'lik kalite koruma oranı, geri çağırma (recall) devre dışıyken ve üretim düzenleme kurtarma etkinken sıkıştırılmış ham kaynağın tek seferlik kavranmasını ölçer; CPU araç şeması filtresini veya tam çok turlu ağ geçidini ölçmez.
İlk isteğim neden on beş saniye sürüyor?
Araç filtresinin arkasındaki gömme modeli, başlangıçta değil ilk istekte yüklenir. Proje belgeleri 10 ila 15 saniyelik bir ısınma süresi, sonrasında ise çağrı başına yaklaşık 15 ms süre öngörmektedir. Proxy'yi başlattıktan sonra curl ile bir adet geçersiz istek gönderirseniz, ilk gerçek temsilci turu gecikmeyecektir.
Kendi sunucumda barındırmak yerine barındırılan GPU sunucusunu mu kullanmalıyım?
Bu seçenek, sıkıştırma modeli barındırma ve GPU kiralama ihtiyacını ortadan kaldırırken ağ geçidini yönetmeye devam etmenizi sağlar. 2 Kasım 2026 itibarıyla, sıkıştırılan her bir milyon dosya tokenı için ön ödemeli krediden düşülmek üzere 0.30 dolar ücret alınmaktadır; yeni hesaplar için 5 dolarlık ücretsiz kredi tanımlanır. Ücretsiz lansman dönemi 1 Ekim 2026 tarihinde sona ermiştir. Ayrıca bu seçenek, istemlerinizi ve temsilcinizin okuduğu dosyaları, model sağlayıcınıza ulaşmadan önce üçüncü bir tarafa gönderir. Kodları kontrolünüz altındaki altyapıda tutmak için kendi sunucunuzda barındırma yapıyorsanız, bu ayar başlangıç amacınızı geçersiz kılar. Kendi sunucunuzda barındırma, sıkıştırma işlemini kendi kutunuzda tutar; sıkıştırılmış istekler ve sağlayıcı kimlik bilgileri yine de model sağlayıcınıza yukarı yönde iletilir.