SSD Nodes Learn Hosting plans →
Gidsen Matt ConnorDoor Matt Connor · Bijgewerkt 2026-11-09

Paritok: bespaart deze tokengateway op agentkosten?

Paritok claimt 74% minder tokens door bestanden, tooluitvoer en schema's te comprimeren. Lees hoe de gateway werkt en wanneer de kostenbesparing omslaat.

Wat Paritok met een verzoek doet

Paritok is een tokengateway: een proxy die tussen uw coding agent en de model-API staat en elk verzoek comprimeert voordat het wordt doorgestuurd. Uw agent communiceert met http://127.0.0.1:8080 in plaats van met de provider. De proxy verkleint de tool-schema's, de gelezen bestanden, de tooluitvoer en oudere berichten, stuurt de kleinere payload naar de upstreamprovider en geeft het antwoord ongewijzigd terug.

De provider brengt u kosten in rekening voor wat bij de provider aankomt. De factuur hangt echter af van welke tokens zijn verwijderd, van de cacheprijzen en van het aantal beurten dat de agent nodig heeft. Dat is het volledige idee. Dit is iets anders dan de bewering dat "uw context langer meegaat". Daarom is deze tool interessant en niet alleen netjes.

Het project is jong. De gateway is op 15 July 2026 als open source gepubliceerd. PyPI dateert v1.3.14 op 6 October 2026 en v1.3.0 op 5 August. De gewichten en de gatewaycode vallen onder Apache 2.0. Het compressiemodel is een LoRA-adapter (low-rank adaptation) voor Qwen3-4B-Instruct-2507. Het model is gedistilleerd uit een verzameling van 45,000 segmenten uit echte coding-agenttrajecten. Daarvan voldeden 40,606 aan de validatie door de teacher en werden ze trainingsvoorbeelden.

Waarom dit geen contexttrimmen is

Trimmen verwijdert gegevens definitief. Wanneer een agent de contextlimiet nadert en de oudste beurten verwijdert, is het bestand dat de agent in beurt 3 heeft gelezen verdwenen. Als het bestand in beurt 20 opnieuw nodig is, leest de agent het opnieuw en betaalt u die tokens voor de tweede keer. De besparing was slechts uitstel.

Paritok vervangt een segment door een kortere vorm met een tag, [REF:id], en bewaart de volledige tekst op de proxy. Het model haalt een segment terug door read_original of expand_context aan te roepen. Daardoor verandert de manier waarop fouten ontstaan. Een trimmer faalt door informatie te vergeten en meldt dat nooit. Een compressor faalt door het model een fragment met informatieverlies te geven. Als dat fragment niet volstaat, kan het model het origineel opvragen.

Gefilterde toolschema's kunnen nog steeds worden teruggehaald. Het standaard adaptieve filter verwijdert echter niet-geselecteerde standaardtools en niet-geselecteerde MCP-tools, tenzij het MCP-relevantie-signaal wordt geactiveerd. Wanneer dat signaal wordt geactiveerd, worden niet-geselecteerde MCP-tools vervangen door stubs. gateway_search_tools ondersteunt herstel. Daarnaast detecteert de gateway meldingen over ontbrekende tools en voegt deze vóór een nieuwe poging overeenkomende tools toe. Dit is belangrijk, omdat een filter dat een tool permanent verbergt, verandert wat uw agent kan doen. U zou dat pas merken aan een taak die ongemerkt verkeerd verloopt.

De drie regelknoppen, en welke daarvan gratis is

De eerste regelknop is het filter voor toolschema's. Elk verzoek bevat de volledige array tools. Tijdens een Claude Code-beurt zonder gekoppelde MCP-servers (model context protocol) meet het project dat blok op ongeveer 29,000 tokens. Met gekoppelde MCP-servers rapporteert het 44,000 tot 65,000 tokens. Het filter verwerkt het verzoek van de gebruiker en elke toolbeschrijving met BAAI/bge-small-en-v1.5, een embeddingmodel van 130 MB. Het behoudt de tools die overeenkomen, verwijdert niet-geselecteerde standaardtools en maakt niet-geselecteerde MCP-tools alleen tot stub wanneer het MCP-relevantie-signaal actief wordt. Anders verwijdert het die MCP-tools ook. In het voorbeeld van het project met 29,000 tokens krimpt het blok tot ongeveer 8,000 tokens. Dat embeddingmodel draait op de CPU.

De tweede regelknop is inhoudscompressie. Dit onderdeel gebruikt het 4B-model op een GPU of via Ollama op de CPU. Bestandsinhoud, tooluitvoer en geschiedenis worden teruggebracht tot 25.7% van hun oorspronkelijke omvang. Het model selecteert voornamelijk tekstsegmenten in plaats van deze te herschrijven. Beperkte herschrijving is toegestaan voor inhoud zoals redeneersamenvattingen en de omlijsting van toolaanroepen. In het trainingscorpus dat door de teacher is gegenereerd, meet het paper van het project dat 96.0% van de uitgegeven identifiers, paden en getallen letterlijk in de invoer voorkomt. De output van het getrainde model op de afgeschermde SWE-bench Lite-test scoort 96.2% bij dezelfde controle. Daar komt het genoemde percentage van 74% vandaan. Lees dit zorgvuldig: 74% is het compressiepercentage voor de inhoud die wordt gecomprimeerd, niet de verlaging van uw factuur.

De derde regelknop is het samenvatten van de geschiedenis. Zodra de context standaard groter wordt dan 80% van het geconfigureerde venster, worden oudere beurten samengevat. De vier meest recente beurten blijven intact. Zo kan een lange sessie doorgaan zonder de limiet te bereiken.

Een GPU is niet vereist voor self-hosting. Dat is de belangrijkste zin op deze pagina. pip install "paritok[toolselect]" geeft u het toolfilter op een gewone CPU-VPS, zonder kosten per token. Probeer het voordat u een GPU huurt.

Wat het project heeft gemeten en op welke testopstelling

GrafiekSWE-bench Lite: compression rate against solve quality retained (project's published figures)
De gegevens achter deze grafiek
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Dit zijn de eigen gepubliceerde cijfers van het project, gemeten met de eigen testopstelling op SWE-bench Lite. Paritok-4B-v1 comprimeert inhoud tot 25.7% van de oorspronkelijke omvang en behoudt daarbij 86.5% van het onversneden oplossingspercentage. Bij gebruik van gpt-5 als compressor blijft een groter deel van de kwaliteit behouden, namelijk 93.6%, maar wordt de inhoud slechts gecomprimeerd tot 61.9%. U betaalt dan voor frontier-prijzen om frontier-prijzen te besparen.

Lees de kwaliteitskolom correct. De behouden kwaliteit is het oplossingspercentage van de compressor gedeeld door het onversneden basispercentage. Een behoud van 86.5% betekent een nettoafname van 13.5% in het aantal opgeloste problemen ten opzichte van die basis. Dit is niet hetzelfde als het aandeel van de oorspronkelijk opgeloste problemen dat verloren gaat, omdat gecomprimeerde runs ook andere problemen kunnen oplossen. Het cijfer meet het begrip van onbewerkte, gecomprimeerde broncode in één poging, met uitgeschakelde recall en ingeschakelde herstelbewerking voor productie. Het meet niet het CPU-tool-schemafilter of de volledige multi-turn gateway.

GrafiekReported input-token saving as a session grows (project's own harness)
De gegevens achter deze grafiek
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

De end-to-end besparing neemt toe naarmate een sessie langer duurt, omdat de geschiedenis zich opstapelt en juist die geschiedenis wordt gecomprimeerd. Het project rapporteert ongeveer 25% bij één beurt, 39% bij beurt 5 en 63% bij beurt 20. Alleen de beurten 1 tot en met 5 zijn gemeten; het README-bestand vermeldt dat de latere rijen projecties zijn. Het geeft ook aan waar de groei stopt: bij een budget van 200,000 tokens vlakt de inhoudsbesparing per beurt af op ongeveer 48,000 tokens, ergens rond beurt 8 tot en met 12. Zodra de context vol is, groeit de geschiedenis namelijk niet verder. De afzonderlijke besparing door het toolfilter voegt ongeveer 21,000 tokens per beurt toe. Daarmee komt het verwachte gecombineerde plateau uit op ongeveer 69,000 tokens per beurt. Het vaak geciteerde cijfer van "meer dan 85%" beschrijft sessies waarin de context volledig is gevuld. Dat is het beste geval. Hetzelfde README-bestand vermeldt dat de besparing bij de standaardinstellingen afvlakt richting een bovengrens van ongeveer 72%. Baseer uw planning daar dus niet op.

Is een GPU van 24 GB rendabel voor Paritok?

Een GPU is optioneel en het model past op kaarten met minder dan 24 GB. Gebruik voor een illustratieve berekening van de huurprijs $0.44 per uur voor een kaart van 24 GB. Als u de kaart de hele maand laat draaien, gaat het om 730 uur, dus $321. Gebruik de kaart alleen tijdens werktijd, 8 uur per dag gedurende 22 dagen, dan gaat het om 176 uur, dus $77.

Zet de tokenreductie nu om in een kostenreductie. De reductie geldt voor inputtokens. Outputtokens gaan ongewijzigd door de proxy, dus de proxy comprimeert deze niet. Bereken de wijziging voor nieuwe input, cache writes en cache reads afzonderlijk met de tarieven van uw provider. Vergelijk daarna de totale API-kosten voor en na de wijziging. Zelfs als input 80% van uw totale kosten vertegenwoordigt, bewijst het vermenigvuldigen van een tokenreductie met 0.8 niet hoeveel u op uw factuur bespaart.

GrafiekMonthly API saving needed to cover an illustrative $0.44/hour card
De gegevens achter deze grafiek
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Een kaart die continu draait, verdient zichzelf terug zodra uw gemeten maandelijkse API-besparing hoger is dan $321.2, of $77.44 als u de instance buiten werktijd stopt. Een tokenreductie van 85% bewijst op zichzelf geen factuurreductie van 68% en stelt dus geen maandelijkse drempel voor agentkosten vast. Deel de huurprijs door het gemeten besparingspercentage op uw factuur om die drempel te berekenen.

Twee zaken maken dit gunstiger dan de grafiek suggereert. Het model heeft geen 24 GB nodig: de q4-build is ongeveer 2.5 GB en de f16-build ongeveer 8 GB. Een kleinere kaart, of een GPU-box die u al voor iets anders gebruikt, verlaagt dus elk getal in die grafiek. Daarnaast is het stoppen van de instance wanneer niemand code schrijft hier de belangrijkste maatregel, omdat dit de huur met ongeveer drie kwart verlaagt.

Eén zaak maakt het ongunstiger. De compressiestap vereist daadwerkelijk rekenwerk. Elk token dat het 4B-model comprimeert, moet het eerst lezen. Elke span die het behoudt, moet het vervolgens opnieuw uitschrijven. Daardoor neemt de latency van elke agentbeurt toe. Bij een kaart die u per uur huurt, verschijnt die kostenpost als wachttijd en niet als een regel op de factuur. Daardoor merkt u deze gemakkelijk pas op wanneer u de vertraging ervaart.

Als u gehuurde GPU-uren in het algemeen afweegt tegen API-tokens, voert het break-evenpunt tussen een GPU VPS en API-tokens dezelfde berekening uit voor de inference zelf.

Paritok-gateway op een VPS uitvoeren

De pakketmetadata op PyPI accepteert Python 3.10 of nieuwer, hoewel de badge in de README 3.11+ vermeldt. Ubuntu 24.04 levert Python 3.12, dus een standaard-VPS-image volstaat voor het CPU-toolfilter.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Leg de versie vast. PyPI dateert v1.3.0 op 5 August 2026 en v1.3.14 op 6 October 2026. Een project dat zich in dat tempo ontwikkelt, hernoemt tussen releases onderdelen: v1.3.0 hernoemde expand_context zelf al naar read_original in zijn API. Een losse pip install paritok of een git clone van main levert u volgende week een andere gateway op. Bovendien ontbreekt dan elk spoor van welke versie de door u gemeten cijfers heeft geproduceerd.

De standaardbackend is Ollama. Haal het model op en geef het daarna de korte naam waarnaar de proxy zoekt.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Omdat het lokale model de spans wegschrijft die het voor elk gecomprimeerd segment bijhoudt, wordt een compressiepassage die lang duurt zichtbaar als een vastgelopen agentbeurt. Ollama's num_predict-limiet voor de uitvoerlengte bepaalt de bovengrens.

Schrijf paritok.yaml ernaast. use_gpu_server: false zorgt ervoor dat de compressie op uw eigen hardware plaatsvindt.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up is de snelkoppeling om het model op te halen als het ontbreekt en de proxy op poort 8080 te starten. Ollama moet al zijn geïnstalleerd. Controleer de proxy voordat u er een agent naartoe stuurt.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health retourneert een klein JSON-object met "status":"ok" en een versietekenreeks. /stats retourneert compressietotalen en de eigen schatting van de proxy van wat deze heeft bespaard. Beschouw die schatting als een beoordeling van de proxy over zijn eigen werk en controleer deze aan de hand van de gebruikspagina van uw provider.

Voor doorvoer in plaats van gemak serveert vLLM de adapter boven op het basismodel.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

De vlag --max-lora-rank 32 staat in de eigen opdracht van het project, omdat de adapter rank 32 heeft. Stel vervolgens local_model.base_url in op http://localhost:8000/v1 in paritok.yaml, zodat de proxy met vLLM communiceert in plaats van met Ollama.

Ollama is sneller operationeel. vLLM verwerkt gelijktijdige aanvragen veel beter. Dat wordt belangrijk zodra meerdere agents dezelfde server gebruiken. Het praktische verschil tussen Ollama en vLLM bepaalt welke optie u kiest.

Laat de agent met de omgevingsvariabelen voor de base URL verbinding maken met de proxy.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI negeert OPENAI_BASE_URL. Daarom schrijft paritok up voor u ~/.codex/config.toml wanneer codex.enabled: true is ingesteld in paritok.yaml. Als u de variabele alleen exporteert, blijft Codex rechtstreeks met de provider communiceren. Dat blijkt uit een /stats-teller die tijdens uw werkzaamheden niet verandert.

Laat de listener luisteren op 127.0.0.1, nooit op 0.0.0.0. De proxy stuurt de referenties die met elke aanvraag worden aangeleverd door naar de upstream. Het niet-geauthenticeerde /stats-endpoint geeft voorbeelden van oorspronkelijke en gecomprimeerde inhoud vrij. Een listener die rechtstreeks vanaf internet bereikbaar is, stelt daardoor privécontext en lokale compressieresources bloot. Gebruik vanaf een laptop een SSH-tunnel of een VPN in plaats van de poort te openen.

Voer de proxy uit onder systemd, zodat deze een reboot overleeft. Pas de paden aan uw installatie aan. Maak de gebruiker paritok aan waaronder de unit draait en geef deze gebruiker de installatiemap:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Schakel de unit in met sudo systemctl enable --now paritok en voer daarna opnieuw curl /health uit. Een unit die start en direct weer afsluit, wijst meestal op een onjuist pad naar het configuratiebestand. journalctl -u paritok -n 50 toont de reden.

De gehoste optie en wat die u kost

Het project biedt compressie ook als service aan. Stel use_gpu_server: true in met een API-sleutel van paritok.com. Het 4B-model draait dan op de hardware van de leverancier. Op 2 november 2026 wordt $0.30 per miljoen bestandstokens in rekening gebracht die de service comprimeert, vanuit vooraf betaald tegoed. Filtering van tool-schema's is gratis. Nieuwe accounts krijgen $5 gratis tegoed. Daarvoor is geen creditcard nodig. De introductieperiode waarin de gehoste service gratis was, eindigde op 1 oktober 2026. De service is nu dus betaald. Daarmee vervalt het werk om het compressiemodel zelf te hosten. U blijft de gateway wel zelf uitvoeren.

Dit betekent ook dat uw prompts en de bestanden die uw agent leest uw machine verlaten en een derde partij bereiken voordat ze uw modelprovider bereiken. Zelf hosten voorkomt precies die tussenstap. Bepaal voordat u die vlag instelt welke van deze twee aspecten u optimaliseert. De vlag vereist één regelwijziging. De gevolgen daarvan zijn niet zo eenvoudig terug te draaien.

Hoe u uw eigen metingen voor en na uitvoert

De gepubliceerde cijfers zijn de cijfers van het project, afkomstig uit de testopstelling van het project, op SWE-bench Lite. Uw repository is geen SWE-bench Lite. Voer uw eigen metingen uit.

  • Voer één normale week uit zonder proxy in het pad. Noteer de tokens voor nieuwe invoer, cache-write, cache-read en uitvoer elk op een afzonderlijke regel op de gebruikspagina van uw provider, en niet als één totaalbedrag in dollars.
  • Voer de volgende week hetzelfde soort werk uit met de proxy ervoor.
  • Vergelijk de invoercategorieën tegen hun werkelijke prijzen en neem eventuele wijzigingen in de uitvoerkosten mee. De proxy comprimeert de uitvoer niet, maar veranderingen in het gedrag van de agent en het aantal beurten beïnvloeden nog steeds hoeveel uitvoer u afneemt.
  • Tel de taken die u opnieuw moest uitvoeren. Dat is de kwaliteitskant van de afweging, en geen enkel dashboard rapporteert dat.
  • Tel de GPU-uren bij week twee op voordat u de totalen vergelijkt.

Het is belangrijk om invoer en uitvoer afzonderlijk te meten, omdat ze zeer verschillend worden geprijsd en een compressor slechts één van beide beïnvloedt. Op 2 november 2026 kost Claude Sonnet 4.6 $3 per miljoen invoertokens en $15 per miljoen uitvoertokens. Het lezen van de prompt-cache kost 10% van het invoertarief, oftewel $0.30 per miljoen tokens. De nieuwere Claude Sonnet 5.5 kost $2 en $10. Het lezen van de cache kost daar 5% van het invoertarief, oftewel $0.10 per miljoen tokens. Het verschil tussen de kosten van invoer- en uitvoertokens bepaalt of een compressor aan de invoerkant voor u de moeite waard is. Waar de tokens van Claude Code daadwerkelijk naartoe gaan laat zien welk deel van uw context groot genoeg is om compressie te rechtvaardigen.

Prompt caching maakt vooral de berekening voor het filteren van tools complexer. Het toolblok staat vooraan in het verzoek. Na de eerste beurt is het daarom normaal gesproken een cache-hit; bij Sonnet 4.6 kost dat 10% van de invoerprijs. Het verwijderen van 21,000 tokens uit een blok dat in de cache staat, bespaart 21,000 tokens tegen $0.30 per miljoen, oftewel ongeveer $0.006 per beurt, in plaats van de $0.063 die het niet-gecachete tarief zou suggereren. Het project houdt het gefilterde blok gedurende de sessie ongewijzigd, zodat het gecachte voorvoegsel niet verandert. Een filter dat de tools bij elke beurt opnieuw selecteert, zou dat voorvoegsel ongeldig maken en kan daardoor meer kosten dan het bespaart.

Wat nog niet is geverifieerd

Alle prestatiecijfers hierboven zijn afkomstig van het project zelf. Er bestaat een onafhankelijke compressietest met een synthetisch corpus, maar daarin wordt expliciet niet getest of SWE-bench-taken succesvol worden opgelost. De cijfers van het project voor de oplossingskwaliteit op SWE-bench Lite zijn nog steeds niet onafhankelijk bevestigd. Nu de gateway in juli 2026 als open source beschikbaar is gesteld, is er bovendien weinig operationele geschiedenis van de code. Zowel de compressieratio als het cijfer voor behouden kwaliteit zijn gemeten door de partij die er belang bij heeft dat deze cijfers gunstig uitvallen. Dat betekent niet dat ze onjuist zijn. Het betekent dat ze niet zijn bevestigd en dat u ze anders moet wegen dan een cijfer dat u zelf hebt geproduceerd.

Er is één gedocumenteerd gedrag dat u moet kennen voordat u uw configuratie de schuld geeft. Het embeddingmodel dat door het toolfilter wordt gebruikt, wordt bij het eerste verzoek geladen en niet bij het opstarten. Daarom documenteert het project een opwarmtijd van 10 tot 15 seconden en daarna ongeveer 15 ms per aanroep. Stuur één wegwerpverzoek nadat de proxy is gestart. Dan lijkt de eerste echte agentbeurt niet vast te lopen.

Vier zaken kunt u zelf in één middag vaststellen: of de proxy start en actief blijft, of /stats verandert terwijl u werkt, of de regel voor inputtokens bij uw provider daadwerkelijk daalt en of de agent het werk nog steeds voltooit. Voor uw configuratie geven deze punten veel meer duidelijkheid dan welke gepubliceerde benchmark ook.

Wat de plaats naast uw andere tooling betreft: een self-hosted LiteLLM-gateway routeert en meet verzoeken zonder de inhoud ervan te wijzigen. De twee oplossingen pakken dus verschillende problemen aan en kunnen worden gecombineerd, waarbij Paritok het dichtst bij de agent staat. Als het werkelijke doel een lagere rekening is en niet specifiek deze tool, bevat het bredere overzicht van kostenbeheersing voor een agent op een VPS verschillende wijzigingen die u eerst kosteloos kunt uitproberen.

FAQ

Verlaagt Paritok mijn API-kosten of alleen mijn contextgebruik?

De aanvraag wordt verkleind voordat deze de provider bereikt. De besparing op de factuur hangt af van de prijzen van de verwijderde tokens en van het uiteindelijke aantal beurten van de agent. De omvang van die reductie is kleiner dan de kop suggereert. Het percentage van 74% is de compressiegraad voor de inhoud die wordt gecomprimeerd. Over het volledige traject rapporteert het project ongeveer 25% besparing op inputtokens bij één beurt en projecteert het 63% bij beurt 20. Outputtokens worden ongewijzigd doorgestuurd, maar de hoeveelheid gegenereerde output hangt nog steeds af van het gedrag van de agent.

Hoeveel GPU-capaciteit heb ik nodig om het compressiemodel zelf te hosten?

Een GPU is optioneel: Ollama voert het model ook op de CPU uit. De q4-build is ongeveer 2.5 GB groot en de f16-build ongeveer 8 GB. Het model past dus met veel ruimte over op een kaart van 24 GB. Een kleinere kaart werkt ook en verbetert de berekening van het omslagpunt in uw voordeel. Voor het filteren van toolschema's is helemaal geen GPU nodig: daarvoor wordt BAAI/bge-small-en-v1.5 gebruikt, een embeddingmodel van 130 MB dat op de CPU draait. Installeer paritok[toolselect] op een gewone VPS en u krijgt de reductie van toolblokken voor de prijs van een kleine hoeveelheid RAM.

Wat gebeurt er als de compressor iets verwijdert dat de agent nodig had?

Er gaat niets definitief verloren. Het model verwijdert tekstfragmenten uit wat wordt doorgestuurd, maar gecomprimeerde segmenten bevatten een tag [REF:id]. Het model kan de volledige tekst herstellen met read_original of expand_context. Het standaardfilter voor tools verwijdert niet-geselecteerde standaardtools en niet-geselecteerde MCP-tools, tenzij het relevantiesignaal voor MCP wordt geactiveerd. In dat geval maakt het stubs voor die MCP-tools. Voor herstel van tools worden gateway_search_tools en detectie van meldingen over ontbrekende tools gebruikt. Het werkelijke risico is subtieler dan een ontbrekend bestand: het model werkt met een verliesgevende samenvatting en beseft niet dat het om het origineel moet vragen. Het percentage van 86.5% behouden kwaliteit op SWE-bench Lite meet het begrip van gecomprimeerde onbewerkte broncode in één aanvraag, met uitgeschakelde recall en ingeschakeld herstel van bewerkingen in productie. Het meet niet het CPU-filter voor toolschema's of de volledige gateway voor meerdere beurten.

Waarom duurt mijn eerste aanvraag vijftien seconden?

Het embeddingmodel achter het toolfilter wordt bij de eerste aanvraag geladen in plaats van bij het starten. Het project documenteert een opwarmtijd van 10 tot 15 seconden en daarna ongeveer 15 ms per aanroep. Stuur na het starten van de proxy één wegwerpaanvraag met curl. De eerste echte beurt van de agent loopt dan geen vertraging op.

Moet ik de gehoste GPU-server gebruiken in plaats van zelf te hosten?

Daarmee hoeft u het hosten van het compressiemodel en eventuele GPU-huur niet meer te beheren, terwijl u de gateway nog steeds onderhoudt. Op 2 november 2026 kost dit $0.30 per miljoen gecomprimeerde bestandstokens. De kosten worden betaald uit vooraf betaald tegoed. Nieuwe accounts krijgen $5 gratis tegoed. De gratis introductieperiode eindigde op 1 oktober 2026. Uw prompts en de bestanden die uw agent leest, worden echter naar een derde partij gestuurd voordat ze uw modelprovider bereiken. Als u zelf host om code op infrastructuur onder uw beheer te houden, maakt deze instelling dat uitgangspunt ongedaan. Bij zelf hosten blijft de compressie op uw eigen server. Gecomprimeerde aanvragen en de inloggegevens van de provider worden nog steeds doorgestuurd naar uw modelprovider.

Was dit artikel nuttig?