SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor

Paritok: Weniger Kosten für Coding-Agenten?

Paritok komprimiert Datei-Lesevorgänge und Tool-Ausgaben vor der Model API. Das Projekt verspricht 74 % weniger Tokens. So funktioniert es, inklusive Break-even-Rechnung.

Was Paritok mit einer Anfrage macht

Paritok ist ein Token-Gateway: ein Proxy, der zwischen Ihrem Coding-Agent und der Model API sitzt und jede Anfrage vor der Weiterleitung komprimiert. Ihr Agent kommuniziert mit http://127.0.0.1:8080 statt mit dem Anbieter. Der Proxy verkleinert die Tool-Schemas, die Dateilesvorgänge, die Tool-Ausgabe und ältere Turns, sendet die kleinere Payload an den Anbieter und gibt die Antwort unverändert zurück.

Der Anbieter stellt Ihnen in Rechnung, was bei ihm ankommt. Die Rechnung hängt jedoch davon ab, welche Tokens entfernt wurden, wie diese Tokens beim Caching berechnet werden und wie viele Turns der Agent benötigt. Das ist die gesamte Idee. Diese Aussage unterscheidet sich von der Aussage „Ihr Kontext bleibt länger erhalten“. Genau deshalb ist dieses Tool interessant und nicht nur aufgeräumt.

Das Projekt ist jung. Das Gateway wurde am 15. Juli 2026 als Open Source veröffentlicht. PyPI datiert v1.3.14 auf den 6. Oktober 2026 und v1.3.0 auf den 5. August. Die Gewichte und der Gateway-Code stehen unter der Apache 2.0-Lizenz. Das Komprimierungsmodell ist ein LoRA-Adapter (Low-Rank-Adaptation) für Qwen3-4B-Instruct-2507. Es wurde aus einem Pool von 45,000 Segmenten aus realen Coding-Agent-Trajektorien destilliert. Davon bestanden 40,606 die Validierung durch das Lehrermodell und wurden zu Trainingsbeispielen.

Warum dies kein Kontext-Trimmen ist

Beim Trimmen werden Inhalte endgültig gelöscht. Wenn ein Agent sich dem Kontextlimit nähert und die ältesten Turns verwirft, ist die Datei, die er in Turn 3 gelesen hat, nicht mehr vorhanden. Benötigt er diese Datei in Turn 20, liest er sie erneut ein. Für diese Tokens zahlen Sie dann ein zweites Mal. Die Einsparung war nur geliehen.

Paritok ersetzt ein Segment durch eine kürzere Fassung und ein Tag, [REF:id], und hält den vollständigen Text auf dem Proxy vor. Das Modell stellt ein Segment durch einen Aufruf von read_original oder expand_context wieder her. Dadurch ändert sich das Fehlverhalten. Ein Trimmer scheitert durch Vergessen und teilt Ihnen das nicht mit. Ein Kompressor scheitert, indem er dem Modell einen verlustbehafteten Auszug übergibt. Wenn der Auszug nicht ausreicht, kann das Modell das Original anfordern.

Gefilterte Tool-Schemas bleiben wiederherstellbar. Der standardmäßige adaptive Filter verwirft jedoch nicht ausgewählte Standard-Tools und nicht ausgewählte MCP-Tools, sofern sein MCP-Relevanzsignal nicht auslöst. Wenn das Signal auslöst, werden nicht ausgewählte MCP-Tools durch Stubs ersetzt. gateway_search_tools unterstützt die Wiederherstellung. Außerdem erkennt das Gateway Meldungen über fehlende Tools und fügt vor dem erneuten Versuch passende Tools ein. Das ist wichtig, weil ein Filter, der ein Tool dauerhaft ausblendet, die möglichen Aktionen Ihres Agents verändert. Sie würden dies erst durch eine Aufgabe bemerken, die unbemerkt fehlschlägt.

Die drei Hebel und welcher davon kostenlos ist

Der erste Hebel ist der Filter für Tool-Schemas. Jede Anfrage enthält das vollständige Array tools. Bei einem Claude-Code-Durchlauf ohne verbundene MCP-Server (Model Context Protocol) umfasst dieser Block laut Projekt ungefähr 29,000 Tokens. Mit verbundenem MCP meldet das Projekt 44,000 bis 65,000 Tokens. Der Filter erstellt mit BAAI/bge-small-en-v1.5, einem 130 MB großen Embedding-Modell, Embeddings für die Benutzeranfrage und jede Tool-Beschreibung. Er behält passende Tools bei, entfernt nicht ausgewählte Standardtools und erzeugt für nicht ausgewählte MCP-Tools nur dann Stubs, wenn das MCP-Relevanzsignal ausgelöst wird. Andernfalls entfernt er auch diese MCP-Tools. Im Beispiel des Projekts mit 29,000 Tokens schrumpft der Block auf ungefähr 8,000 Tokens. Das Embedding-Modell läuft auf der CPU.

Der zweite Hebel ist die Inhaltskomprimierung. Dieser Teil verwendet das 4B-Modell auf einer GPU oder über Ollama auf der CPU. Dateiinhalte, Tool-Ausgaben und der Verlauf werden auf 25.7% ihrer ursprünglichen Größe reduziert. Das Modell wählt hauptsächlich Textbereiche aus, statt sie neu zu formulieren. Für Inhalte wie Begründungszusammenfassungen und die Struktur von Tool-Aufrufen ist eine begrenzte Umformulierung zulässig. Die Studie des Projekts misst im vom Teacher-Modell erzeugten Trainingskorpus, dass 96.0% der ausgegebenen Bezeichner, Pfade und Zahlen wortgetreu im Input vorkommen. Die Ausgabe des trainierten Modells im zurückgehaltenen SWE-bench-Lite-Test erreicht bei derselben Prüfung 96.2%. Daher stammt die Angabe von 74%. Lesen Sie sie genau: 74% ist die Komprimierungsrate für die komprimierten Inhalte, nicht die Reduzierung Ihrer Rechnung.

Der dritte Hebel ist die Zusammenfassung des Verlaufs. Standardmäßig werden ältere Durchläufe zusammengefasst, sobald der Kontext 80% des konfigurierten Fensters überschreitet. Vier aktuelle Durchläufe bleiben dabei unverändert. So kann eine lange Sitzung weiterlaufen, statt das Limit zu erreichen.

Für das Self-Hosting ist eine GPU optional. Das ist der wichtigste Satz auf dieser Seite. pip install "paritok[toolselect]" stellt den Tool-Filter auf einem gewöhnlichen CPU-VPS ohne Gebühr pro Token bereit. Testen Sie ihn, bevor Sie eine GPU mieten.

Was das Projekt gemessen hat und auf welchem Testaufbau

DiagrammSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Die Daten hinter diesem Diagramm
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Dies sind die vom Projekt selbst veröffentlichten Werte. Sie wurden auf dem eigenen Testaufbau mit SWE-bench Lite gemessen. Paritok-4B-v1 komprimiert Inhalte auf 25.7% der ursprünglichen Größe und erhält dabei 86.5% der unkomprimierten Lösungsrate. Die Verwendung von gpt-5 als Kompressor erhält mehr Qualität, nämlich 93.6%, komprimiert jedoch nur auf 61.9%. Damit würden Sie Frontier-Preise zahlen, um Frontier-Preise einzusparen.

Lesen Sie die Qualitätsspalte korrekt. Die erhaltene Qualität ist die Lösungsrate mit Kompressor geteilt durch die unkomprimierte Lösungsrate als Basiswert. Wenn 86.5% erhalten bleiben, bedeutet das gegenüber diesem Basiswert eine Nettoverringerung der gelösten Aufgaben um 13.5%. Es gibt jedoch nicht den Anteil der ursprünglich gelösten Aufgaben an, die verloren gingen, weil komprimierte Durchläufe auch andere Aufgaben lösen können. Der Wert misst das einmalige Verstehen komprimierten unveränderten Quellcodes bei deaktivierter Wiederholung und aktivierter Wiederherstellung von Änderungen in der Produktionsumgebung. Er misst weder den CPU-Filter für Tool-Schemas noch das vollständige Multi-Turn-Gateway.

DiagrammReported input-token saving as a session grows (project's own harness)
Die Daten hinter diesem Diagramm
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Die End-to-End-Einsparung steigt im Verlauf einer Sitzung, weil sich der Verlauf ansammelt und genau dieser Verlauf komprimiert wird. Das Projekt meldet ungefähr 25% bei einem einzelnen Durchlauf, 39% bis Durchlauf 5 und 63% bis Durchlauf 20. Gemessen werden nur die Durchläufe 1 bis 5. Die README bezeichnet die späteren Zeilen als Projektionen. Sie gibt außerdem an, wann das Wachstum endet: Bei einem Budget von 200,000 Tokens flacht die Einsparung beim Inhalt pro Durchlauf bei etwa 48,000 Tokens ab, ungefähr zwischen Durchlauf 8 und 12, weil der Verlauf nicht mehr wächst, sobald der Kontext gefüllt ist. Die separate Einsparung durch den Tool-Filter fügt pro Durchlauf etwa 21,000 Tokens hinzu. Dadurch liegt das prognostizierte gemeinsame Plateau bei etwa 69,000 Tokens pro Durchlauf. Die häufig zitierte Zahl von "über 85%" beschreibt Sitzungen mit vollständig ausgelastetem Kontext. Das ist der Bestfall. Dieselbe README sagt, dass sich die Einsparung bei den Standardeinstellungen einer Obergrenze von etwa 72% annähert. Planen Sie daher nicht mit dem Bestfall.

Lohnt sich eine 24-GB-GPU für Paritok?

Eine GPU ist optional. Das Modell passt auch auf Karten mit weniger als 24 GB. Für eine beispielhafte Mietberechnung setzen wir 0,44 $ pro Stunde für eine 24-GB-Karte an. Läuft sie den ganzen Monat, sind das 730 Stunden und somit 321 $. Wird sie nur während der Arbeitszeit betrieben, also 8 Stunden pro Tag an 22 Tagen, ergibt das 176 Stunden und somit 77 $.

Übertragen Sie nun die Token-Einsparung auf die Kosten. Die Reduzierung betrifft die Eingabe-Tokens. Ausgabe-Tokens werden unverändert durch den Proxy geleitet, der Proxy komprimiert sie also nicht. Bewerten Sie neue Eingaben, Cache-Schreibvorgänge und Cache-Lesevorgänge anhand der Tarife Ihres Anbieters getrennt und vergleichen Sie anschließend die gesamten API-Kosten vor und nach der Änderung. Selbst wenn Eingaben 80 % Ihrer Gesamtkosten ausmachen, lässt sich aus einer Multiplikation der Token-Reduzierung mit 0,8 keine Ersparnis auf Ihrer Rechnung ableiten.

DiagrammMonthly API saving needed to cover an illustrative $0.44/hour card
Die Daten hinter diesem Diagramm
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Eine dauerhaft laufende Karte amortisiert sich, sobald die gemessene monatliche API-Ersparnis mehr als $321.2 beträgt, beziehungsweise $77.44, wenn Sie die Instanz außerhalb der Arbeitszeit stoppen. Eine Token-Reduzierung von 85 % belegt allein keine Rechnungseinsparung von 68 %. Daher lässt sich daraus auch kein monatlicher Schwellenwert für die Agentenkosten ableiten. Teilen Sie die Mietkosten durch den gemessenen Anteil der Rechnungseinsparung, um diesen Schwellenwert zu berechnen.

Zwei Faktoren verbessern das Ergebnis gegenüber der Darstellung im Diagramm. Das Modell benötigt keine 24 GB: Der q4-Build ist etwa 2,5 GB groß, der f16-Build etwa 8 GB. Eine kleinere Karte oder ein GPU-System, das Sie bereits für einen anderen Zweck betreiben, senkt daher alle Werte im Diagramm. Außerdem ist das Stoppen der Instanz, wenn niemand programmiert, hier der wichtigste Hebel. Dadurch sinken die Mietkosten um etwa drei Viertel.

Ein Faktor verschlechtert das Ergebnis. Der Komprimierungsschritt benötigt Rechenzeit. Jedes Token, das das 4B-Modell komprimiert, muss es zunächst lesen. Jede Textspanne, die es beibehält, muss es anschließend wieder ausgeben. Dadurch steigt die Latenz bei jeder Agenteninteraktion. Bei einer stundenweise gemieteten Karte zeigt sich diese Kostenposition als Wartezeit und nicht als Rechnungszeile. Deshalb wird sie leicht übersehen, bis Sie die Verzögerung bemerken.

Wenn Sie gemietete GPU-Stunden und API-Tokens allgemein vergleichen, führt der Break-even zwischen einem GPU-VPS und API-Tokens dieselbe Berechnung für die Inferenz selbst durch.

Paritok-Gateway auf einem VPS ausführen

Die Paketmetadaten auf PyPI akzeptieren Python 3.10 oder neuer, obwohl das README-Badge 3.11+ angibt. Ubuntu 24.04 wird mit Python 3.12 ausgeliefert. Für den CPU-Tool-Filter reicht daher ein unverändertes VPS-Image aus.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Legen Sie die Version fest. PyPI datiert v1.3.0 auf den 5. August 2026 und v1.3.14 auf den 6. Oktober 2026. Ein Projekt, das sich in diesem Tempo weiterentwickelt, benennt zwischen Releases Dinge um: v1.3.0 selbst hat expand_context in seiner API in read_original umbenannt. Ein unversioniertes pip install paritok oder ein git clone von main liefert Ihnen nächste Woche ein anderes Gateway und hinterlässt keinen Nachweis darüber, welches Gateway die von Ihnen gemessenen Werte erzeugt hat.

Das Standard-Backend ist Ollama. Laden Sie das Modell herunter und geben Sie ihm anschließend den kurzen Namen, nach dem der Proxy sucht.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Da das lokale Modell die für jedes komprimierte Segment beibehaltenen Spans ausgibt, zeigt sich ein zu lange laufender Komprimierungsvorgang als blockierter Agent-Turn. Ollamas num_predict-Begrenzung für die Ausgabelänge ist der Regler, der ihn begrenzt.

Schreiben Sie paritok.yaml daneben. use_gpu_server: false sorgt dafür, dass die Komprimierung auf Ihrer eigenen Hardware bleibt.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up ist die Kurzform, um das Modell bei Bedarf herunterzuladen und den Proxy auf Port 8080 zu starten. Ollama muss bereits installiert sein. Prüfen Sie den Proxy, bevor Sie einen Agenten darauf ausrichten.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health gibt ein kleines JSON-Objekt mit "status":"ok" und einer Versionszeichenfolge zurück. /stats gibt die Komprimierungssummen und die eigene Schätzung des Proxys über die Einsparungen zurück. Behandeln Sie diese Schätzung als Bewertung seiner eigenen Arbeit und bestätigen Sie sie anhand der Nutzungsseite Ihres Providers.

Für höheren Durchsatz statt für einfaches Einrichten stellt vLLM den Adapter auf dem Basismodell bereit.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Das Flag --max-lora-rank 32 steht im eigenen Befehl des Projekts, weil der Adapter den Rang 32 hat. Setzen Sie anschließend local_model.base_url in paritok.yaml auf http://localhost:8000/v1, damit der Proxy statt mit Ollama mit vLLM kommuniziert.

Ollama ist schneller eingerichtet. vLLM verarbeitet nebenläufige Anfragen deutlich besser. Das wird wichtig, sobald mehr als ein Agent den Server gemeinsam nutzt. Der praktische Unterschied zwischen Ollama und vLLM entscheidet in diesem Fall.

Richten Sie den Agenten mit den Umgebungsvariablen für die Basis-URL auf den Proxy aus.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI ignoriert OPENAI_BASE_URL. Daher schreibt paritok up bei gesetztem codex.enabled: true in paritok.yaml automatisch ~/.codex/config.toml für Sie. Wenn Sie die Variable allein exportieren, kommuniziert Codex weiterhin direkt mit dem Provider. Das erkennen Sie daran, dass sich der /stats-Zähler während Ihrer Arbeit nicht verändert.

Lassen Sie den Listener auf 127.0.0.1 lauschen, niemals auf 0.0.0.0. Der Proxy leitet die mit jeder Anfrage übermittelten Zugangsdaten an das Upstream-System weiter. Außerdem stellt sein nicht authentifizierter Endpunkt /stats Beispiele des ursprünglichen und des komprimierten Inhalts bereit. Ein Listener mit Internetzugriff würde daher privaten Kontext und lokale Komprimierungsressourcen offenlegen. Greifen Sie von einem Laptop über einen SSH-Tunnel oder ein VPN darauf zu, statt den Port zu öffnen.

Führen Sie den Proxy unter systemd aus, damit er einen Reboot übersteht. Passen Sie die Pfade an Ihre Installation an. Erstellen Sie den Benutzer paritok, unter dem die Unit ausgeführt wird, und geben Sie ihm das Installationsverzeichnis:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Aktivieren Sie die Unit mit sudo systemctl enable --now paritok und führen Sie anschließend erneut curl /health aus. Wenn eine Unit startet und sofort beendet wird, ist meist der Pfad zur Konfigurationsdatei falsch. journalctl -u paritok -n 50 gibt den Grund aus.

Die gehostete Option und ihre Kosten

Das Projekt bietet die Kompression auch als Dienst an. Setzen Sie use_gpu_server: true mit einem API-Schlüssel von paritok.com, und das 4B-Modell wird auf dessen Hardware ausgeführt. Seit dem 2. November 2026 werden aus einem Prepaid-Guthaben $0.30 pro Million Dateitokens berechnet, die komprimiert werden. Die Filterung von Tool-Schemas ist kostenlos. Neue Konten erhalten ein kostenloses Guthaben von $5, ohne dass eine Karte erforderlich ist. Der Einführungszeitraum, in dem der gehostete Dienst kostenlos war, endete am 1. Oktober 2026. Der Dienst ist daher jetzt kostenpflichtig. Dadurch entfällt der Aufwand für das Hosting des Kompressionsmodells. Das Gateway betreiben Sie weiterhin selbst.

Das bedeutet außerdem, dass Ihre Prompts und die Dateien, die Ihr Agent liest, Ihren Rechner verlassen und einen Drittanbieter erreichen, bevor sie Ihren Modellanbieter erreichen. Self-Hosting dient gerade dazu, diesen Zwischenschritt zu vermeiden. Entscheiden Sie, welche dieser beiden Eigenschaften für Sie wichtiger ist, bevor Sie dieses Flag setzen. Das Flag lässt sich in einer Zeile ändern. Die Konsequenz ist jedoch eine andere.

Eigene Werte vorher und nachher messen

Die veröffentlichten Zahlen sind die Zahlen des Projekts. Sie stammen aus dem Harness des Projekts und beziehen sich auf SWE-bench Lite. Ihr Repository ist nicht SWE-bench Lite. Messen Sie Ihre eigenen Werte.

  • Arbeiten Sie eine normale Woche ohne Proxy im Pfad. Erfassen Sie auf der Nutzungsseite Ihres Providers frische Eingabe-, Cache-Schreib-, Cache-Lese- und Ausgabetoken jeweils in einer eigenen Zeile, nicht als eine Gesamtsumme in Dollar.
  • Arbeiten Sie in der folgenden Woche mit dem vorgeschalteten Proxy und führen Sie dieselbe Art von Aufgaben aus.
  • Vergleichen Sie die Eingabekategorien mit ihren tatsächlichen Preisen und berücksichtigen Sie auch jede Änderung der Ausgabekosten. Der Proxy komprimiert die Ausgabe nicht. Änderungen im Verhalten des Agenten und bei der Anzahl der Durchläufe beeinflussen jedoch weiterhin, wie viele Ausgabetoken Sie kaufen.
  • Zählen Sie die Aufgaben, die Sie wiederholen mussten. Das ist die Qualitätsseite dieses Vergleichs. Kein Dashboard weist diesen Wert aus.
  • Rechnen Sie die GPU-Stunden zur zweiten Woche hinzu, bevor Sie die Gesamtsummen vergleichen.

Die Trennung von Eingabe und Ausgabe ist wichtig, weil beide sehr unterschiedlich bepreist werden und ein Kompressor nur einen dieser Bereiche beeinflusst. Am 2. November 2026 kostet Claude Sonnet 4.6 $3 pro Million Eingabetoken und $15 pro Million Ausgabetoken. Das Lesen aus dem Prompt-Cache kostet 10% des Eingabepreises, also $0.30 pro Million. Das neuere Claude Sonnet 5.5 kostet $2 beziehungsweise $10. Das Lesen aus seinem Cache kostet 5% des Eingabepreises, also $0.10 pro Million. Der Unterschied zwischen den Kosten für Eingabe- und Ausgabetoken entscheidet, ob sich ein Kompressor für Eingaben für Sie lohnt. Wofür Claude Code seine Token tatsächlich verwendet zeigt, welcher Teil Ihres Kontexts groß genug ist, um eine Komprimierung zu rechtfertigen.

Prompt-Caching erschwert insbesondere die Berechnung der Einsparungen durch den Tool-Filter. Der Tool-Block steht am Anfang der Anfrage. Nach dem ersten Durchlauf ist er daher normalerweise ein Cache-Treffer. Bei Sonnet 4.6 kostet dieser 10% des Eingabepreises. Wenn Sie 21,000 Token aus einem gecachten Block entfernen, sparen Sie bei $0.30 pro Million etwa $0.006 pro Durchlauf und nicht die $0.063, die der Preis ohne Cache vermuten lässt. Das Projekt hält den gefilterten Block während der Sitzung unverändert, damit sich das gecachte Präfix nicht ändert. Ein Filter, der die Tools bei jedem Durchlauf neu auswählt, würde dieses Präfix ungültig machen und könnte mehr kosten, als er einspart.

Was noch nicht verifiziert ist

Alle oben genannten Leistungswerte stammen aus dem Projekt selbst. Es gibt zwar eine unabhängige Kompressionsprüfung mit einem synthetischen Korpus, aber sie testet ausdrücklich nicht den Erfolg bei SWE-bench-Aufgaben. Die Angaben des Projekts zur Lösungsqualität bei SWE-bench Lite sind weiterhin unabhängig unbestätigt. Da das Gateway im Juli 2026 als Open Source veröffentlicht wurde, gibt es außerdem nur sehr wenig Betriebserfahrung mit dem Code. Sowohl die Kompressionsrate als auch der Wert für die beibehaltene Qualität wurden von der Partei gemessen, die von guten Ergebnissen profitiert. Das bedeutet nicht, dass die Werte falsch sind. Sie sind unbestätigt und sollten anders bewertet werden als ein Wert, den Sie selbst ermittelt haben.

Ein dokumentiertes Verhalten sollten Sie kennen, bevor Sie Ihre Konfiguration verantwortlich machen. Das vom Tool-Filter verwendete Embedding-Modell wird bei der ersten Anfrage statt beim Start geladen. Das Projekt dokumentiert deshalb eine Aufwärmphase von 10 bis 15 Sekunden und danach etwa 15 ms pro Aufruf. Senden Sie nach dem Start des Proxys eine Anfrage, deren Ergebnis Sie nicht benötigen. Dann wirkt der erste echte Agent-Aufruf nicht so, als würde er hängen.

Vier Dinge können Sie an einem Nachmittag selbst klären: ob der Proxy startet und weiterläuft, ob sich /stats während Ihrer Arbeit verändert, ob die Input-Token-Zeile Ihres Providers tatsächlich sinkt und ob der Agent die Aufgabe weiterhin abschließt. Diese Punkte entscheiden für Ihre Umgebung wesentlich zuverlässiger als ein veröffentlichter Benchmark.

Zur Einordnung neben Ihren anderen Tools: ein selbst gehostetes LiteLLM-Gateway leitet Anfragen weiter und erfasst Messwerte, ohne deren Inhalt zu verändern. Beide Tools lösen daher unterschiedliche Probleme und können miteinander verkettet werden, wobei Paritok dem Agenten am nächsten sitzt. Wenn es Ihnen in erster Linie um eine niedrigere Rechnung und nicht um dieses konkrete Tool geht, umfasst die größere Auswahl an Kostenkontrollen für einen Agenten auf einem VPS mehrere Änderungen, die Sie zuerst kostenlos ausprobieren können.

FAQ

Senkt Paritok meine API-Kosten oder nur meinen Kontextverbrauch?

Paritok verkleinert die Anfrage, bevor sie den Anbieter erreicht. Die Kostenersparnis hängt von den Preisen der entfernten Tokens und der daraus resultierenden Anzahl der Agent-Schritte ab. Der Umfang dieser Reduktion ist kleiner, als die hervorgehobene Zahl vermuten lässt. Die Angabe von 74 % bezeichnet die Kompressionsrate des komprimierten Inhalts. Über die gesamte Verarbeitung hinweg meldet das Projekt bei einem einzelnen Schritt etwa 25 % und prognostiziert bis zum 20. Schritt eine Einsparung von 63 % bei den Eingabe-Tokens. Ausgabe-Tokens werden unverändert weitergeleitet. Die erzeugte Menge hängt jedoch weiterhin vom Verhalten des Agents ab.

Wie viel GPU benötige ich für das Self-Hosting des Kompressionsmodells?

Eine GPU ist optional. Ollama führt das Modell auch auf der CPU aus. Der q4-Build ist etwa 2.5 GB groß, der f16-Build etwa 8 GB. Damit passt das Modell mit viel Reserve auf eine 24-GB-Karte. Eine kleinere Karte reicht ebenfalls und verbessert die Kostenbilanz zu Ihren Gunsten. Der Tool-Schema-Filter benötigt überhaupt keine GPU. Er verwendet BAAI/bge-small-en-v1.5, ein 130 MB großes Embedding-Modell, das auf der CPU ausgeführt wird. Installieren Sie paritok[toolselect] auf einem gewöhnlichen VPS. Dann erhalten Sie die Reduktion der Tool-Blöcke für den Preis von etwas RAM.

Was geschieht, wenn der Kompressor etwas entfernt, das der Agent benötigt?

Es geht nichts dauerhaft verloren. Das Modell löscht Textbereiche aus dem weitergeleiteten Inhalt. Komprimierte Segmente enthalten jedoch ein [REF:id]-Tag, und das Modell stellt den vollständigen Text mit read_original oder expand_context wieder her. Der standardmäßige Tool-Filter entfernt nicht ausgewählte Standard-Tools. Nicht ausgewählte MCP-Tools entfernt er ebenfalls, sofern nicht das MCP-Relevanzsignal auslöst. In diesem Fall erzeugt er für diese MCP-Tools Platzhalter. Die Wiederherstellung von Tools verwendet gateway_search_tools und die Erkennung von Meldungen über fehlende Tools. Das tatsächliche Risiko ist weniger offensichtlich als eine fehlende Datei: Das Modell arbeitet mit einem verlustbehafteten Auszug und erkennt nie, dass es das Original anfordern sollte. Die Angabe von 86.5 % erhaltener Qualität bei SWE-bench Lite misst das Verständnis komprimierten Quelltexts in einem einzelnen Durchlauf, bei deaktivierter Wiederherstellung und aktivierter Wiederherstellung von Änderungen im Produktivbetrieb. Der CPU-basierte Tool-Schema-Filter und das vollständige Gateway für mehrere Schritte werden damit nicht gemessen.

Warum dauert meine erste Anfrage fünfzehn Sekunden?

Das Embedding-Modell hinter dem Tool-Filter wird bei der ersten Anfrage statt beim Start geladen. Das Projekt dokumentiert eine Aufwärmzeit von 10 bis 15 Sekunden. Danach dauert ein Aufruf ungefähr 15 ms. Senden Sie nach dem Start des Proxy eine einmalige Testanfrage mit curl. Dann wird der erste echte Agent-Schritt nicht verzögert.

Sollte ich statt des Self-Hostings den gehosteten GPU-Server verwenden?

Damit entfallen das Hosting des Kompressionsmodells und die GPU-Miete. Das Gateway müssen Sie weiterhin betreiben. Am 2. November 2026 kostet der Dienst $0.30 pro Million komprimierter Datei-Tokens. Die Kosten werden aus einem vorausbezahlten Guthaben beglichen. Für neue Konten gibt es ein kostenloses Guthaben von $5. Der kostenlose Einführungszeitraum endete am 1. Oktober 2026. Außerdem werden Ihre Prompts und die vom Agent gelesenen Dateien an einen Drittanbieter gesendet, bevor sie Ihren Modellanbieter erreichen. Wenn Sie das Self-Hosting gewählt haben, damit der Code auf einer von Ihnen kontrollierten Infrastruktur bleibt, widerspricht diese Einstellung dem ursprünglichen Grund dafür. Beim Self-Hosting bleibt die Kompression auf Ihrem eigenen System. Komprimierte Anfragen und die Zugangsdaten des Anbieters werden weiterhin an Ihren Modellanbieter weitergeleitet.

War dieser Artikel hilfreich?