SSD Nodes Learn 🎉 VPS ab $4.99/Monat
Anleitungen Matt ConnorVon Matt Connor

Paritok: Lohnt sich das Token-Gateway für Coding-Agenten?

Paritok soll Datei-Lesevorgänge und Tool-Ausgaben um 74 % verkleinern. Erfahren Sie, wie die Kompression arbeitet und wann sich die Kosten tatsächlich rechnen.

Was Paritok mit einer Anfrage macht

Paritok ist ein Token-Gateway: ein Proxy, der zwischen Ihrem Coding-Agent und der Modell-API sitzt und jede Anfrage vor der Weiterleitung komprimiert. Ihr Agent kommuniziert mit http://127.0.0.1:8080 statt direkt mit dem Anbieter. Der Proxy schreibt die Tool-Schemas, die Dateiinhalte, die Tool-Ausgabe und die älteren Nachrichten um, sendet die kleinere Nutzlast an den Anbieter und gibt die Antwort unverändert zurück.

Der Anbieter berechnet Ihnen die Datenmenge, die bei ihm ankommt. Eine kleinere Nutzlast führt daher zu einer kleineren Rechnung. Das ist die gesamte Idee. Diese Aussage unterscheidet sich von der Aussage, dass Ihr Kontext länger erhalten bleibt. Genau deshalb ist dieses Tool interessant und nicht nur aufgeräumter.

Das Projekt ist noch jung. Die ersten öffentlichen Tags stammen aus July 2026, und der aktuelle Tag ist v1.3.0 vom 5 August 2026. Die Gewichte und der Gateway-Code stehen unter der Apache 2.0-Lizenz. Das Kompressionsmodell ist ein LoRA-Adapter (low-rank adaptation) auf Qwen3-4B-Instruct-2507, der mit 45,000 durch einen Lehrer destillierten Beispielen aus realen Coding-Agent-Trajektorien trainiert wurde.

Warum dies kein Context-Trimming ist

Beim Trimming werden Inhalte gelöscht. Wenn sich ein Agent dem Context-Limit nähert und die ältesten Turns verwirft, ist die Datei, die er in Turn 3 gelesen hat, nicht mehr vorhanden. Benötigt er diese Datei in Turn 20 erneut, liest er sie noch einmal ein. Für diese Tokens zahlen Sie dann ein zweites Mal. Die Einsparung war nur geliehen.

Paritok ersetzt ein Segment durch eine kürzere Form mit einem Tag, [REF:id], und bewahrt den vollständigen Text auf dem Proxy auf. Das Modell ruft ein Segment über read_original oder expand_context wieder ab. Dadurch ändert sich das Fehlerverhalten. Ein Trimmer schlägt durch Vergessen fehl und informiert Sie nicht darüber. Ein Kompressor übergibt dem Modell eine verlustbehaftete Zusammenfassung. Wenn diese nicht ausreicht, kann das Modell den Originaltext anfordern.

Der Tool-Filter arbeitet nach demselben Prinzip. Gefilterte Tool-Schemas werden durch Stubs ersetzt, statt entfernt zu werden. Das Modell ruft ein Schema bei Bedarf über gateway_search_tools wieder ab. Das ist wichtig, weil ein Filter, der ein Tool dauerhaft ausblendet, die Handlungsmöglichkeiten Ihres Agents verändert. Sie würden dies erst an einer Aufgabe bemerken, die unbemerkt fehlschlägt.

Die drei Stellschrauben und welche davon kostenlos ist

Die erste Stellschraube ist der Filter für Tool-Schemas. Jede Anfrage enthält das gesamte tools-Array. Bei einem Claude-Code-Durchlauf mit mehreren verbundenen MCP-Servern (Model Context Protocol) umfasst dieser Block laut Projektangaben ungefähr 29,000 Tokens. Der Filter erstellt mit BAAI/bge-small-en-v1.5, einem 130 MB großen Embedding-Modell, Embeddings für die Benutzeranfrage und jede Tool-Beschreibung. Anschließend behält er die passenden Tools bei und ersetzt die übrigen durch Platzhalter. Dadurch sinkt der Block auf ungefähr 8,000 Tokens. Das Embedding-Modell läuft auf der CPU.

Die zweite Stellschraube ist die Inhaltskomprimierung. Dafür wird das 4B-Modell auf einer GPU benötigt. Dateiinhalte, Tool-Ausgaben und der Verlauf werden auf 25.7% ihrer ursprünglichen Größe reduziert. Daher stammt die Angabe von 74%. Lesen Sie sie genau: 74% ist die Komprimierungsrate für die komprimierten Inhalte, nicht die Reduzierung Ihrer Rechnung.

Die dritte Stellschraube ist die Zusammenfassung des Verlaufs. Sobald das Kontextbudget ausgeschöpft ist, werden ältere Durchläufe außerhalb des aktuellen Fensters zusammengefasst. Dadurch kann eine lange Sitzung weiterlaufen, statt das Limit zu erreichen.

Nur die zweite Stellschraube benötigt eine GPU. Das ist der wichtigste Satz auf dieser Seite. pip install "paritok[toolselect]" stellt den Tool-Filter auf einem gewöhnlichen CPU-VPS bereit. Dieser Teil des Produkts verursacht keine monatlichen Kosten. Testen Sie ihn, bevor Sie eine GPU mieten.

Was das Projekt gemessen hat und auf welchem Harness

ChartSWE-bench Lite: compression rate against solve quality retained (project's published figures)
The data behind this chart
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Dies sind die vom Projekt selbst veröffentlichten Messwerte. Gemessen wurde mit dem eigenen Harness gegen SWE-bench Lite. Paritok-4B-v1 komprimiert den Inhalt auf 25.7% der ursprünglichen Größe und behält dabei 86.5% der unkomprimierten Lösungsrate bei. Die Verwendung von gpt-5 als Kompressor erhält mehr Qualität, nämlich 93.6%, komprimiert aber nur auf 61.9%. Sie würden also Frontier-Preise zahlen, um Frontier-Preise einzusparen.

Lesen Sie die Qualitätsspalte ohne Beschönigung. Wenn 86.5% der Lösungsrate erhalten bleiben, bedeutet das, dass die komprimierten Durchläufe Aufgaben nicht lösen konnten, die die unkomprimierten Durchläufe gelöst haben. Das betrifft fast eine von sieben Lösungen. Auf einem Benchmark ist das eine Zahl in einer Tabelle. In Ihrem Repository ist es eine Aufgabe, die Sie zweimal ausführen.

ChartReported input-token saving as a session grows (project's own harness)
The data behind this chart
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Die Einsparung über den gesamten Ablauf nimmt mit der Sitzungsdauer zu, weil sich der Verlauf ansammelt und genau dieser Verlauf komprimiert wird. Das Projekt berichtet bei einem einzelnen Durchlauf etwa 25%, bei Durchlauf 5 39% und bei Durchlauf 20 63%. Es gibt auch an, wann das Wachstum endet: Bei einem Budget von 200,000 Token flacht die absolute Einsparung bei etwa 48,000 Token pro Durchlauf ab, ungefähr zwischen Durchlauf 8 und 12, weil der Verlauf nicht weiter wächst, sobald der Kontext vollständig belegt ist. Die häufig zitierte Angabe von „über 85%“ beschreibt Sitzungen mit vollständig belegtem Kontext. Das ist der Bestfall. Planen Sie daher nicht mit diesem Wert.

Lohnt sich eine 24-GB-GPU für Paritok?

Eine 24-GB-Karte ist die übliche Mietgröße für ein Modell dieser Größe. Am 7. August 2026 lag der veröffentlichte Medianpreis für eine RTX 4090 mit 24 GB bei $0.44 pro Stunde. Die günstigsten Angebote lagen bei etwa $0.20. Wir rechnen mit $0.44. Wenn die GPU den ganzen Monat läuft, sind das 730 Stunden und damit $321. Wenn sie nur während der Arbeitszeit läuft, also 8 Stunden pro Tag an 22 Tagen, sind es 176 Stunden und damit $77.

Rechnen Sie nun die Token-Einsparung in eine Geldeinsparung um. Die Reduzierung gilt für Eingabetokens. Ausgabetokens durchlaufen den Proxy unverändert. Sie ändern sich daher überhaupt nicht. Nehmen Sie an, dass Eingabetokens 80% Ihrer Gesamtkosten ausmachen. Das ist für einen Coding-Agent üblich. Vergleichen Sie diese Annahme mit Ihrer eigenen Abrechnung. Ihre Geldeinsparung entspricht dann der Tokenreduzierung multipliziert mit 0.8.

ChartMonthly agent bill needed before a $0.44/hour 24GB card pays for itself
The data behind this chart
[
  {
    "label": "Turn 5 (39% saved)",
    "bill_always_on_usd": "1,030",
    "bill_workday_only_usd": 248
  },
  {
    "label": "Turn 20 (63% saved)",
    "bill_always_on_usd": 637,
    "bill_workday_only_usd": 154
  },
  {
    "label": "Saturated (85% saved)",
    "bill_always_on_usd": 472,
    "bill_workday_only_usd": 114
  }
]

Bei der Auslastungszahl von 85% behalten Sie 68% der Abrechnung. Eine durchgehend laufende Karte amortisiert sich daher, sobald Ihre monatlichen Agent-Kosten etwa $472 erreichen. Wenn Sie die Instanz außerhalb der Arbeitszeit stoppen, liegt der Schwellenwert bei etwa $114. Bei der Zahl für Turn 20 von 63% liegen die Werte bei $637 beziehungsweise $154. Bei der Zahl für Turn 5 von 39%, die dem tatsächlichen Verhalten kurzer Sitzungen entspricht, benötigen Sie etwa $1,030 pro Monat, bevor sich die Anmietung der Karte überhaupt lohnt.

Zwei Faktoren verbessern das Ergebnis gegenüber der Tabelle. Das Modell benötigt keine 24 GB: Der q4-Build ist etwa 2.5 GB groß, der bf16-Build etwa 8 GB. Eine kleinere Karte oder ein GPU-Server, den Sie bereits für einen anderen Zweck betreiben, senkt daher alle Werte in dieser Tabelle. Die Instanz zu stoppen, wenn niemand programmiert, ist hier der wichtigste Hebel. Dadurch sinken die Mietkosten um etwa drei Viertel.

Ein Faktor verschlechtert das Ergebnis. Der Komprimierungsvorgang verursacht tatsächliche Rechenarbeit. Für jeden Token, den das 4B-Modell komprimiert, muss es einen Token lesen und anschließend schreiben. Das erhöht die Latenz jedes Agent-Turns. Bei einer stundenweisen GPU-Miete zeigt sich dieser Aufwand als Wartezeit und nicht als eigene Position auf der Rechnung. Deshalb wird er leicht übersehen, bis Sie die Verzögerung bemerken.

Wenn Sie gemietete GPU-Stunden allgemein mit API-Tokens vergleichen, führt der Break-even zwischen einem GPU-VPS und API-Tokens dieselbe Berechnung für die Inferenz selbst durch.

Paritok-Gateway auf einem VPS betreiben

Python 3.10 oder neuer ist erforderlich. Ubuntu 24.04 liefert Python 3.12 mit. Daher reicht für die CPU-only-Hälfte ein einfaches VPS-Image aus.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.0"
pip install "paritok[toolselect]==1.3.0"

Fixieren Sie die Version. Das Repository hat am 29 July 2026 v1.2.8 und am 5 August 2026 v1.3.0 getaggt. Ein Projekt mit diesem Entwicklungstempo benennt Konfigurationsschlüssel zwischen Releases um. Ein einfaches pip install paritok oder ein git clone von main liefert Ihnen nächste Woche ein anderes Gateway und hinterlässt keinen Nachweis, welches Gateway die von Ihnen gemessenen Werte erzeugt hat.

Das Standard-Backend ist Ollama. Laden Sie das Modell herunter und geben Sie ihm anschließend den Kurznamen, nach dem der Proxy sucht.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Schreiben Sie paritok.yaml daneben. use_gpu_server: false sorgt dafür, dass die Komprimierung auf Ihrer eigenen Hardware erfolgt.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434
paritok proxy --port 8080 --config-file paritok.yaml

paritok up ist die Kurzform für alle vorherigen Schritte: Der Befehl lädt das Modell herunter, falls es fehlt, und startet den Proxy auf Port 8080. Prüfen Sie den Proxy, bevor Sie einen Agenten darauf verweisen.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health gibt ein kleines JSON-Objekt mit "status":"ok" und einer Versionszeichenfolge zurück. /stats gibt die Komprimierungssummen und die eigene Schätzung des Proxys zu den Einsparungen zurück. Behandeln Sie diese Schätzung als Selbstbewertung des Proxys und gleichen Sie sie mit der Nutzungsseite Ihres Providers ab.

Für höheren Durchsatz statt einfacher Einrichtung stellt vLLM den Adapter auf dem Basismodell bereit.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --port 8000

Ollama ist schneller eingerichtet. vLLM verarbeitet gleichzeitige Anfragen deutlich besser. Das wird relevant, sobald mehrere Agenten denselben Server nutzen. Der praktische Unterschied zwischen Ollama und vLLM entscheidet in diesem Fall.

Verweisen Sie den Agenten über die Umgebungsvariablen für die Base URL auf den Proxy.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI ignoriert OPENAI_BASE_URL. Daher schreibt das Projekt ~/.codex/config.toml für Sie, wenn codex.enabled: true in paritok.yaml gesetzt ist. Wenn Sie die Variable allein exportieren, kommuniziert Codex weiterhin direkt mit dem Provider. Das erkennen Sie daran, dass sich der /stats-Zähler während der Arbeit nicht ändert.

Lassen Sie den Listener auf 127.0.0.1 lauschen, niemals auf 0.0.0.0. Der Proxy leitet Ihren Provider-API-Schlüssel an den Upstream weiter. Ein aus dem Internet erreichbarer Proxy ist daher ein offenes Relay für diesen Schlüssel. Wer den Port findet, kann Ihr Geld ausgeben, ohne den Schlüssel selbst zu sehen. Greifen Sie stattdessen von einem Laptop über einen SSH-Tunnel oder ein VPN darauf zu, anstatt den Port zu öffnen.

Betreiben Sie den Proxy unter systemd, damit er einen Reboot übersteht. Passen Sie die Pfade an Ihre Installation an.

[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Aktivieren Sie ihn mit sudo systemctl enable --now paritok und führen Sie anschließend erneut curl /health` aus. Wenn eine Unit startet und sofort beendet wird, ist der Pfad zur Konfigurationsdatei meist falsch. journalctl -u paritok -n 50` gibt den Grund aus.

Die gehostete Option und ihre Kosten

Das Projekt bietet die Komprimierung auch als Dienst an. Setzen Sie use_gpu_server: true mit einem API-Schlüssel, läuft das 4B-Modell auf der Hardware des Anbieters. Der Preis beträgt $0.30 pro verarbeiteten Million Tokens. Laut der eigenen Dokumentation ist die Nutzung bis Ende August 2026 kostenlos. Dadurch entfallen die GPU-Miete und der gesamte zuvor beschriebene Betriebsaufwand.

Das bedeutet außerdem, dass Ihre Prompts und die von Ihrem Agent gelesenen Dateien Ihren Rechner verlassen und einen Drittanbieter erreichen, bevor sie an Ihren Modellanbieter weitergeleitet werden. Self-Hosting soll genau diesen Zwischenweg vermeiden. Legen Sie fest, welches dieser beiden Ziele für Sie wichtiger ist, bevor Sie das Flag setzen. Das Flag lässt sich in einer Zeile ändern, die Konsequenz jedoch nicht.

So messen Sie Ihren eigenen Vorher-Nachher-Vergleich

Die veröffentlichten Zahlen sind die Zahlen des Projekts. Sie stammen aus dem projektspezifischen Testverfahren auf SWE-bench Lite. Ihr Repository ist nicht SWE-bench Lite. Messen Sie Ihre eigenen Werte.

  • Arbeiten Sie eine normale Woche ohne Proxy im Anfragepfad. Erfassen Sie Input-Tokens, aus dem Cache gelesene Tokens und Output-Tokens auf separaten Zeilen aus der Nutzungsübersicht Ihres Providers, nicht als einen Gesamtbetrag in Dollar.
  • Arbeiten Sie in der folgenden Woche mit dem vorgeschalteten Proxy und führen Sie dieselbe Art von Aufgaben aus.
  • Vergleichen Sie die Zeilen für Input und aus dem Cache gelesene Tokens. Die Output-Werte sollten ungefähr gleich bleiben, weil sie nicht komprimiert werden. Wenn sich der Output stark verändert hat, wurde auch etwas anderes als der Proxy geändert.
  • Zählen Sie die Aufgaben, die Sie erneut ausführen mussten. Das ist die Qualitätsseite des Vergleichs. Kein Dashboard weist sie aus.
  • Addieren Sie die GPU-Stunden für die zweite Woche, bevor Sie die Gesamtsummen vergleichen.

Die Trennung von Input und Output ist wichtig, weil beide sehr unterschiedlich abgerechnet werden und ein Kompressor nur einen der beiden Werte beeinflusst. Im August 2026 kostet Claude Sonnet 4.6 $3 pro Million Input-Tokens und $15 pro Million Output-Tokens. Das Lesen aus dem Prompt-Cache kostet 10% des Input-Preises, also $0.30 pro Million. Der Unterschied zwischen den Kosten für Input- und Output-Tokens entscheidet darüber, ob sich ein Kompressor auf der Input-Seite für Sie lohnt. Wofür Claude Code seine Tokens tatsächlich verwendet zeigt, welcher Teil Ihres Kontexts groß genug ist, um eine Komprimierung zu rechtfertigen.

Prompt-Caching erschwert insbesondere die Berechnung für den Tool-Filter. Der Tool-Block steht am Anfang der Anfrage. Nach dem ersten Turn ist er daher normalerweise ein Cache-Treffer und kostet 10% des Input-Preises. Wenn Sie 21,000 Tokens aus einem gecachten Block entfernen, sparen Sie 21,000 Tokens zu $0.30 pro Million, also ungefähr $0.006 pro Turn, nicht die $0.063, die der Preis ohne Cache nahelegen würde. Das Projekt hält den gefilterten Block während der Sitzung unverändert, damit sich das gecachte Präfix nicht ändert. Ein Filter, der die Tools bei jedem Turn neu auswählt, würde dieses Präfix ungültig machen und mehr kosten, als er einspart.

Was weiterhin unbestätigt ist

Alle oben genannten Leistungswerte stammen aus dem Projekt selbst. Eine unabhängige Reproduktion der SWE-bench-Lite-Ergebnisse gibt es nicht. Außerdem verfügt der Code wegen der ersten Tags vom Juli 2026 über kaum Betriebserfahrung. Sowohl die Komprimierungsrate als auch der Wert für die erhaltene Qualität werden von der Partei gemessen, die von guten Ergebnissen profitiert. Das macht die Werte nicht falsch. Es bedeutet, dass sie unbestätigt sind. Sie sollten sie anders bewerten als einen Wert, den Sie selbst ermittelt haben.

Ein dokumentiertes Verhalten sollten Sie kennen, bevor Sie Ihre Umgebung verantwortlich machen. Das vom Tool-Filter verwendete Embedding-Modell wird erst bei der ersten Anfrage und nicht beim Start geladen. Daher dokumentiert das Projekt eine Aufwärmzeit von 10 bis 15 Sekunden. Danach dauert jeder Aufruf etwa 15 ms. Senden Sie nach dem Start des Proxy eine Anfrage, deren Ergebnis Sie nicht benötigen. Dann wirkt der erste echte Agentenlauf nicht so, als wäre er hängen geblieben.

Vier Dinge können Sie an einem Nachmittag selbst prüfen: ob der Proxy startet und weiterläuft, ob sich /stats während Ihrer Arbeit verändert, ob die Input-Token-Zeile Ihres Providers tatsächlich sinkt und ob der Agent die Aufgabe weiterhin abschließt. Diese Punkte entscheiden für Ihre Umgebung deutlich zuverlässiger als jeder veröffentlichte Benchmark.

Zur Einordnung neben Ihren anderen Tools: Ein selbst gehostetes LiteLLM-Gateway leitet Anfragen weiter und erfasst Messwerte dazu, ohne deren Inhalte zu verändern. Die beiden Tools lösen daher unterschiedliche Probleme und können kombiniert werden. Paritok sitzt dabei näher am Agenten. Wenn es Ihnen in erster Linie um eine niedrigere Rechnung und nicht um dieses konkrete Tool geht, umfasst die größere Auswahl an Kostenkontrollen für einen Agenten auf einem VPS mehrere Änderungen, die Sie zuerst kostenlos ausprobieren können.

FAQ

Reduziert Paritok meine API-Kosten oder nur meinen Kontextverbrauch?

Die Kosten sinken, weil der Proxy die Anfrage umschreibt, bevor sie den Anbieter erreicht, und der Anbieter das berechnet, was er empfängt. Das Ausmaß der Einsparung ist jedoch geringer, als die hervorgehobene Zahl vermuten lässt. Die Angabe von 74 % bezeichnet die Kompressionsrate für die komprimierten Inhalte. Über den gesamten Ablauf hinweg berichtet das Projekt von etwa 25 % bei einem einzelnen Turn und 63 % bis Turn 20. Außerdem ändern sich nur die Input-Tokens. Output-Tokens werden unverändert durchgereicht.

Wie viel GPU benötige ich für das Self-Hosting des Kompressionsmodells?

Der q4-Build ist etwa 2.5 GB groß, der bf16-Build etwa 8 GB. Das Modell passt daher mit viel verbleibendem Speicher auf eine 24-GB-Karte. Eine kleinere Karte funktioniert ebenfalls und verbessert die Kostenbilanz. Der Tool-Schema-Filter benötigt überhaupt keine GPU. Er verwendet BAAI/bge-small-en-v1.5, ein 130 MB großes Embedding-Modell, das auf der CPU ausgeführt wird. Installieren Sie paritok[toolselect] auf einem gewöhnlichen VPS. Damit erhalten Sie die Reduzierung der Tool-Blöcke für den Preis von etwas zusätzlichem RAM.

Was passiert, wenn der Kompressor etwas entfernt, das der Agent benötigt?

Es wird nichts entfernt. Komprimierte Segmente enthalten ein [REF:id]-Tag. Das Modell stellt den vollständigen Text mit read_original oder expand_context wieder her. Gefilterte Tool-Schemas werden durch Platzhalter ersetzt, nicht gelöscht. Das Modell stellt eines davon mit gateway_search_tools wieder her. Das eigentliche Risiko ist unauffälliger als eine fehlende Datei: Das Modell arbeitet mit einer verlustbehafteten Zusammenfassung und erkennt nie, dass es nach dem Original fragen sollte. Genau das misst die Angabe von 86.5 % erhaltener Qualität auf SWE-bench Lite.

Warum benötigt meine erste Anfrage fünfzehn Sekunden?

Das Embedding-Modell hinter dem Tool-Filter wird erst bei der ersten Anfrage und nicht beim Start geladen. Das Projekt dokumentiert eine Aufwärmzeit von 10 bis 15 Sekunden. Danach dauert ein Aufruf ungefähr 15 ms. Senden Sie nach dem Start des Proxys eine einmalige Testanfrage mit curl. Dann wird der erste echte Agent-Turn nicht verzögert.

Sollte ich statt Self-Hosting den gehosteten GPU-Server verwenden?

Damit entfallen die Kosten für die GPU-Miete und der Wartungsaufwand. Stand August 2026 kostet der Dienst $0.30 pro verarbeiteter Million Tokens. Außerdem werden Ihre Prompts und die Dateien, die Ihr Agent liest, an einen Drittanbieter gesendet, bevor sie Ihren Modellanbieter erreichen. Wenn Sie Self-Hosting einsetzen, damit der Code auf einer von Ihnen kontrollierten Infrastruktur bleibt, hebt diese Einstellung den Grund für Ihre Entscheidung auf. Beim Self-Hosting bleiben sowohl der Kontext als auch der API-Schlüssel des Anbieters auf Ihrem eigenen System.