SSD Nodes Learn Hosting plans →
Przewodniki Matt ConnorAutor: Matt Connor

Paritok: czy brama tokenów obniża rachunki agenta?

Paritok kompresuje odczyty plików i wyniki narzędzi przed wysłaniem do API. Projekt deklaruje 74% mniej tokenów. Sprawdzono mechanizm i próg opłacalności.

Co Paritok robi z żądaniem

Paritok jest bramą tokenów: proxy działającym między agentem programistycznym a API modelu, które kompresuje każde żądanie przed jego przekazaniem dalej. Agent komunikuje się z http://127.0.0.1:8080 zamiast bezpośrednio z dostawcą. Proxy zmniejsza schematy narzędzi, odczyty plików, dane wyjściowe narzędzi oraz starsze tury rozmowy, wysyła mniejszy ładunek do dostawcy i przekazuje odpowiedź bez zmian.

Dostawca nalicza opłaty za dane, które do niego docierają, ale wysokość rachunku zależy od tego, które tokeny usunięto, od cen buforowania oraz od liczby tur wykonanych przez agenta. Na tym polega cała koncepcja. Jest to inne twierdzenie niż „kontekst wystarcza na dłużej” i właśnie dlatego to narzędzie jest interesujące, a nie tylko uporządkowane.

Projekt jest młody. Kod bramy udostępniono jako open source 15 July 2026, a PyPI przypisuje wersję v1.3.14 do 6 October 2026, a wersję v1.3.0 do 5 August. Wagi modelu i kod bramy są objęte licencją Apache 2.0. Model kompresji jest adapterem LoRA (low-rank adaptation) dla Qwen3-4B-Instruct-2507, destylowanym z puli 45,000 segmentów pobranych z rzeczywistych przebiegów pracy agentów programistycznych. Spośród nich 40,606 przeszło walidację nauczyciela i stało się przykładami treningowymi.

Dlaczego nie jest to przycinanie kontekstu

Przycinanie usuwa dane bezpowrotnie. Gdy agent zbliża się do limitu kontekstu i usuwa najstarsze tury, pliku odczytanego w turze 3 już nie ma. Jeśli potrzebuje tego pliku w turze 20, odczytuje go ponownie, więc ponownie płaci za te tokeny. Uzyskana oszczędność była tylko pożyczką.

Paritok zastępuje segment krótszą postacią wraz z tagiem [REF:id] i przechowuje pełny tekst w proxy. Model odzyskuje segment, wywołując read_original lub expand_context. Zmienia to sposób występowania błędów. Przycinanie kończy się zapomnieniem i nigdy o tym nie informuje. Kompresja kończy się przekazaniem modelowi skróconego wyciągu z utratą informacji, a model może zażądać oryginału, gdy wyciąg okaże się niewystarczający.

Przefiltrowane schematy narzędzi można nadal odzyskać, ale domyślny filtr adaptacyjny usuwa niezaznaczone standardowe narzędzia oraz niezaznaczone narzędzia MCP, chyba że zadziała sygnał istotności MCP. Gdy ten sygnał zadziała, niezaznaczone narzędzia MCP są zastępowane stubami. gateway_search_tools obsługuje odzyskiwanie, a brama wykrywa również komunikaty o brakujących narzędziach i przed ponowieniem próby wstrzykuje pasujące narzędzia. Ma to znaczenie, ponieważ filtr, który trwale ukrywa narzędzie, zmienia zakres działań dostępnych agentowi, a informację o tym można uzyskać dopiero za pośrednictwem zadania, które po cichu zakończyło się nieprawidłowo.

Trzy mechanizmy i ten, który nic nie kosztuje

Pierwszym mechanizmem jest filtr schematów narzędzi. Każde żądanie zawiera całą tablicę tools. W przypadku sesji Claude Code bez podłączonych serwerów MCP (model context protocol) projekt mierzy ten blok na około 29,000 tokenów. Po podłączeniu MCP raportuje od 44,000 do 65,000 tokenów. Filtr osadza żądanie użytkownika i opis każdego narzędzia za pomocą BAAI/bge-small-en-v1.5, czyli modelu osadzeń o rozmiarze 130 MB. Zachowuje pasujące narzędzia, usuwa niezaznaczone narzędzia standardowe i tworzy stuby niezaznaczonych narzędzi MCP tylko wtedy, gdy zadziała sygnał istotności MCP. W przeciwnym razie usuwa również te narzędzia MCP. W przykładzie projektu obejmującym 29,000 tokenów blok zmniejsza się do około 8,000 tokenów. Ten model osadzeń działa na CPU.

Drugim mechanizmem jest kompresja treści. To właśnie ta część korzysta z modelu 4B, na GPU albo przez Ollama na CPU. Odczyty plików, dane wyjściowe narzędzi i historia są redukowane do 25.7% pierwotnego rozmiaru. Model przede wszystkim wybiera fragmenty zamiast je przepisywać. Ograniczone przepisywanie jest dozwolone w przypadku takich treści jak podsumowania rozumowania i oprawa wywołań narzędzi. W pracy projektu zmierzono, że 96.0% wyemitowanych identyfikatorów, ścieżek i liczb występuje dosłownie w danych wejściowych korpusu treningowego wygenerowanego przez model nauczyciela. Wynik wytrenowanego modelu na wydzielonym zbiorze SWE-bench Lite osiąga 96.2% w tym samym audycie. Stąd pochodzi wartość 74% podawana w nagłówku. Należy czytać ją dokładnie: 74% to współczynnik kompresji treści podlegającej kompresji, a nie obniżka rachunku.

Trzecim mechanizmem jest podsumowywanie historii. Domyślnie po przekroczeniu 80% skonfigurowanego okna kontekstu starsze tury są podsumowywane, a cztery najnowsze pozostają bez zmian. Dzięki temu długa sesja może być kontynuowana zamiast zakończyć się po osiągnięciu limitu.

GPU jest opcjonalne przy samodzielnym hostowaniu. To najważniejsze zdanie na tej stronie. pip install "paritok[toolselect]" udostępnia filtr narzędzi działający na zwykłym VPS z CPU, bez opłaty za każdy token. Warto wypróbować to rozwiązanie przed wynajęciem karty.

Co zmierzono w projekcie i na jakim uprzężeniu testowym

WykresSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Dane, na których opiera się ten wykres
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Są to własne, opublikowane wyniki projektu, zmierzone na jego własnym uprzężeniu testowym względem SWE-bench Lite. Paritok-4B-v1 kompresuje treść do 25.7% pierwotnego rozmiaru, zachowując 86.5% współczynnika rozwiązań uzyskiwanego bez kompresji. Użycie gpt-5 jako kompresora pozwala zachować więcej jakości, 93.6%, ale kompresuje treść tylko do 61.9%, więc oszczędność wynikałaby z ponoszenia kosztów frontier w celu oszczędzania kosztów frontier.

Kolumnę dotyczącą jakości należy interpretować bez zniekształceń. Zachowana jakość to współczynnik rozwiązań uzyskany przez kompresor podzielony przez bazowy współczynnik rozwiązań bez kompresji. Zachowanie 86.5% oznacza zmniejszenie liczby rozwiązań o 13.5% względem wartości bazowej netto. Nie oznacza to odsetka problemów rozwiązanych w bazowym przebiegu, których nie udało się rozwiązać, ponieważ przebiegi skompresowane mogą również rozwiązywać inne problemy. Wynik mierzy jednorazowe rozumienie skompresowanego surowego kodu źródłowego przy wyłączonym recall i włączonym odzyskiwaniu edycji produkcyjnych. Nie mierzy filtra schematu narzędzi CPU ani pełnego gatewaya wieloturowego.

WykresReported input-token saving as a session grows (project's own harness)
Dane, na których opiera się ten wykres
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Oszczędność kompleksowa rośnie wraz z czasem trwania sesji, ponieważ historia narasta, a to właśnie historia jest kompresowana. Projekt podaje około 25% dla jednej tury, 39% do 5. tury oraz 63% do 20. tury. Zmierzono wyłącznie tury od 1 do 5. README oznacza późniejsze wiersze jako prognozy. Podaje również moment zatrzymania wzrostu: przy budżecie 200,000 tokenów oszczędność treści na turę stabilizuje się na poziomie około 48,000 tokenów, mniej więcej między 8. a 12. turą, ponieważ po zapełnieniu kontekstu historia przestaje narastać. Oddzielna oszczędność wynikająca z filtra narzędzi dodaje około 21,000 tokenów na turę, co daje prognozowany łączny poziom stabilizacji wynoszący około 69,000 tokenów na turę. Często przytaczana wartość „powyżej 85%” opisuje sesje z nasyconym kontekstem. Jest to najlepszy przypadek. To samo README stwierdza, że przy ustawieniach domyślnych oszczędność stabilizuje się poniżej poziomu około 72%, dlatego nie należy opierać na niej planów.

Czy karta GPU 24 GB opłaca się w przypadku Paritok?

GPU jest opcjonalne, a model mieści się na kartach o pojemności mniejszej niż 24 GB. Dla przykładowego obliczenia kosztu wynajmu przyjmijmy stawkę 0.44 USD za godzinę za kartę 24 GB. Jeśli karta działa przez cały miesiąc, oznacza to 730 godzin, czyli 321 USD. Przy działaniu wyłącznie w godzinach pracy, przez 8 godzin dziennie i 22 dni, będzie to 176 godzin, czyli 77 USD.

Następnie przelicz redukcję liczby tokenów na redukcję kosztów. Redukcja dotyczy tokenów wejściowych. Tokeny wyjściowe przechodzą przez proxy bez zmian, więc proxy ich nie kompresuje. Osobno wyceń nowe dane wejściowe, zapisy w pamięci podręcznej i odczyty z pamięci podręcznej, korzystając ze stawek dostawcy, a następnie porównaj całkowity koszt API przed zmianą i po niej. Nawet jeśli tokeny wejściowe stanowią 80% całkowitego kosztu, pomnożenie redukcji liczby tokenów przez 0.8 nie potwierdza oszczędności na rachunku.

WykresMonthly API saving needed to cover an illustrative $0.44/hour card
Dane, na których opiera się ten wykres
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Karta działająca przez cały czas zwróci swój koszt, gdy zmierzona miesięczna oszczędność na API przekroczy 321.2 USD, czyli 77.44 USD, jeśli instancja jest zatrzymywana poza godzinami pracy. Sama redukcja liczby tokenów o 85% nie potwierdza oszczędności na rachunku w wysokości 68%, dlatego nie pozwala ustalić miesięcznego progu wydatków agenta. Aby obliczyć ten próg, podziel koszt wynajmu przez zmierzony ułamek oszczędności na rachunku.

Dwie kwestie sprawiają, że wynik jest korzystniejszy, niż sugeruje wykres. Model nie potrzebuje 24 GB: kompilacja q4 zajmuje około 2.5 GB, a kompilacja f16 około 8 GB. Mniejsza karta albo serwer GPU, który jest już używany do innych zadań, obniża więc każdą wartość przedstawioną na wykresie. Zatrzymywanie instancji, gdy nikt nie programuje, jest tutaj najskuteczniejszym działaniem, ponieważ zmniejsza koszt wynajmu o około trzy czwarte.

Jedna kwestia pogarsza wynik. Proces kompresji wymaga rzeczywistych zasobów obliczeniowych. Każdy token kompresowany przez model 4B musi zostać przez niego odczytany, a każdy zachowany fragment musi zostać ponownie zapisany. Zwiększa to opóźnienie każdej tury agenta. W przypadku karty wynajmowanej na godziny ten koszt pojawia się jako czas oczekiwania, a nie jako pozycja na fakturze, dlatego łatwo go przeoczyć, dopóki nie stanie się odczuwalny.

Jeśli porównywane są ogólnie wynajmowane godziny GPU i tokeny API, próg opłacalności między VPS-em z GPU a tokenami API wykonuje te same obliczenia dla samego wnioskowania.

Uruchamianie bramy Paritok na VPS

Metadane pakietu w PyPI akceptują Python 3.10 lub nowszy, mimo że plakietka w pliku README wskazuje wersję 3.11+. Ubuntu 24.04 zawiera Python 3.12, więc zwykły obraz VPS wystarcza do filtrowania narzędzi CPU.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Przypnij wersję. PyPI przypisuje wersji v1.3.0 datę 5 August 2026, a wersji v1.3.14 datę 6 October 2026. Projekt rozwijany w takim tempie zmienia nazwy między wydaniami: sama wersja v1.3.0 zmieniła w swoim API expand_context na read_original. Samo pip install paritok lub git clone wartości main spowoduje, że w następnym tygodniu używana będzie inna brama, bez informacji, która wersja wygenerowała zmierzone wartości.

Domyślnym backendem jest Ollama. Pobierz model, a następnie nadaj mu krótką nazwę, której szuka proxy.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Ponieważ model lokalny zapisuje zakresy zachowywane dla każdego kompresowanego segmentu, zbyt długo trwające przejście kompresji objawia się zablokowaniem kroku agenta. Parametr limit num_predict w Ollama dla długości wyjścia wyznacza jego maksymalny zakres.

Wpisz obok niego paritok.yaml. use_gpu_server: false zapewnia, że kompresja odbywa się na własnym sprzęcie.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up jest skrótem, który pobiera model, jeśli go brakuje, i uruchamia proxy na porcie 8080. Ollama musi być już zainstalowana. Sprawdź proxy, zanim skierujesz do niego agenta.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health zwraca mały obiekt JSON zawierający "status":"ok" oraz ciąg wersji. /stats zwraca łączne wartości kompresji i własne oszacowanie proxy dotyczące zaoszczędzonych danych. Traktuj to oszacowanie jako samoocenę proxy i potwierdź je na stronie użycia dostawcy.

Jeśli ważniejsza jest przepustowość niż wygoda, vLLM udostępnia adapter działający na modelu bazowym.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Flaga --max-lora-rank 32 znajduje się w natywnym poleceniu projektu, ponieważ adapter ma rangę 32. Następnie ustaw local_model.base_url na http://localhost:8000/v1 w paritok.yaml, aby proxy komunikowało się z vLLM zamiast z Ollama.

Ollama jest szybsza do uruchomienia. vLLM znacznie lepiej obsługuje żądania współbieżne, co zaczyna mieć znaczenie, gdy z tego samego serwera korzysta więcej niż jeden agent. Praktyczna różnica między Ollama i vLLM przesądza o wyborze w tym przypadku.

Skieruj agenta do proxy za pomocą zmiennych środowiskowych zawierających bazowy URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI ignoruje OPENAI_BASE_URL, dlatego paritok up zapisuje dla niego ~/.codex/config.toml, gdy codex.enabled: true jest ustawione w paritok.yaml. Samo wyeksportowanie zmiennej pozostawia Codex w bezpośredniej komunikacji z dostawcą. Oznaką tego jest licznik /stats, który nie zmienia się podczas pracy.

Nasłuchuj na 127.0.0.1, nigdy na 0.0.0.0. Proxy przekazuje do upstreamu poświadczenia dostarczone z każdym żądaniem, a jego nieuwierzytelniony endpoint /stats udostępnia próbki oryginalnej i skompresowanej treści. Listener dostępny z Internetu ujawnia więc prywatny kontekst oraz lokalne zasoby kompresji. Zamiast otwierać port, uzyskuj dostęp z laptopa przez tunel SSH lub VPN.

Uruchamiaj usługę za pomocą systemd, aby działała po restarcie. Dostosuj ścieżki do swojej instalacji. Utwórz użytkownika paritok, z którego uprawnieniami działa jednostka, i nadaj mu dostęp do katalogu instalacyjnego:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Włącz usługę za pomocą sudo systemctl enable --now paritok, a następnie ponownie wykonaj curl /health. Jednostka, która uruchamia się i natychmiast kończy działanie, zwykle wskazuje na nieprawidłową ścieżkę pliku konfiguracyjnego. journalctl -u paritok -n 50 wyświetla przyczynę.

Opcja hostowana i jej koszt

Projekt udostępnia również kompresję jako usługę. Ustaw use_gpu_server: true za pomocą klucza API z paritok.com, a model 4B będzie działać na ich sprzęcie. Na dzień 2 listopada 2026 opłata wynosi $0.30 za milion tokenów plików poddanych kompresji i jest pobierana z przedpłaconego kredytu. Filtrowanie schematów narzędzi jest bezpłatne. Nowe konta otrzymują $5 bezpłatnego kredytu i nie wymagają podania karty. Okres uruchomieniowy, w którym usługa hostowana była bezpłatna, zakończył się 1 października 2026, więc obecnie jest to usługa płatna. Eliminuje to konieczność hostowania modelu kompresji, ale brama nadal działa po stronie użytkownika.

Oznacza to również, że prompty i pliki odczytywane przez agenta opuszczają komputer użytkownika i trafiają do zewnętrznego dostawcy, zanim dotrą do dostawcy modelu. Hosting we własnym środowisku służy właśnie do uniknięcia tego pośredniego przesłania. Przed ustawieniem tej flagi należy zdecydować, który z tych dwóch celów ma priorytet. Zmiana flagi zajmuje jedną linię, ale jej konsekwencje są znacznie szersze.

Jak zmierzyć własne wyniki przed wdrożeniem i po nim

Opublikowane wartości dotyczą projektu. Pochodzą z jego harnessu i zostały uzyskane na SWE-bench Lite. Twoje repozytorium nie jest SWE-bench Lite. Wykonaj własne pomiary.

  • Przez jeden standardowy tydzień pracuj bez proxy na ścieżce żądań. Zapisuj świeże tokeny wejściowe, tokeny zapisywane w cache, tokeny odczytywane z cache oraz tokeny wyjściowe jako osobne wartości na stronie z użyciem usługi dostawcy. Nie zapisuj jednej łącznej kwoty w dolarach.
  • W kolejnym tygodniu umieść proxy przed usługą i wykonuj ten sam rodzaj pracy.
  • Porównaj kategorie tokenów wejściowych według ich rzeczywistych cen. Uwzględnij również każdą zmianę kosztu tokenów wyjściowych. Proxy nie kompresuje danych wyjściowych, ale zmiany w zachowaniu agenta i liczbie tur nadal wpływają na liczbę kupowanych tokenów wyjściowych.
  • Policz zadania, które trzeba było wykonać ponownie. To jakościowa część porównania. Żaden pulpit nie raportuje tej wartości.
  • Przed porównaniem sum dodaj do kosztu drugiego tygodnia liczbę godzin pracy GPU.

Rozdzielenie tokenów wejściowych i wyjściowych ma znaczenie, ponieważ ich ceny znacznie się różnią, a kompresor modyfikuje tylko jedną z tych kategorii. Na dzień 2 listopada 2026 Claude Sonnet 4.6 kosztuje $3 za milion tokenów wejściowych i $15 za milion tokenów wyjściowych, a odczyt z prompt cache kosztuje 10% stawki za tokeny wejściowe, czyli $0.30 za milion. Nowszy Claude Sonnet 5.5 kosztuje odpowiednio $2 i $10, a odczyty z cache kosztują 5% stawki za tokeny wejściowe, czyli $0.10 za milion. Różnica między kosztem tokenów wejściowych i wyjściowych decyduje o tym, czy kompresor działający po stronie wejścia będzie dla Ciebie opłacalny. Gdzie faktycznie trafiają tokeny Claude Code pokazuje, która część kontekstu jest wystarczająco duża, aby warto było ją kompresować.

Prompt caching komplikuje w szczególności obliczenia dotyczące filtrowania narzędzi. Blok narzędzi znajduje się na początku żądania, więc po pierwszej turze jest zwykle trafieniem w cache. W przypadku Sonnet 4.6 kosztuje to 10% ceny tokenów wejściowych. Usunięcie 21,000 tokenów z buforowanego bloku pozwala zaoszczędzić 21,000 tokenów po cenie $0.30 za milion, czyli około $0.006 na turę, a nie $0.063, jak wynikałoby z ceny dla danych niebuforowanych. Projekt utrzymuje odfiltrowany blok bez zmian przez całą sesję, dzięki czemu buforowany prefiks nie ulega zmianie. Filtr, który wybierałby narzędzia ponownie w każdej turze, unieważniałby ten prefiks i mógłby kosztować więcej, niż pozwalał zaoszczędzić.

Co pozostaje niezweryfikowane

Wszystkie podane wcześniej wartości wydajności pochodzą z samego projektu. Istnieje niezależny test kompresji na syntetycznym korpusie, ale wyraźnie nie sprawdza on skuteczności wykonywania zadań SWE-bench; wartości jakości rozwiązywania zadań SWE-bench Lite przedstawione przez projekt nadal nie zostały niezależnie potwierdzone. Ponieważ gateway udostępniono jako open source w lipcu 2026, kod ma również bardzo krótką historię działania w środowiskach produkcyjnych. Zarówno współczynnik kompresji, jak i wartość zachowanej jakości zostały zmierzone przez stronę, która korzysta na tym, aby wyglądały dobrze. Nie oznacza to, że są nieprawidłowe. Oznacza to, że nie zostały potwierdzone. Należy traktować je inaczej niż wartość uzyskaną we własnym pomiarze.

Przed przypisaniem problemu własnej konfiguracji warto znać jedno udokumentowane zachowanie. Model embeddingów używany przez filtr narzędzi jest ładowany przy pierwszym żądaniu, a nie podczas uruchamiania. Projekt podaje więc czas rozgrzewania wynoszący 10 do 15 sekund, a następnie około 15 ms na wywołanie. Po uruchomieniu proxy należy wysłać jedno żądanie testowe. Dzięki temu pierwsza właściwa tura agenta nie będzie wyglądać na zawieszoną.

W ciągu jednego popołudnia można samodzielnie rozstrzygnąć cztery kwestie: czy proxy uruchamia się i pozostaje aktywne, czy /stats zmienia się podczas pracy, czy pozycja dotycząca tokenów wejściowych u dostawcy rzeczywiście się zmniejsza oraz czy agent nadal kończy pracę. Dla danej konfiguracji kwestie te mają znacznie większe znaczenie niż jakikolwiek opublikowany benchmark.

Jeśli chodzi o współdziałanie z pozostałymi narzędziami: self-hosted gateway LiteLLM przekierowuje żądania i mierzy ich użycie bez zmiany ich zawartości, dlatego oba rozwiązania dotyczą różnych problemów i można je łączyć. Paritok znajduje się wtedy najbliżej agenta. Jeśli rzeczywistym celem jest obniżenie rachunku, a nie użycie tego konkretnego narzędzia, szerszy zestaw metod ograniczania kosztów agenta na VPS obejmuje kilka zmian, które można najpierw wypróbować bezpłatnie.

FAQ

Czy Paritok obniża rachunek za API, czy tylko zużycie kontekstu?

Skraca żądanie przed jego wysłaniem do dostawcy. Oszczędność zależy od cen usuniętych tokenów oraz od liczby tur wygenerowanych przez agenta. Skala redukcji jest mniejsza, niż sugeruje główna wartość procentowa. Wartość 74% oznacza współczynnik kompresji treści poddawanej kompresji. W ujęciu end-to-end projekt podaje około 25% oszczędności tokenów wejściowych w jednej turze oraz prognozuje 63% oszczędności do 20 tury. Tokeny wyjściowe są przekazywane bez zmian, ale ich liczba nadal zależy od działania agenta.

Jakiego GPU potrzebuję do samodzielnego hostowania modelu kompresji?

GPU jest opcjonalne: Ollama uruchamia model również na CPU. Wersja q4 zajmuje około 2.5 GB, a wersja f16 około 8 GB, więc model bez problemu mieści się na karcie 24 GB. Karta o mniejszej pamięci również wystarczy i poprawia kalkulację progu rentowności. Filtr schematów narzędzi nie wymaga GPU: korzysta z BAAI/bge-small-en-v1.5, modelu embeddingów o rozmiarze 130 MB, który działa na CPU. Zainstalowanie paritok[toolselect] na zwykłym VPS zapewnia redukcję bloków narzędzi przy niewielkim zużyciu pamięci RAM.

Co się stanie, jeśli kompresor usunie coś, czego potrzebował agent?

Nic nie zostaje utracone bezpowrotnie. Model usuwa fragmenty z treści przekazywanej dalej, ale skompresowane segmenty zawierają znacznik [REF:id], a model odzyskuje pełny tekst za pomocą read_original lub expand_context. Domyślny filtr narzędzi usuwa niezaznaczone narzędzia standardowe oraz niezaznaczone narzędzia MCP, chyba że zostanie aktywowany sygnał istotności MCP. W takim przypadku tworzy dla tych narzędzi skrócone zastępniki. Odzyskiwanie narzędzi korzysta z gateway_search_tools oraz z wykrywania komunikatów o brakujących narzędziach. Rzeczywiste ryzyko jest mniej oczywiste niż brakujący plik: model działa na uproszczonym, niepełnym wycinku i nie rozpoznaje, że powinien zażądać oryginału. Wartość 86.5% zachowanej jakości w SWE-bench Lite mierzy jednorazowe rozumienie skompresowanego nieprzetworzonego kodu źródłowego przy wyłączonym odzyskiwaniu oraz włączonym produkcyjnym odzyskiwaniu zmian. Nie mierzy filtra schematów narzędzi działającego na CPU ani pełnego gatewaya wieloturowego.

Dlaczego moje pierwsze żądanie trwa piętnaście sekund?

Model embeddingów używany przez filtr narzędzi jest ładowany przy pierwszym żądaniu, a nie podczas uruchamiania. Projekt określa czas rozgrzewania na 10–15 sekund, a następnie około 15 ms na wywołanie. Po uruchomieniu proxy wyślij jedno testowe żądanie za pomocą curl. Dzięki temu pierwsza rzeczywista tura agenta nie będzie opóźniona.

Czy zamiast samodzielnego hostowania powinienem używać hostowanego serwera GPU?

Eliminuje to konieczność hostowania modelu kompresji i opłacania GPU, ale gateway nadal trzeba utrzymywać. Według stanu na 2 listopada 2026 koszt wynosi $0.30 za milion skompresowanych tokenów plików. Opłata jest pobierana z przedpłaconego kredytu, a nowe konta otrzymują $5 bezpłatnego kredytu. Bezpłatny okres uruchomieniowy zakończył się 1 października 2026. Rozwiązanie wysyła również prompty oraz pliki odczytywane przez agenta do zewnętrznego podmiotu, zanim trafią one do dostawcy modelu. Jeżeli samodzielne hostowanie ma zapewnić przechowywanie kodu w kontrolowanej infrastrukturze, takie ustawienie podważa przyczynę rozpoczęcia tej konfiguracji. Samodzielne hostowanie utrzymuje kompresję na własnym serwerze. Skompresowane żądania i dane uwierzytelniające dostawcy nadal są wysyłane do dostawcy modelu.

Czy ten artykuł był przydatny?