Jak zmierzyć liczbę tokenów na sekundę w lokalnym LLM
Dowiedz się, jak poprawnie zmierzyć przepustowość LLM za pomocą testów obciążeniowych. Sprawdź, czy wynajem GPU jest tańszy od API, analizując realne wyniki tokens per second.
Dlaczego liczba tokenów na sekundę decyduje o opłacalności GPU
Liczba tokenów na sekundę to szybkość, z jaką serwer generuje tekst wyjściowy. Jest to wskaźnik decydujący o tym, czy wynajęcie własnego GPU jest tańsze niż płacenie za tokeny w modelu API. Za serwer GPU płaci się godzinowo, niezależnie od tego, czy jest on obciążony, czy bezczynny. W przypadku hostowanego API opłata naliczana jest za każdy token. Z tego powodu własne GPU staje się opłacalne tylko wtedy, gdy utrzymuje się wystarczająco wysokie tempo generowania przez większość opłaconych godzin.
Wymaga to przeprowadzenia własnych pomiarów, a nie opierania się na danych teoretycznych. Niniejsza strona definiuje cztery kluczowe wartości, które należy zarejestrować, przedstawia polecenia służące do ich uzyskania oraz obliczenia pozwalające podjąć decyzję.
Dlaczego opublikowana liczba tokenów na sekundę nie jest Twoim wynikiem
W lipcu 2026 roku firma DigitalOcean opublikowała dane dotyczące przepustowości dla pojedynczego układu NVIDIA H200 działającego z llama3.3-70b-instruct w formacie FP8 (8-bitowa liczba zmiennoprzecinkowa) w środowisku vLLM. Liczby te są przydatne, ale nie dotyczą Twojego środowiska.
Dane, na których opiera się ten wykres
[
{
"config": "H200, one stream",
"tok_s": "47"
},
{
"config": "H100, saturated",
"tok_s": "236"
},
{
"config": "H200, saturated",
"tok_s": "2,036"
},
{
"config": "H200, saturated, in+out",
"tok_s": "4,071.6"
}
]Każdy wiersz powyżej pochodzi z przywołanej strony, przy czym dwa z nich stanowią dolną granicę podanego zakresu, więc należy traktować je jako wartość minimalną. Żaden z wyników w tej tabeli nie był mierzony przez nas.
Zacznijmy od dwóch ostatnich wierszy. Wartość nagłówkowa wynosi 4,071.6 tok/s, podczas gdy szybkość generowania wyłącznie danych wyjściowych to 2,036 tok/s. Wartość nagłówkowa sumuje tokeny wejściowe i wyjściowe. W tym teście użyto 1024 tokenów wejściowych oraz 1024 tokenów wyjściowych, więc niemal dokładnie połowa wartości nagłówkowej przypada na dane wyjściowe. Podział ten ma znaczenie, ponieważ generowanie danych wyjściowych jest procesem wolniejszym. Faza prefill (odczyt promptu) przetwarza wszystkie tokeny wejściowe w jednym przebiegu. Faza decode (zapis odpowiedzi) generuje po jednym tokenie na raz. Całkowita przepustowość uśrednia tanią operację z kosztowną.
Teraz pierwszy wiersz. Ten sam układ H200 obsługujący jedno żądanie naraz generuje 47 tok/s, zatem wartość przy pełnym obciążeniu jest ponad czterdziestokrotnie wyższa na identycznym sprzęcie. Ta różnica wynika z faktu, że pojedynczy krok dekodowania sprawia, iż GPU przez większość czasu oczekuje na dane z pamięci, a równoległe żądania wypełniają ten czas bezczynności. Drugi wiersz, 236 tok/s, dotyczy pojedynczego układu H100 na tym samym modelu, ograniczanego przez pamięć podręczną KV (cache kluczy i wartości, czyli pamięć przypisaną do każdego żądania, którą aktywna konwersacja utrzymuje na karcie). Karta o pojemności 80 GB mieści mniej równoległych żądań dla modelu 70B, więc osiąga niższy punkt nasycenia.
Zmiana modelu lub proporcji danych wejściowych do wyjściowych powoduje zmianę każdej z powyższych liczb. Opublikowane dane określają Twoje oczekiwania, a nie budżet. Jest to ta sama zasada, która obowiązuje przy rzetelnym testowaniu wydajności VPS w zakresie dysku i sieci.
Cztery kluczowe wskaźniki
- Time to first token, TTFT. Opóźnienie między wysłaniem żądania a otrzymaniem pierwszego tokena wyjściowego. Jest to suma czasu prefill oraz czasu oczekiwania w kolejce. Użytkownik odczuwa ten parametr bezpośrednio.
- Output tokens per second, per stream. Szybkość generowania odpowiedzi po rozpoczęciu procesu. Powyżej około 20 tok/s prędkość ta przewyższa tempo czytania większości ludzi, więc dalsze zwiększanie wydajności w tym obszarze przynosi niewielkie korzyści.
- Saturated total output throughput. Sumaryczna przepustowość wszystkich jednoczesnych strumieni przy pełnym obciążeniu serwera. Jest to wskaźnik wydajności całkowitej, który determinuje opłacalność wykorzystania GPU.
- p50 and p99 TTFT under concurrency. p50 to wartość dla środkowego żądania. p99 to wartość, poniżej której mieści się 99 na 100 żądań. Kolejkowanie zawsze najpierw uwidacznia się w statystyce p99.
Pierwsze dwa wskaźniki poprawiają się, gdy serwer jest mało obciążony. Trzeci wskaźnik poprawia się, gdy serwer jest mocno obciążony. Parametry te są ze sobą sprzeczne, dlatego pojedyncza liczba nie opisuje w pełni wydajności serwera.
Dostosowanie długości danych wejściowych i wyjściowych przed pomiarem
Przepustowość zależy od charakterystyki ruchu. Prompt o długości 4,000 tokenów z odpowiedzią 50 tokenów to obciążenie typu prefill-heavy. Prompt o długości 200 tokenów z odpowiedzią 2,000 tokenów to obciążenie typu decode-heavy. Ten sam serwer wykazuje bardzo różne wartości tokenów na sekundę dla tych dwóch przypadków, dlatego należy wybrać jeden stosunek, zapisać go obok każdej rejestrowanej liczby i nigdy nie porównywać wyników między różnymi stosunkami. Wartość 1,024 tokenów wejściowych na 1,024 wyjściowych jest rozsądnym ustawieniem domyślnym, ponieważ wielu dostawców publikuje wyniki przy takim właśnie stosunku. Jeśli znany jest rzeczywisty profil ruchu, należy użyć własnych danych.
Należy również wymusić długość wyjściową. Model, który napotyka token stopu po 60 tokenach, generuje krótszy przebieg, którego nie można porównać z pełnym cyklem: TTFT stanowi wtedy większy udział w czasie całkowitym, co obniża przepustowość wyjściową w benchmarku, mimo że każde żądanie kończy się szybciej. Flaga --ignore-eos w kliencie benchmarkowym vLLM sprawia, że każde żądanie generuje dokładnie określoną liczbę tokenów, dzięki czemu dwa przebiegi pozostają porównywalne. Wybór modelu wpływa na te liczby bardziej niż jakakolwiek flaga: dopasowanie modelu Qwen 3 do pojedynczego GPU na VPS omawia kwestie pamięciowe związane z tym wyborem.
Pomiar pojedynczego strumienia
Należy rozpocząć od najprostszego przypadku. Jest to test poprawności działania oraz wyznaczenie górnego limitu wydajności. Ollama wyświetla własne pomiary czasu.
ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."Wierszem, który należy odczytać, jest eval rate, oznaczający liczbę tokenów wyjściowych na sekundę. prompt eval rate to szybkość prefill, a load duration to czas ładowania modelu do VRAM. Przy pierwszym wywołaniu po zimnym starcie load duration jest duża, więc total duration jest wartością mylącą. Należy wykonać polecenie dwukrotnie i odczytać drugi wynik. Ollama domyślnie zwalnia nieaktywny model po pięciu minutach, więc długa przerwa między uruchomieniami przywraca stan zimnego startu.
Te same pola są dostępne przez API, co ułatwia automatyzację skryptami.
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Write 200 words about disk scheduling.",
"stream": false
}' | jq '{eval_count, eval_duration,
tok_s: (.eval_count / (.eval_duration / 1000000000))}'eval_duration jest wyrażone w nanosekundach, więc podzielenie przez 1 000 000 000 daje wynik w sekundach. To dzielenie jest dokładnie tym, co zaleca dokumentacja API Ollama w celu obliczenia tokenów na sekundę. Jeśli serwer nie jest jeszcze uruchomiony, artykuł self-hosting an LLM with Ollama on a VPS zawiera instrukcje instalacji oraz konfiguracji jednostki systemd.
Pomiar TTFT wymaga żądania strumieniowego, a curl może wykonać ten pomiar automatycznie.
curl -s -o /dev/null -N \
-w 'ttfb=%{time_starttransfer}s total=%{time_total}s\n' \
http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen/Qwen3-8B",
"messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
"stream":true,"max_tokens":256}'time_starttransfer to moment, w którym dociera pierwszy bajt treści odpowiedzi. W strumieniowej odpowiedzi czatu ten bajt należy do pierwszego zdarzenia typu server-sent event, którym jest albo pierwszy token treści, albo delta zawierająca tylko rolę, wysłana tuż przed nim. Należy zatem traktować tę wartość jako TTFT z marginesem błędu jednego zdarzenia. Jest to wystarczająco dokładne do porównania dwóch uruchomień na tym samym serwerze.
Wyniki dla pojedynczego strumienia zawyżają możliwości sprzętu. Wartość TTFT jest optymalna, ponieważ w kolejce nie ma żadnych innych zadań. Szybkość na strumień jest również maksymalna, ponieważ cała karta graficzna obsługuje tylko jedno żądanie. Żadna z tych wartości nie określa rzeczywistej przepustowości serwera.
Jak przeprowadzić test współbieżności (concurrency sweep)?
Test typu sweep uruchamia jedno stałe obciążenie przy rosnącej współbieżności i rejestruje wyniki na każdym etapie. vLLM dostarcza klienta do tego celu, który komunikuje się przez OpenAI API, dzięki czemu działa również z Ollama oraz każdym innym rozwiązaniem zgodnym z OpenAI.
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts 160 \
--max-concurrency 16 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99--max-concurrency ogranicza liczbę żądań w locie i jest to zmienna, którą poddajesz testowi. --num-prompts to całkowita liczba wysłanych żądań, więc utrzymuj ją na poziomie około dziesięciokrotności współbieżności, aby uzyskać stabilną średnią. Podsumowanie wyświetla Output token throughput (tok/s): oraz Total token throughput (tok/s):, a następnie Mean TTFT (ms):, Median TTFT (ms): i P99 TTFT (ms): w sekcji Time to First Token.
W tym wyniku nie ma wartości szybkości na strumień, ale można ją uzyskać za pomocą jednego dzielenia. Mean TPOT (ms): to średni czas na token wyjściowy po pierwszym tokenie, więc 25 ms na token oznacza 40 tokenów na sekundę na strumień. Podzielenie przepustowości wyjściowej przez współbieżność daje ten sam wynik.
Następnie wykonaj pętlę, zapisując każdy przebieg.
for C in 1 4 16 32 64 128; do
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts $(( C * 10 )) \
--max-concurrency "$C" \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99 \
--save-result --result-filename "sweep-c$C.json"
doneOdczytywanie zapisanych plików JSON
Każdy przebieg zapisuje jeden plik, więc wyciągnij interesujące Cię pola ze wszystkich plików jednocześnie.
for f in sweep-c*.json; do
jq -r --arg f "$f" \
'[$f, .output_throughput, .total_token_throughput,
.median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
doneoutput_throughput to liczba tokenów wyjściowych na sekundę. total_token_throughput dodaje do tego tokeny wejściowe, więc przy stosunku 1:1 wartość ta jest bliska podwojonej. p99_ttft_ms pojawiłoby się nawet bez --metric-percentiles, ponieważ ta flaga domyślnie przyjmuje wartość 99. Wartość 50 w poleceniu dodaje p50_ttft_ms obok median_ttft_ms, które otrzymuje każda metryka wymieniona w --percentile-metrics. Jeśli zażądasz percentyla, o który nie wnioskowałeś, na przykład .p90_ttft_ms, jq wyświetli null.
Co faktycznie pokazuje test współbieżności?
Dane, na których opiera się ten wykres
[
{
"label": "1 stream",
"per_stream_tok_s": 92,
"total_tok_s": 92,
"ttft_p50_ms": 48,
"ttft_p99_ms": 61
},
{
"label": "4 streams",
"per_stream_tok_s": 88,
"total_tok_s": 352,
"ttft_p50_ms": 71,
"ttft_p99_ms": 96
},
{
"label": "16 streams",
"per_stream_tok_s": 71,
"total_tok_s": 1136,
"ttft_p50_ms": 152,
"ttft_p99_ms": 244
},
{
"label": "32 streams",
"per_stream_tok_s": 54,
"total_tok_s": 1728,
"ttft_p50_ms": 287,
"ttft_p99_ms": 498
},
{
"label": "64 streams",
"per_stream_tok_s": 34,
"total_tok_s": 2176,
"ttft_p50_ms": 611,
"ttft_p99_ms": 1240
},
{
"label": "128 streams",
"per_stream_tok_s": 18,
"total_tok_s": 2304,
"ttft_p50_ms": 1490,
"ttft_p99_ms": 3820
}
]Wiersze 6 ilustrują kształt wyników testu na małym serwerze GPU, przy zachowaniu prawdopodobnych rzędów wielkości. Nie jest to pomiar wydajności Twojego serwera ani dane od dostawcy. Uruchom powyższą pętlę i zastąp te wartości własnymi wynikami.
Analizuj kształt wykresu, ponieważ to on ma charakter uniwersalny. Przy jednym strumieniu cały serwer generuje 92 tokenów na sekundę przy p99 TTFT wynoszącym 61 ms. Przy 128 streams całkowita wydajność osiąga 2304 tokenów na sekundę, czyli dwudziestopięciokrotnie więcej, podczas gdy każdy pojedynczy strumień spada do 18 tokenów na sekundę, a p99 TTFT osiąga 3820 ms. Całkowita przepustowość rośnie, ponieważ przetwarzanie wsadowe zamienia przestoje pamięci w użyteczną pracę. Szybkość na strumień spada, ponieważ te same zasoby obliczeniowe są teraz współdzielone.
Ostatnie podwojenie liczby strumieni jest kluczowe. Przejście z 64 na 128 strumieni zwiększa całkowitą wydajność o mniej niż sześć procent, podczas gdy p99 TTFT wzrasta mniej więcej trzykrotnie. Oznacza to, że żądania trafiają do kolejki zamiast być przetwarzane na bieżąco – dzieje się tak z powodu zapełnienia pamięci podręcznej KV lub osiągnięcia limitu szeregowania, takiego jak max_num_seqs w vLLM. Użyteczny punkt operacyjny znajduje się wcześniej: przy 32 strumieniach serwer nadal zwraca 1728 tokenów na sekundę, co stanowi 75 procent jego szczytowej wydajności, przy 54 tokenach na sekundę na strumień i p99 TTFT na poziomie 498 ms. Przyjmij ten punkt jako wyznacznik swojej wydajności. Szczyt krzywej to wartość, przy której nie można poprawnie obsługiwać użytkowników.
Ollama i vLLM nie mierzą tych samych wartości
Uruchomienie tego testu dla domyślnego serwera Ollama nie przyniesie znaczącej zmiany wyniku. Wartość OLLAMA_NUM_PARALLEL jest domyślnie ustawiona na 1, co oznacza, że przetwarzane jest jedno żądanie, podczas gdy pozostałe oczekują. To właśnie kolejka powoduje wzrost p99 TTFT, podczas gdy całkowita wydajność pozostaje na stałym poziomie. Zwiększ tę wartość przed przystąpieniem do jakichkolwiek pomiarów.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_NUM_PARALLEL=8"Zrestartuj usługę z parametrem sudo systemctl restart ollama, a następnie upewnij się, że model nadal mieści się w pamięci. Każdy równoległy slot zajmuje część okna kontekstowego, dlatego dokumentacja Ollama wskazuje, że kontekst 2K przy 4 równoległych żądaniach alokuje 8K. Zbyt wysoka liczba slotów spowoduje, że model przekroczy dostępną pamięć VRAM. Sprawdź ollama ps: kolumna PROCESSOR z wartością typu 48%/52% CPU/GPU oznacza, że część modelu znajduje się w pamięci CPU. W takim przypadku przepustowość będzie spadać wraz ze wzrostem współbieżności, zamiast rosnąć. Po wyczerpaniu slotów równoległych żądania trafiają do kolejki OLLAMA_MAX_QUEUE, której domyślny rozmiar wynosi 512; po jej przekroczeniu serwer zwraca błąd 503.
vLLM wykorzystuje mechanizm continuous batching, dzięki czemu włącza nowe żądania do bieżącej partii w miarę zwalniania slotów. Krzywa wydajności rośnie, dopóki nie zostanie wyczerpany zasób, zazwyczaj KV cache, choć ograniczenia takie jak max_num_seqs lub narzut związany z planowaniem zadań przez CPU mogą wcześniej zahamować ten wzrost. Ollama optymalizuje działanie pod kątem jednego modelu na jednej maszynie przy niskim koszcie konfiguracji. Z tego powodu oba silniki dostarczają odmienne wyniki dla tego samego testu, co stanowi główny temat porównania Ollama i vLLM jako silników serwujących. Rejestruj, który silnik i która wersja wygenerowały każdą z wartości.
Pięć sposobów na błędny pomiar
- Klient znajduje się zbyt daleko. Testowanie wydajności z laptopa przez Internet dodaje czas podróży pakietu (RTT) do każdego TTFT, przez co mierzona jest wydajność łącza domowego. Uruchom klienta w tym samym regionie, w którym znajduje się serwer.
- Model był w stanie "zimnym". Pierwsze żądanie uwzględnia czas ładowania wag, a w przypadku vLLM także czas kompilacji grafu. Wyślij serię rozgrzewkową i odrzuć jej wynik.
- Buforowanie prefiksu wpłynęło na wynik. vLLM domyślnie włącza automatyczne buforowanie prefiksów, więc wysyłanie tego samego promptu wielokrotnie mierzy wydajność pamięci podręcznej zamiast fazy prefill, co drastycznie zaniża TTFT.
--dataset-name randompozwala tego uniknąć, ponieważ każdy prompt jest inny. Aby mieć pewność, uruchom serwer z flagą--no-enable-prefix-caching. - Dane wyjściowe były zbyt krótkie. Przy odpowiedziach o długości 32 tokenów, TTFT dominuje w każdym żądaniu, a wynik tokenów na sekundę opisuje w rzeczywistości fazę prefill. Użyj
--ignore-eosz realistyczną długością odpowiedzi. - Raportowano tylko współbieżność 1. Daje to najbardziej optymistyczny wynik TTFT, co jest poprawnym parametrem kosztu tylko wtedy, gdy żądania nigdy się nie nakładają. Jeśli żądania występują jednocześnie, koszt zależy od przepustowości utrzymywanej przy współbieżności generowanej przez rzeczywisty ruch, więc należy przeprowadzić pomiary również w takich warunkach.
Przekształcanie wyników pomiarów w decyzję biznesową
Należy zestawić przepustowość wyjściową uzyskaną w teście przy współbieżności odpowiadającej rzeczywistemu ruchowi z cennikiem za token. Jest to wartość nasycenia tylko wtedy, gdy liczba żądań nakłada się na siebie w sposób pozwalający na pełne wykorzystanie partii (batch); obciążenie wysyłające żądania pojedynczo musi korzystać z przepustowości dla pojedynczego strumienia. Punkt rentowności wyznacza się przez dzielenie, po uwzględnieniu kosztu tokenów wejściowych, które towarzyszą każdemu tokenowi wyjściowemu:
cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600Przeanalizujmy to na podstawie cen DigitalOcean z lipca 2026 roku. Dedykowany punkt końcowy wnioskowania H200 kosztował 4,47 USD za godzinę, a bezserwerowy Llama 3.3 70B kosztował 0,65 USD za milion tokenów wejściowych i 0,65 USD za milion tokenów wyjściowych. Przy stosunku 1:1, każdy milion tokenów wyjściowych wiąże się z milionem tokenów wejściowych, więc efektywny koszt wynosi 1,30 USD za milion tokenów wyjściowych. Zatem 4,47 podzielone przez 1,30 daje około 3,44 miliona tokenów wyjściowych na godzinę, a podzielenie przez 3600 sekund daje około 955 tokenów wyjściowych na sekundę, czyli około 1910 tokenów na sekundę łącznie dla wejścia i wyjścia. Ceny są ich, dzielenie nasze. Podczas weryfikacji 25 października 2026 roku punkt końcowy H200 nadal kosztował 4,47 USD za godzinę, jednak DigitalOcean wycofał bezserwerowy Llama 3.3 70B 18 sierpnia 2026 roku i kieruje użytkowników do Llama 4 Maverick, wycenionego na 0,25 USD za milion tokenów wejściowych i 0,87 USD za milion tokenów wyjściowych. Jest to inny model, więc przed porównaniem wymaga przeprowadzenia własnego testu.
Kluczowym pojęciem jest tutaj utrzymanie. Osiągnięcie 955 tokenów wyjściowych na sekundę przy nasyceniu przez dwie godziny dziennie nie oznacza 955 tokenów na sekundę w sposób ciągły, ponieważ płaci się również za pozostałe dwadzieścia dwie godziny. Wynajęcie karty jako GPU Droplet nie zmienia sytuacji: 25 października 2026 roku cennik DigitalOcean Droplet wskazywał cenę H200 na poziomie 4,47 USD za godzinę w modelu on-demand, tak samo jak w przypadku punktu końcowego, a najtańsze instancje NVIDIA, czyli RTX 4000 za 0,76 USD za godzinę oraz L40S lub RTX 6000 za 1,57 USD za godzinę, są zbyt małe, aby pomieścić model 70B w formacie FP8. Zatem według powyższych danych, H200 nasycający się przy 2036 tokenach wyjściowych na sekundę musi średnio wykorzystywać około 47 procent tej szczytowej wydajności w każdej opłaconej godzinie, aby zrównać się z kosztem 0,65 USD za milion tokenów wejściowych i wyjściowych; poniżej tego poziomu korzystniejsza jest cena za token. To bezczynne godziny pracy GPU, a nie wolne tokeny, zazwyczaj decydują o nieopłacalności samodzielnego hostingu.
Decyzja opiera się zatem na dwóch danych wejściowych. Test wyznacza górny limit. Wzorzec ruchu określa ułamek tego limitu, który faktycznie wykorzystujesz. Pomnóż te wartości, a następnie przejdź do porównania GPU VPS z punktem rentowności API za token, aby odczytać wynik dla swojego wolumenu.
FAQ
Jaka wartość tokenów na sekundę jest odpowiednia dla samodzielnie hostowanego modelu LLM?
Istnieją dwie odpowiedzi, ponieważ ten wskaźnik pełni dwie funkcje. Dla jednej osoby czytającej wynik, każda wartość powyżej około 20 tokenów wyjściowych na sekundę na strumień jest szybsza niż tempo czytania, więc wyższa wartość nie przynosi korzyści. W kontekście kosztów, istotna jest całkowita przepustowość wyjściowa, którą można utrzymać przy rzeczywistym obciążeniu; „dobra” wartość to taka, która pozwala osiągnąć próg rentowności. Przy cenie 0.65 USD za milion tokenów (wejściowych i wyjściowych) na serwerze kosztującym 4.47 USD za godzinę, próg ten wynosi około 955 tokenów wyjściowych na sekundę przy zachowaniu stosunku 1:1 i cenach z lipca 2026 roku. Jeden strumień w dużym modelu nigdy nie osiąga takiej wartości, dlatego stosuje się przetwarzanie wsadowe (batching).
Dlaczego przepustowość Ollama nie rośnie po dodaniu równoległych zapytań?
OLLAMA_NUM_PARALLEL domyślnie wynosi 1, więc serwer przetwarza jedno zapytanie na raz dla danego modelu i kolejkuje pozostałe do limitu OLLAMA_MAX_QUEUE (domyślnie 512), po czym zwraca błąd 503. Całkowita przepustowość wyjściowa pozostaje stała, podczas gdy wskaźnik p99 TTFT rośnie, co jest typowym objawem kolejkowania, a nie pełnego obciążenia GPU. Ustaw zmienną w pliku drop-in dla systemd i zrestartuj usługę, a następnie sprawdź ollama ps, ponieważ każdy równoległy slot zwiększa przydzielony kontekst i może spowodować przeniesienie części modelu do pamięci CPU.
Czy mierzyć czas do pierwszego tokena (TTFT), czy liczbę tokenów na sekundę?
Oba parametry, ponieważ zmieniają się w przeciwnych kierunkach wraz ze wzrostem obciążenia. TTFT to odczucie użytkownika, a nasycona przepustowość wyjściowa to wartość odzwierciedlona w fakturze. Rejestruj wartości p50 i p99 TTFT na każdym poziomie współbieżności, a następnie wybierz najwyższą współbieżność, przy której p99 TTFT jest jeszcze akceptowalne. Jako swoją wydajność raportuj przepustowość w tym punkcie, a nie wartość maksymalną z wierzchołka krzywej.
Czy wyższa liczba tokenów na sekundę zawsze oznacza niższy koszt za token?
Nie. Koszt za token to cena godzinowa podzielona przez liczbę tokenów faktycznie wygenerowanych przez serwer w ciągu tej godziny, więc szybki serwer, który przez większość dnia pozostaje bezczynny, nadal generuje wysoki koszt za token. O wszystkim decyduje stopień wykorzystania, a nie prędkość szczytowa. Należy również zwracać uwagę na jednostki: podawana całkowita przepustowość tokenów uwzględnia tokeny wejściowe, więc przy stosunku wejścia do wyjścia 1:1 jest ona bliska dwukrotności tempa wyjściowego. Jeśli porównywane API nalicza opłaty zarówno za tokeny wejściowe, jak i wyjściowe, wyceń obie połowy przed dokonaniem porównania.