SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor · Оновлено 2026-10-26

Як виміряти tokens per second для локальної LLM

Дізнайтеся, чому швидкість генерації визначає окупність GPU, і виміряйте tokens per second правильно за допомогою тесту з різною concurrency.

Чому кількість токенів за секунду визначає, чи окупається GPU

Кількість токенів за секунду — це швидкість, з якою ваш сервер генерує текст відповіді. Саме цей показник визначає, чи оренда GPU буде дешевшою за оплату API за токени. GPU-сервер оплачується погодинно, незалежно від того, працює він чи простоює. Hosted API оплачується за токени. Тому GPU вигідний лише тоді, коли протягом більшості оплачених годин ви підтримуєте достатню швидкість генерації.

Отже, потрібен фактичний вимір, а не значення, знайдене в іншому джерелі. На цій сторінці визначено чотири показники, які варто записувати. Далі наведено команди для їх отримання та розрахунок, що дає змогу прийняти рішення.

Чому опублікований показник tokens per second не є вашим показником

DigitalOcean опублікував у July 2026 показники пропускної здатності для одного NVIDIA H200, що запускає llama3.3-70b-instruct у режимі FP8 (8-bit floating point) під керуванням vLLM. Ці показники корисні, але вони не є вашими.

ГрафікPublished DigitalOcean H200 figures, llama3.3-70b-instruct FP8, July 2026
Дані, на яких побудовано графік
[
  {
    "config": "H200, one stream",
    "tok_s": "47"
  },
  {
    "config": "H100, saturated",
    "tok_s": "236"
  },
  {
    "config": "H200, saturated",
    "tok_s": "2,036"
  },
  {
    "config": "H200, saturated, in+out",
    "tok_s": "4,071.6"
  }
]

Кожен наведений вище рядок взято з тієї сторінки. Два з них є нижньою межею наведеного там діапазону, тому сприймайте їх як мінімальні значення. Ми не вимірювали жодного показника з цієї таблиці.

Почнімо з останніх двох рядків. Заголовковий показник становить 4,071.6 tok/s, а швидкість лише для виведення — 2,036 tok/s. Заголовковий показник враховує вхідні та вихідні токени разом. У цьому тесті використано 1,024 вхідних токени та 1,024 вихідних токени, тому на виведення припадає майже рівно половина заголовкового показника. Це розділення важливе, оскільки виведення є повільнішою частиною. Під час prefill (читання prompt) усі вхідні токени обробляються за один прохід. Під час decode (формування відповіді) за один раз генерується лише один токен. Заголовковий показник загальної пропускної здатності усереднює дешеву та дорогу операції.

Тепер перший рядок. Той самий H200, який обслуговує один запит за раз, досягає 47 tok/s, тому показник для насиченого навантаження більш ніж у сорок разів вищий на тому самому обладнанні. Така різниця виникає тому, що під час одного кроку decode GPU більшу частину часу очікує на доступ до пам’яті, а паралельні запити використовують цей простій. Другий рядок, 236 tok/s, показує результат для одного H100 на тій самій моделі. Його обмежує KV cache (кеш ключів і значень, тобто пам’ять для кожного запиту, у якій зберігається обслуговувана розмова на карті). Карта на 80 GB може одночасно обслуговувати менше запитів для моделі 70B, тому насичення настає за нижчого показника.

Змініть модель або співвідношення вхідних і вихідних токенів — і всі наведені вище числа зміняться. Опубліковані показники формують ваші очікування, але не визначають ваш бюджет. Це те саме правило, яке застосовується під час чесного бенчмаркінгу VPS дискової підсистеми та мережі.

Чотири важливі показники

  • Час до першого токена, TTFT. Затримка між надсиланням запиту та отриманням першого токена відповіді. Це час prefill плюс час очікування в черзі. Користувач безпосередньо відчуває цей показник.
  • Токени відповіді за секунду на один потік. Швидкість формування однієї відповіді після її початку. Понад приблизно 20 tok/s відповідь уже генерується швидше, ніж читає більшість людей, тому додаткова швидкість тут дає мало користі.
  • Сумарна пропускна здатність за насиченого навантаження. Сума для всіх одночасних потоків, коли сервер повністю завантажений. Це показник місткості, і саме він визначає витрати на GPU.
  • p50 і p99 TTFT за одночасного навантаження. p50 — це значення для запиту посередині розподілу. p99 — значення, нижче якого виконуються 99 зі 100 запитів. Зростання черги спочатку завжди відображається в p99.

Перші два показники покращуються, коли сервер не завантажений. Третій покращується, коли сервер працює під навантаженням. Вони суперечать один одному, тому жодне окреме число не описує сервер для обслуговування запитів.

Зафіксуйте довжину вхідних і вихідних даних перед вимірюванням

Пропускна здатність залежить від структури трафіку. Запит на 4,000 токенів із відповіддю на 50 токенів створює переважно навантаження prefill. Запит на 200 токенів із відповіддю на 2,000 токенів створює переважно навантаження decode. Той самий сервер показує дуже різну кількість токенів за секунду для цих двох варіантів. Тому виберіть одне співвідношення, записуйте його поруч із кожним отриманим значенням і ніколи не порівнюйте результати для різних співвідношень. Співвідношення 1,024 вхідних токенів до 1,024 вихідних є розумним значенням за замовчуванням, оскільки кілька постачальників публікують показники саме для нього. Якщо ви знаєте характеристики реального трафіку, використовуйте їх.

Також примусово зафіксуйте довжину вихідних даних. Якщо модель генерує лише 60 токенів і досягає stop token, такий запуск буде коротшим і його не можна порівнювати з повним запуском: TTFT становить більшу його частину, через що виміряна пропускна здатність генерації зменшується, хоча кожен запит завершується швидше. Прапорець --ignore-eos у клієнті тестування vLLM змушує кожен запит генерувати рівно вказану кількість токенів, тому результати двох запусків залишаються порівнюваними. Вибір моделі впливає на ці показники сильніше, ніж будь-який прапорець: розміщення моделі Qwen 3 на одному VPS із GPU описує аспект, пов’язаний із пам’яттю.

Спочатку виміряйте один потік

Почніть із найпростішого випадку. Це перевірка коректності та верхня межа продуктивності. Ollama виводить власні часові показники.

ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."

Потрібний рядок — eval rate. Це кількість вихідних токенів за секунду. prompt eval rate — швидкість prefill, а load duration — час завантаження моделі у VRAM. Під час першого виклику після холодного запуску load duration має велике значення, тому total duration вводить в оману. Виконайте команду двічі та використайте результат другого запуску. За замовчуванням Ollama вивантажує неактивну модель через п’ять хвилин, тому тривала пауза між запусками знову переводить систему у стан холодного запуску.

Ті самі поля можна отримати через API. Це зручніше для автоматизації.

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Write 200 words about disk scheduling.",
  "stream": false
}' | jq '{eval_count, eval_duration,
         tok_s: (.eval_count / (.eval_duration / 1000000000))}'

eval_duration вказано в наносекундах, тому ділення на 1,000,000,000 дає значення в секундах. Саме такий розрахунок для кількості токенів за секунду рекомендує документація API Ollama. Якщо сервер ще не запущений, у матеріалі Self-hosting LLM за допомогою Ollama на VPS описано встановлення та unit systemd.

Для вимірювання TTFT потрібен потоковий запит. curl може виміряти цей час.

curl -s -o /dev/null -N \
  -w 'ttfb=%{time_starttransfer}s  total=%{time_total}s\n' \
  http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-8B",
       "messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
       "stream":true,"max_tokens":256}'

time_starttransfer — це момент надходження першого байта тіла відповіді. У потоковому chat completion цей байт належить до першої server-sent event. Це може бути перший токен вмісту або delta лише з роллю, надіслана безпосередньо перед ним. Тому сприймайте це значення як TTFT із похибкою приблизно в одну подію. Цього достатньо для порівняння двох запусків на одному сервері.

Показники для одного потоку двічі створюють завищене враження про можливості сервера. TTFT буде найменшим із можливих, оскільки перед вашим запитом немає черги. Швидкість одного потоку буде максимальною, оскільки вся відеокарта обслуговує один запит. Жоден із цих показників не показує, яке навантаження може витримати сервер.

Як виконати перевірку за зростанням concurrency?

Перевірка запускає одне фіксоване робоче навантаження за щоразу більшої concurrency та записує результати на кожному кроці. vLLM постачається з клієнтом для цього. Він працює через OpenAI API, тому також сумісний з Ollama та іншими OpenAI-сумісними сервісами.

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/chat/completions \
  --model Qwen/Qwen3-8B \
  --dataset-name random \
  --random-input-len 1024 \
  --random-output-len 1024 \
  --ignore-eos \
  --num-prompts 160 \
  --max-concurrency 16 \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,99

--max-concurrency обмежує кількість запитів у роботі. Саме це значення ви поступово збільшуєте. --num-prompts — загальна кількість надісланих запитів, тому встановіть його приблизно у десять разів більшим за concurrency, щоб отримати стабільне середнє значення. У зведенні виводяться Output token throughput (tok/s): і Total token throughput (tok/s):, а також Mean TTFT (ms):, Median TTFT (ms): і P99 TTFT (ms): у розділі Time to First Token.

У цьому виводі немає швидкості для окремого потоку, але її можна обчислити одним діленням. Mean TPOT (ms): — середній час обробки одного вихідного токена після першого, тому 25 ms на токен означає 40 токенів за секунду для одного потоку. Якщо поділити пропускну здатність за вихідними токенами на concurrency, ви отримаєте те саме значення.

Потім виконайте цикл і збережіть результати кожного запуску.

for C in 1 4 16 32 64 128; do
  vllm bench serve \
    --backend openai-chat \
    --base-url http://127.0.0.1:8000 \
    --endpoint /v1/chat/completions \
    --model Qwen/Qwen3-8B \
    --dataset-name random \
    --random-input-len 1024 \
    --random-output-len 1024 \
    --ignore-eos \
    --num-prompts $(( C * 10 )) \
    --max-concurrency "$C" \
    --percentile-metrics ttft,tpot,itl,e2el \
    --metric-percentiles 50,99 \
    --save-result --result-filename "sweep-c$C.json"
done
Як читати збережені JSON-файли

Кожен запуск записує один файл. Витягніть потрібні поля з усіх файлів одночасно.

for f in sweep-c*.json; do
  jq -r --arg f "$f" \
    '[$f, .output_throughput, .total_token_throughput,
      .median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
done

output_throughput — кількість вихідних токенів за секунду. total_token_throughput додає вхідні токени, тому за співвідношення 1:1 це значення буде близьким до подвоєного. p99_ttft_ms з’явилося б навіть без --metric-percentiles, оскільки цей прапорець за замовчуванням має значення 99. Число 50 у команді додає p50_ttft_ms поруч із median_ttft_ms, яке отримує кожна метрика, зазначена в --percentile-metrics. Якщо запросити перцентиль, якого не було в запиті, наприклад .p90_ttft_ms, jq виведе null.

Що насправді показує sweep за рівнем concurrency?

ГрафікIllustrative sweep shape: 8B model, one 24 GB GPU, 1024 in / 1024 out
Дані, на яких побудовано графік
[
  {
    "label": "1 stream",
    "per_stream_tok_s": 92,
    "total_tok_s": 92,
    "ttft_p50_ms": 48,
    "ttft_p99_ms": 61
  },
  {
    "label": "4 streams",
    "per_stream_tok_s": 88,
    "total_tok_s": 352,
    "ttft_p50_ms": 71,
    "ttft_p99_ms": 96
  },
  {
    "label": "16 streams",
    "per_stream_tok_s": 71,
    "total_tok_s": 1136,
    "ttft_p50_ms": 152,
    "ttft_p99_ms": 244
  },
  {
    "label": "32 streams",
    "per_stream_tok_s": 54,
    "total_tok_s": 1728,
    "ttft_p50_ms": 287,
    "ttft_p99_ms": 498
  },
  {
    "label": "64 streams",
    "per_stream_tok_s": 34,
    "total_tok_s": 2176,
    "ttft_p50_ms": 611,
    "ttft_p99_ms": 1240
  },
  {
    "label": "128 streams",
    "per_stream_tok_s": 18,
    "total_tok_s": 2304,
    "ttft_p50_ms": 1490,
    "ttft_p99_ms": 3820
  }
]

Ці 6 рядків ілюструють форму, яку дає sweep на невеликому орендованому GPU-сервері, у правдоподібному порядку величин. Це не вимірювання вашого сервера і не дані постачальника. Виконайте наведений вище цикл і замініть їх власними значеннями.

Звертайте увагу на форму, оскільки саме вона узагальнюється. За одного потоку весь сервер обробляє 92 токенів за секунду, а p99 TTFT становить 61 мс. За 128 streams загальна швидкість зростає до 2304 токенів за секунду, тобто у двадцять п’ять разів, тоді як швидкість кожного окремого потоку знижується до 18 токенів за секунду, а p99 TTFT зростає до 3820 мс. Загальна пропускна здатність зростає, оскільки batching перетворює простої під час очікування пам’яті на корисну роботу. Швидкість окремого потоку знижується, оскільки той самий обсяг обчислювальних ресурсів тепер розподіляється між потоками.

Останнє подвоєння показує межу. Перехід від 64 до 128 потоків додає до загального показника менше шести відсотків, але приблизно втричі збільшує p99 TTFT. Це означає, що запити стають у чергу, а не виконуються. Причиною може бути заповнений KV cache або досягнення сервером обмеження планувальника, наприклад max_num_seqs у vLLM. Практична робоча точка розташована раніше: за 32 потоків сервер усе ще повертає 1728 токенів за секунду, тобто 75 відсотків пікового значення, зі швидкістю 54 токенів за секунду на потік і p99 TTFT 498 мс. Вказуйте цю точку як свою пропускну здатність. Пікове значення кривої не можна використовувати як робочу потужність для обслуговування користувачів.

Ollama та vLLM вимірюють не одне й те саме

Запустіть цей тест для сервера Ollama з типовими налаштуваннями, і загальний результат майже не зміниться. OLLAMA_NUM_PARALLEL за замовчуванням дорівнює 1, тому один запит виконується, а решта очікують. Саме черга підвищує p99 TTFT, тоді як загальний обсяг виводу залишається сталим. Збільште це значення до початку вимірювань.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=8"

Перезапустіть сервер із sudo systemctl restart ollama, а потім переконайтеся, що модель і далі вміщується. Кожен паралельний слот отримує власну частину контекстного вікна, тому в документації Ollama зазначено: контекст 2K за 4 паралельних запитів розподіляє 8K. Якщо збільшити кількість слотів надто сильно, модель перестане вміщуватися у VRAM. Перевірте ollama ps: якщо стовпець PROCESSOR містить значення на кшталт 48%/52% CPU/GPU, частина моделі перебуває на CPU. У такому разі зі збільшенням рівня паралелізму пропускна здатність почне знижуватися, а не зростати. Після заповнення паралельних слотів запити стають у чергу до OLLAMA_MAX_QUEUE, що за замовчуванням дорівнює 512. Після цього сервер повертає 503.

vLLM використовує безперервне пакетування. Він додає нові запити до поточного пакета, щойно звільняються слоти. Тому його крива зростає, доки не буде вичерпано певний ресурс — зазвичай KV cache. Однак налаштоване обмеження, наприклад max_num_seqs, або накладні витрати на планування CPU можуть зупинити зростання раніше. Ollama оптимізовано для однієї моделі на одній машині з мінімальними витратами на налаштування. Тому ці два рушії дають різні результати для одного й того самого тесту. Саме це є предметом Порівняння Ollama і vLLM як рушіїв обслуговування. Для кожного значення зафіксуйте рушій і його версію.

П’ять способів виміряти не те, що потрібно

  • Клієнт розташований далеко. Бенчмаркінг із ноутбука через інтернет додає час проходження вашого запиту й відповіді до кожного TTFT, тому ви вимірюєте власне домашнє з’єднання. Запускайте клієнт у тому самому регіоні, що й сервер.
  • Модель була не прогріта. Перший запит витрачає час на завантаження ваг, а у vLLM також може виконувати захоплення графа. Надішліть пакет прогрівання та не враховуйте його результат.
  • За вас відповіло кешування префікса. vLLM типово вмикає автоматичне кешування префікса, тому повторне надсилання того самого запиту вимірює кеш, а не prefill, і TTFT зменшується до частки реального значення. --dataset-name random уникає цього, оскільки кожен запит відрізняється. Щоб переконатися в цьому, запустіть сервер із --no-enable-prefix-caching.
  • Відповіді були короткими. Для відповідей на 32 токени TTFT домінує в кожному запиті, тому показник токенів за секунду фактично описує prefill. Використовуйте --ignore-eos із реалістичною довжиною відповіді.
  • Ви вказали лише concurrency 1. За цього значення TTFT у таблиці буде найкращим, і воно є правильним вхідним параметром для розрахунку вартості лише тоді, коли ваші реальні запити ніколи не виконуються одночасно. Якщо вони перекриваються, вартість залежить від пропускної здатності, яку ви підтримуєте за concurrency, що фактично створюється вашим трафіком, тому вимірюйте також за цього значення.

Перетворіть виміряне значення на рішення

Візьміть пропускну здатність за вихідними токенами, яку показала перевірка за concurrency, що відповідає вашому реальному трафіку, і порівняйте її з ціною за токен. Це значення відповідає насиченій пропускній здатності лише тоді, коли одночасно виконується достатньо запитів, щоб постійно заповнювати batch. Якщо робоче навантаження надсилає один запит за раз, використовуйте швидкість для одного потоку. Точку беззбитковості можна обчислити одним діленням, якщо врахувати ціну вхідних токенів, що припадають на кожен вихідний токен:

cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600

Розглянемо це на прикладі цін DigitalOcean за July 2026. Виділений inference endpoint на H200 коштував $4.47 за годину, а serverless Llama 3.3 70B — $0.65 за мільйон вхідних токенів і $0.65 за мільйон вихідних токенів. За використаного вище співвідношення 1:1 кожен мільйон вихідних токенів супроводжується мільйоном вхідних токенів, тому ефективна ціна становить $1.30 за мільйон вихідних токенів. Отже, 4.47, поділене на 1.30, — це приблизно 3.44 мільйона вихідних токенів за годину. Якщо поділити це значення на 3,600 секунд, отримаємо приблизно 955 вихідних токенів за секунду, або приблизно 1,910 токенів за секунду, якщо рахувати разом вхідні та вихідні токени. Це ціни DigitalOcean. Обчислення — наші. Коли ми перевіряли ціни 25 October 2026, endpoint на H200 усе ще коштував $4.47 за годину, але DigitalOcean припинила підтримку serverless Llama 3.3 70B 18 August 2026 і спрямовує користувачів до Llama 4 Maverick, для якої вказано $0.25 за мільйон вхідних токенів і $0.87 за мільйон вихідних токенів. Це інша модель, тому перед порівнянням потрібно виконати окрему перевірку.

Вирішальним тут є слово стабільна. Досягнення швидкості 955 вихідних токенів за секунду в режимі насичення протягом двох годин на день не означає стабільні 955 вихідних токенів за секунду, оскільки за решту двадцять дві години ви також сплачуєте. Оренда GPU як GPU Droplet не знижує цю вимогу: 25 October 2026 ціни DigitalOcean на Droplet містили H200 за $4.47 за годину за моделлю on demand — стільки само, як і endpoint. Найдешевші NVIDIA Droplets, RTX 4000 за $0.76 за годину та L40S або RTX 6000 за $1.57 за годину, замалі для розміщення моделі 70B у FP8. Тому за наведеними показниками H200, який досягає 2,036 вихідних токенів за секунду в режимі насичення, має в середньому використовувати приблизно 47 відсотків пікової продуктивності кожної оплачуваної години, щоб зрівнятися з ціною $0.65 за мільйон вхідних і вихідних токенів. За нижчого значення вигіднішою є ціна за токен. Зазвичай self-hosting стає невигідним через простоювання GPU, а не через повільну обробку токенів.

Отже, для рішення потрібні два показники. Перевірка дає верхню межу. Профіль вашого трафіку показує, яку частку цієї межі ви фактично використовуєте. Перемножте ці значення, а потім перейдіть до порівняння GPU VPS з точкою беззбитковості API з оплатою за токени і визначте результат для свого обсягу.

FAQ

Яка швидкість у токенах за секунду є достатньою для self-hosted LLM?

Є дві відповіді, оскільки цей показник виконує дві функції. Для однієї людини, яка читає результат, будь-яка швидкість понад приблизно 20 вихідних токенів за секунду для одного потоку вже перевищує швидкість читання, тому більша швидкість не допомагає. Для оцінки вартості важлива загальна пропускна здатність вихідних токенів, яку можна підтримувати за реального навантаження. «Достатньою» є швидкість, за якої досягається точка беззбитковості. За ціни $0.65 за мільйон токенів для вхідних і вихідних токенів та вартості сервера $4.47 за годину цей мінімум становить приблизно 955 вихідних токенів за секунду за стабільного співвідношення 1:1 і цін станом на July 2026. Один потік на великій моделі цього показника не досягає. Саме тому використовується пакетна обробка.

Чому пропускна здатність Ollama не змінюється після додавання паралельних запитів?

OLLAMA_NUM_PARALLEL за замовчуванням має значення 1, тому сервер обробляє по одному запиту для кожної моделі, а решту ставить у чергу — до OLLAMA_MAX_QUEUE (за замовчуванням 512), після чого повертає 503. Загальна швидкість генерації не змінюється, а p99 TTFT зростає. Це характерна ознака черги, а не повністю завантаженого GPU. Задайте змінну в systemd drop-in і перезапустіть сервіс. Потім перевірте ollama ps, оскільки кожен паралельний слот збільшує виділений контекст і може перемістити частину моделі на CPU.

Що вимірювати: час до першого токена чи кількість токенів за секунду?

І те, і інше, оскільки зі зростанням навантаження ці показники змінюються в протилежних напрямках. TTFT визначає час очікування користувача, а пропускна здатність генерації за насиченого навантаження впливає на рахунок. Фіксуйте p50 і p99 TTFT для кожного рівня паралельності. Потім виберіть найбільшу паралельність, за якої p99 TTFT залишається прийнятним для вас. Пропускну здатність на цьому рівні вважайте вашою ємністю, а не максимальним значенням у верхній точці кривої.

Чи завжди більша кількість токенів за секунду означає нижчу вартість токена?

Ні. Вартість токена — це погодинна ціна, поділена на кількість токенів, фактично згенерованих сервером за цю годину. Тому швидкий сервер, який більшу частину дня простоює, усе одно має високу вартість токена. Вирішальним фактором є завантаження, а не пікова швидкість. Також перевіряйте одиниці вимірювання: заявлена загальна пропускна здатність токенів включає вхідні токени, тому за співвідношення вхідних і вихідних токенів 1:1 вона близька до подвоєної швидкості вихідних токенів. Якщо API, з яким ви порівнюєте систему, тарифікує і вхідні, і вихідні токени, врахуйте в ціні обидві частини перед порівнянням.

Чи була ця стаття корисною?

#benchmarking#tokens-per-second#vllm#ollama#gpu-vps