KV cache проти prompt cache: різниця та помилки
KV cache займає RAM або VRAM вашого сервера й може спричинити помилку завантаження моделі. Prompt cache провайдера лише знижує ціну повторних запитів.
KV cache і prompt cache провайдера: коротка відповідь
KV cache і prompt cache провайдера мають спільне слово в назві, але майже нічого більше. KV cache — це робоча пам’ять окремого запиту. Вона зберігається в RAM або VRAM вашого сервера протягом усього життєвого циклу одного запиту та збільшується разом із довжиною контексту й кількістю одночасних запитів. Prompt caching у провайдера — це функція для оптимізації вартості та затримки. Стабільний префікс промпту зберігається на серверах провайдера, а під час повторного надсилання оплачується за зниженою ціною.
Перше — це пам’ять, яку ви купуєте як апаратний ресурс. Друге — пам’ять, яку зберігає інша сторона та здає вам в оренду.
Практична різниця важливіша за визначення. KV cache може заповнитися. У такому разі модель не завантажується або запит відхиляється. Prompt cache не може заповнитися з вашого боку. Ви можете лише не отримати cache hit, після чого непомітно сплатите повну вартість.
Що містить KV cache і навіщо він потрібен
Під час генерації токена номер 500 transformer має врахувати всі 499 попередніх токенів. Для кожного з них кожен шар потребує key vector і value vector. Повторне обчислення всіх цих векторів для кожного нового токена призвело б до квадратичного зростання часу генерації зі збільшенням довжини послідовності, тому runtime зберігає їх. Це сховище називається KV cache (key/value cache).
KV cache зберігає стан окремого запиту, оскільки формується на основі точної послідовності токенів цього запиту. Два користувачі з різними prompt не можуть спільно використовувати цей кеш, якщо runtime не підтримує prefix caching. Це окрема функція, описана далі.
Обслуговування запиту відбувається у двох фазах. Prefill читає весь prompt і заповнює кеш; його швидкість обмежена обчислювальною потужністю. Decode генерує по одному токену та додає його до кешу; його швидкість обмежена пропускною здатністю пам’яті. Саме тому під час вимірювання кількості токенів за секунду на власному сервері обробка prompt і генерація токенів мають різні показники швидкості.
Скільки пам’яті використовує KV cache?
Не шукайте таблицю від виробника. Розмір можна обчислити для будь-якої моделі:
bytes per token = 2 * layers * kv_heads * head_dim * bytes per elementЧисло 2 враховує key і value. Усі інші числа беруться з config.json моделі, опублікованої на її сторінці Hugging Face.
Візьмімо Llama 3.1 8B. У її конфігурації вказано num_hidden_layers 32 і num_key_value_heads 8. Значення hidden_size 4096, розподілене між 32 attention heads, дає розмір head 128. У f16 кожен елемент займає 2 байти:
2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per tokenПомножте це значення на потрібний контекст, а потім — на кількість запитів, які ви обробляєте одночасно.
Дані, на яких побудовано графік
[
{
"label": "2k context",
"one_request_gib": 0.25,
"four_requests_gib": 1
},
{
"label": "8k context",
"one_request_gib": 1,
"four_requests_gib": 4
},
{
"label": "32k context",
"one_request_gib": 4,
"four_requests_gib": 16
},
{
"label": "128k context",
"one_request_gib": 16,
"four_requests_gib": 64
}
]Для контексту 8k cache становить 1 GiB на один запит. Для 32k він становить 4 GiB, тобто приблизно стільки само, як і самі 4-бітні ваги. За максимального для моделі контексту 128k cache становить 16 GiB для одного запиту та 64 GiB, якщо чотири запити повністю використовують цей контекст. Ваги не змінилися. Змінився лише cache.
Grouped query attention (GQA) істотно впливає на це значення. Llama 3.1 8B має 8 key/value heads, які обслуговують 32 query heads, тому чотири query heads спільно використовують одну збережену пару key/value. Модель, у якої num_key_value_heads дорівнює num_attention_heads, використовує вчетверо більше cache за тієї самої кількості параметрів. Перевірте це поле, перш ніж вважати, що дві моделі 8B мають однакову вартість обслуговування.
Чому модель, яка працювала на 2k, відмовляється завантажуватися на 32k
Runtime резервує KV cache під час завантаження моделі. Його розмір визначається налаштованою довжиною контексту, а не фактичною довжиною надісланого prompt. Значення за замовчуванням в Ollama більше не є одним фіксованим числом. Станом на October 2026 документація щодо довжини контексту визначає її за обсягом VRAM: 4k на машинах із менш ніж 24 GiB, 32k для діапазону від 24 до 48 GiB і 256k для 48 GiB або більше. Для cloud models за замовчуванням використовується максимальне значення. CPU-only VPS або невеликий GPU починає з 4k. Якщо підвищити значення до 32k, це означає запит на 4 GiB додаткової пам’яті ще до надходження першого токена. На карті з 24 GiB значення 32k уже є типовим, тому цей обсяг резервується незалежно від того, чи запитували ви його явно.
OLLAMA_CONTEXT_LENGTH=32768 ollama serveТе саме налаштування для окремої сесії в інтерактивному prompt:
ollama run llama3.1:8b
/set parameter num_ctx 32768Помилка виглядає по-різному в кожному стеку. vLLM перевіряє розрахунок під час запуску та відмовляється працювати:
ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.На CPU-only VPS під керуванням Ollama або llama.cpp пам’ять виділяється у звичайній системній RAM, і нестача може не виявитися під час запуску. Натомість процес завершує kernel's out-of-memory killer, а підтвердження залишається в kernel ring buffer:
dmesg -T | grep -i "killed process"Рядок із назвою serving process означає, що система пообіцяла виділити більше пам’яті, ніж мала. Виправленням є зменшення контексту, а не збільшення swap file: KV cache, розміщений на диску, зчитується під час генерації кожного токена, тому генерація сповільнюється до практично непридатної швидкості. Вибір розумного значення описано в нашому посібнику з num_ctx і довжини контексту в Ollama.
Вплив конкурентності на кількість
Кожен запит, що виконується, має власний KV-кеш. Саме це найчастіше не враховують у планах визначення місткості. Чотири користувачі, кожен із контекстом 32k, потребують загалом 16 GiB на додаток до ваг моделі.
Різні runtime по-різному керують цією пам’яттю. Ollama і llama.cpp резервують запитаний вами контекст під час завантаження моделі, тому пам’ять виділяється незалежно від того, чи використовується вона. vLLM розподіляє пул на блоки фіксованого розміру та виділяє їх у міру збільшення кожного запиту, тому запит на 500 токенів займає пам’ять лише для 500 токенів. У будь-якому разі пул має обмежений розмір. Коли він заповнюється, нові запити стають у чергу, а не виконуються одразу. Вплив цієї черги на час відповіді розглянуто в матеріалі про кількість одночасних користувачів, яких може обслуговувати self-hosted LLM.
Чотири способи зменшити KV-кеш
- Зменште довжину контексту. Це найдієвіший і зазвичай найдешевший спосіб. Більшість чат-запитів не наближається до 32k.
- Квантизуйте сам кеш. Значення
OLLAMA_KV_CACHE_TYPEв Ollama за замовчуванням —f16. Також підтримуютьсяq8_0, для якого потрібно приблизно вдвічі менше пам’яті, іq4_0, для якого потрібно приблизно в чотири рази менше. Еквіваленти в llama.cpp —-ctk q8_0і-ctv q8_0. - Виберіть модель із меншою кількістю голів key/value або меншою кількістю шарів. Ознайомтеся з
config.json, перш ніж завантажувати ваги обсягом 40 GB. - Обслуговуйте менше запитів одночасно, а решту ставте в чергу.
У q4_0 показник для Llama 3.1 8B зменшується зі 128 KiB на токен приблизно до 32 KiB. Тому контекст обсягом 32k потребує близько 1 GiB замість 4 GiB. Це зменшення витрат не є безкоштовним. Ключі та значення зберігаються з нижчою точністю, тому перевірте результати на власних запитах, перш ніж залишати це налаштування.
Що насправді дає кешування prompt на стороні провайдера
Кешування prompt на стороні провайдера — це інший продукт з іншою одиницею обліку. Ви позначаєте стабільний префікс, провайдер зберігає його, а наступні виклики з точно таким самим префіксом тарифікуються за зниженою ставкою, а не за повною ціною вхідних токенів.
Опубліковані Anthropic множники станом на October 2026 такі: запис у кеш на 5 хвилин коштує 1.25 базової ціни вхідного токена. Запис на 1 годину коштує 2, а читання з кешу для більшості моделей — 0.1. Новіші моделі мають ще нижчу ціну читання: 0.05 для Claude Opus 5.5 і Sonnet 5.5 та 0.025 для Claude Fable 5.1 і Mythos 5.1. Якщо помістити system prompt на 20,000 токенів у кеш за стандартними множниками, економіка стає очевидною.
Дані, на яких побудовано графік
[
{
"label": "No caching, every call",
"billed_token_equivalents": "20,000"
},
{
"label": "First call, 5 minute cache write",
"billed_token_equivalents": "25,000"
},
{
"label": "First call, 1 hour cache write",
"billed_token_equivalents": "40,000"
},
{
"label": "Every later call, cache hit",
"billed_token_equivalents": "2,000"
}
]Розглянемо це як арифметику. Премія за запис у кеш на 5 хвилин становить 5,000 еквівалентів токенів у першому виклику: 25,000 проти 20,000 за надсилання без кешу. Кожен наступний виклик у межах цього періоду тарифікується як 2,000, а не як 20,000, тобто економія становить 18,000. Отже, кеш на 5 хвилин стає вигідним, починаючи з другого виклику.
Кеш на 1 годину — це інший розрахунок. Запис тарифікується як 40,000, тобто премія становить 20,000 еквівалентів токенів. Тому він стає вигідним після двох звернень у межах години. Це залежить від характеру вашого трафіку, а не від моделі. Повний розрахунок, зокрема вибір періоду кешування, наведено в матеріалі математичний розрахунок беззбитковості для кешування prompt у Claude.
Два аспекти визначають, чи буде кеш використано взагалі. По-перше, префікс, коротший за мінімальну довжину моделі, не кешується без повідомлення про помилку: станом на October 2026 документований мінімум становить 512 токенів для Claude Opus 5, Opus 5.5 і Sonnet 5.5 та 1,024 токени для Claude Sonnet 5. Коротший запит обробляється звичайним способом, і помилка не повертається. По-друге, час життя вимірюється від початку запиту, який записує або читає запис, а кожне читання оновлює цей час без додаткової плати. Тому endpoint із частими зверненнями може підтримувати кеш на 5 хвилин необмежено довго. Endpoint, який викликають раз на десять хвилин, щоразу сплачує премію за запис і не отримує жодної економії.
Перевіряйте відповідь, а не робіть припущень. Об’єкт usage містить cache_creation_input_tokens і cache_read_input_tokens. Якщо в кожному виклику кількість читань дорівнює нулю, ви платите за записи, але не отримуєте жодної віддачі.
Де стикаються два кеші
Довгий системний промпт — це місце, де вони стикаються. Він одночасно створює витрати з обох боків.
Локально системний промпт на 20,000 токенів займає приблизно 2.4 GiB KV-кешу на сервері Llama 3.1 8B у режимі f16. Він займає цей обсяг окремо для кожного паралельного запиту, який його містить. Віддалено такий самий префікс потребує одного запису в кеш, а кожен наступний виклик коштує 0.1 від обсягу вхідних даних або менше в новіших моделях. Локальні витрати зростають разом із кількістю користувачів. Віддалені витрати залежать від обсягу трафіку та скидаються під час простою.
Існує локальна функція, яка схожа на кешування промптів провайдером, через що її часто з ним плутають: кешування префіксів. Документація vLLM описує автоматичне кешування префіксів як кешування «KV-кешу наявних запитів, щоб новий запит міг безпосередньо повторно використати KV-кеш, якщо має такий самий префікс, як один із наявних запитів». Поточні версії vLLM вмикають цю функцію за замовчуванням. Сервер llama.cpp за замовчуванням зберігає кеш промпту для кожного слота, а --cache-reuse N задає найменший фрагмент, який він намагатиметься повторно використати.
Кешування префіксів заощаджує обчислення під час prefill. Системний промпт на 20,000 токенів обробляється один раз, а не під час кожного запиту. Це суттєво скорочує час до отримання першого токена. У vLLM спільні блоки повторно використовуються, а не дублюються, тому також зменшується використання пам’яті. Однак ця функція не зменшує обсяг кешу, який потрібно утримувати для токенів, що наразі залишаються активними. Збереження ваг моделі в пам’яті між запитами — пов’язаний, але окремий механізм. Його описано в розділі як залишити модель Ollama завантаженою між запитами.
Що вимірювати на власному сервері
Завантажте модель із цільовим розміром контексту, а потім перевірте фактичні значення замість того, щоб покладатися на оцінку.
ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -gollama ps показує завантажену модель, її розмір, контекст, із яким її завантажено, і те, чи працює вона на GPU або CPU. Спочатку перевірте стовпець контексту, оскільки тепер значення за замовчуванням залежить від обсягу VRAM. Якщо модель, яку ви очікували повністю розмістити на GPU, показує розподіл між GPU і CPU, це означає, що KV cache витіснив її частину. Відповідно, швидкість генерації знизиться. nvidia-smi показує фактичний обсяг використаної VRAM, а free -g виконує ту саму функцію для VPS лише з CPU. Збільшуйте контекст поетапно, перезавантажуйте модель і стежте, як змінюється значення. Результат ваших розрахунків і показане значення мають бути близькими. Якщо це не так, різниця зазвичай пояснюється власними обчислювальними буферами runtime, а не помилкою у формулі.
Якщо ці значення схиляють вас до обладнання, яке ви не хотіли б орендувати, порівняння з оплатою за токени наведено в розділі GPU VPS порівняно з API-токенами.
FAQ
Чи є KV cache тим самим, що й кешування prompt?
Ні. KV cache — це пам’ять для окремого запиту всередині процесу обслуговування. У ній зберігаються вектори key і value для кожного токена в поточному контексті. Вона розміщується в RAM або VRAM і звільняється після завершення запиту. Кешування prompt у провайдера — це функція білінгу, яка зберігає стабільний префікс prompt в інфраструктурі провайдера та застосовує знижену тарифікацію, коли ви надсилаєте його повторно. Якщо KV cache вичерпано, модель не завантажиться. Якщо кешу prompt немає, зростуть лише ваш рахунок і час до першого токена.
Чому моя модель завантажується з контекстом 2k, але не запускається з 32k?
Тому що runtime виділяє весь KV cache під час завантаження. Розмір кешу визначається налаштованою довжиною контексту, а не prompt, який ви надсилаєте. Для Llama 3.1 8B у f16 кеш займає 128 KiB на токен, тому контекст 2k потребує 0.25 GiB, а 32k — 4 GiB. Ваги моделі в обох випадках поміщаються в пам’ять. Помилка виникає під час резервування пам’яті. vLLM повідомляє про це у ValueError, де вказує, скільки пам’яті для KV cache йому потрібно та скільки пам’яті доступно, наводить розрахункову максимальну довжину моделі й пропонує збільшити gpu_memory_utilization або зменшити max_model_len. На сервері лише з CPU, де працює Ollama або llama.cpp, процес може завершити kernel out-of-memory killer. Це можна підтвердити за допомогою dmesg -T | grep -i "killed process".
Як розрахувати розмір KV cache для моєї моделі?
Помножте 2 на кількість шарів, кількість key/value heads, розмірність head і кількість bytes на element. Це дає кількість bytes на токен. Потім помножте результат на довжину контексту та кількість одночасних запитів. Кількість шарів і head прочитайте з config.json моделі. Для f16 або bf16 використовуйте 2 bytes на element. Кеш q8_0 має приблизно половину цього розміру, а q4_0 — приблизно чверть.
Чи зменшує кешування prompt обсяг пам’яті, потрібний моєму серверу?
Кешування prompt у провайдера не впливає на ваше обладнання, оскільки сховище розташоване на стороні провайдера. Локальний аналог — prefix caching, який підтримують і vLLM, і сервер llama.cpp. Він повторно використовує вже обчислені вектори key і value для спільного префікса. Це зменшує обсяг обчислень під час prefill і скорочує час до першого токена. У vLLM спільні блоки використовуються повторно, а не дублюються, тому також зменшується використання пам’яті. Жодна з цих функцій не зменшує обсяг кешу, потрібний для токенів, які обробляються зараз. Тому мінімальний обсяг пам’яті й надалі визначається розрахунком за контекстом і кількістю одночасних запитів.
Чи варто кешувати prompt, який я надсилаю лише один раз?
Ні. Запис у кеш коштує дорожче, ніж звичайний input: для варіанта на 5 хвилин станом на October 2026 тариф становить 1.25 від базової ставки. Тому префікс, який ви більше не надсилаєте протягом цього періоду, призводить лише до додаткових витрат. Кешування вигідне, коли той самий префікс повторюється, наприклад довгий системний prompt або документ, щодо якого ви плануєте поставити кілька запитань. Перевірте cache_read_input_tokens у відповіді API, щоб підтвердити, що кеш використовується, а не оплачуються операції запису.