SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-23

Cache KV vs Cache Prompt: Perbedaan dan Risikonya

Cache KV memakai RAM atau VRAM server pada setiap permintaan dan dapat menggagalkan pemuatan model. Cache prompt provider hanya memberi diskon biaya.

Cache KV vs cache prompt: jawaban singkat

Cache KV dan cache prompt milik provider memiliki satu kata yang sama, tetapi hampir tidak memiliki kesamaan lain. Cache KV adalah memori kerja per permintaan. Cache ini berada di RAM atau VRAM server Anda selama masa aktif satu permintaan, dan ukurannya bertambah seiring panjang konteks serta jumlah permintaan yang dijalankan secara bersamaan. Caching prompt oleh provider adalah fitur penagihan dan latensi. Prefix prompt yang stabil disimpan di server provider, lalu dikenai biaya dengan tarif diskon saat Anda mengirimkannya kembali.

Yang satu adalah memori yang Anda beli sebagai perangkat keras. Yang lain adalah memori yang disimpan pihak lain dan disewakan kepada Anda.

Perbedaan praktisnya lebih penting daripada definisinya. Kapasitas cache KV dapat habis. Jika itu terjadi, model gagal dimuat atau permintaan ditolak. Cache prompt tidak dapat habis. Anda hanya dapat gagal memanfaatkannya, lalu tanpa disadari membayar harga penuh.

Isi cache KV dan alasan keberadaannya

Transformer yang menghasilkan token nomor 500 harus melakukan attention terhadap semua 499 token sebelumnya. Untuk setiap token tersebut, setiap layer memerlukan vektor key dan vektor value. Menghitung ulang semuanya untuk setiap token baru akan membuat waktu pembuatan meningkat secara kuadrat terhadap panjang urutan. Karena itu, runtime menyimpannya. Penyimpanan tersebut disebut cache KV (cache key/value).

Cache ini merupakan state per-request karena dibangun dari urutan token persis milik request tersebut. Dua pengguna yang mengirim prompt berbeda tidak dapat berbagi cache ini, kecuali runtime menggunakan prefix caching, yang merupakan fitur terpisah dan dijelaskan nanti.

Serving berlangsung dalam dua fase. Prefill membaca seluruh prompt dan mengisi cache. Proses ini dibatasi oleh compute. Decode menghasilkan satu token setiap kali dan menambahkannya ke cache. Proses ini dibatasi oleh bandwidth memori. Pembagian ini menyebabkan kecepatan pemrosesan prompt dan pembuatan token yang dilaporkan berbeda ketika Anda mengukur token per detik pada server Anda sendiri.

Berapa banyak memori yang digunakan cache KV?

Jangan mencari tabel dari vendor. Ukurannya dapat dihitung ulang secara aritmetis untuk model apa pun:

bytes per token = 2 * layers * kv_heads * head_dim * bytes per element

Angka 2 mewakili key dan value. Semua angka lainnya berasal dari config.json model, yang dipublikasikan pada halaman Hugging Face model tersebut.

Gunakan Llama 3.1 8B sebagai contoh. Konfigurasinya mencantumkan num_hidden_layers sebesar 32 dan num_key_value_heads sebesar 8. hidden_size sebesar 4096 yang dibagi ke dalam 32 attention head menghasilkan dimensi head sebesar 128. Pada f16, setiap elemen berukuran 2 byte:

2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per token

Kalikan nilai tersebut dengan context yang diminta, lalu kalikan lagi dengan jumlah request yang dijalankan secara bersamaan.

GrafikLlama 3.1 8B KV cache at f16, in GiB
Data di balik grafik ini
[
  {
    "label": "2k context",
    "one_request_gib": 0.25,
    "four_requests_gib": 1
  },
  {
    "label": "8k context",
    "one_request_gib": 1,
    "four_requests_gib": 4
  },
  {
    "label": "32k context",
    "one_request_gib": 4,
    "four_requests_gib": 16
  },
  {
    "label": "128k context",
    "one_request_gib": 16,
    "four_requests_gib": 64
  }
]

Dengan context sebesar 8k, cache berukuran 1 GiB untuk satu request. Pada 32k, ukurannya 4 GiB, yang berada dalam kisaran yang sama dengan bobot 4-bit itu sendiri. Pada context penuh model sebesar 128k, ukurannya 16 GiB untuk satu request, dan 64 GiB jika empat request masing-masing mengisinya. Bobotnya tidak berubah. Hanya cache yang berubah.

Grouped query attention (GQA) sangat memengaruhi angka tersebut. Llama 3.1 8B memiliki 8 key/value head yang melayani 32 query head, sehingga setiap empat query head berbagi satu pasangan key/value yang disimpan. Model yang num_key_value_heads-nya sama dengan num_attention_heads menggunakan cache empat kali lebih besar pada jumlah parameter yang sama. Periksa field tersebut sebelum menganggap biaya serving dua model 8B sama.

Mengapa model yang berjalan pada 2k menolak dimuat pada 32k

Runtime mencadangkan KV cache saat model dimuat. Ukurannya mengikuti panjang konteks yang Anda konfigurasikan, bukan prompt yang benar-benar Anda kirim. Default Ollama tidak lagi berupa satu angka. Per Oktober 2026, dokumentasi panjang konteks Ollama menetapkannya berdasarkan VRAM: 4k pada mesin dengan VRAM di bawah 24 GiB, 32k pada VRAM antara 24 dan 48 GiB, dan 256k pada VRAM 48 GiB atau lebih. Model cloud menggunakan nilai maksimum sebagai default. VPS yang hanya menggunakan CPU atau GPU kecil dimulai dari 4k. Jika Anda menaikkannya menjadi 32k, berarti Anda meminta 4 GiB alokasi tambahan sebelum satu token pun diterima. Pada kartu 24 GiB, 32k sudah menjadi default. Karena itu, reservasi tersebut tetap dibuat, baik Anda memintanya maupun tidak.

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Gunakan pengaturan yang sama untuk setiap sesi dari prompt interaktif:

ollama run llama3.1:8b
/set parameter num_ctx 32768

Kegagalan ini tampak berbeda pada setiap stack. vLLM memeriksa perhitungannya saat startup dan menolak berjalan:

ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.

Pada VPS yang hanya menggunakan CPU dan menjalankan Ollama atau llama.cpp, alokasi tersebut menggunakan RAM sistem biasa. Kekurangan memori mungkin tidak terdeteksi saat startup. Sebagai gantinya, kernel menghentikan proses melalui out-of-memory killer dan meninggalkan buktinya di kernel ring buffer:

dmesg -T | grep -i "killed process"

Baris yang menyebut proses serving Anda berarti server meminta lebih banyak memori daripada yang tersedia. Solusinya adalah menggunakan konteks yang lebih kecil, bukan file swap yang lebih besar. KV cache yang dipindahkan ke disk harus dibaca pada setiap token yang dihasilkan, sehingga proses generasi melambat hingga tidak dapat digunakan. Panduan kami tentang num_ctx dan panjang konteks di Ollama menjelaskan cara memilih nilai yang sesuai: panduan kami tentang num_ctx dan panjang konteks di Ollama.

Dampak konkurensi terhadap jumlah pengguna

Setiap request yang sedang diproses membawa KV cache-nya sendiri. Inilah faktor yang sering terlewat dalam perencanaan kapasitas. Empat pengguna yang masing-masing mempertahankan konteks 32k membutuhkan 16 GiB secara total, di luar bobot model.

Setiap runtime menerapkan aturan yang berbeda. Ollama dan llama.cpp mencadangkan konteks yang Anda minta saat model dimuat. Jadi, memori tersebut tetap dialokasikan meskipun tidak ada yang menggunakannya. vLLM membagi pool menjadi blok berukuran tetap dan membagikannya saat setiap request bertambah besar. Karena itu, request berisi 500 token hanya menahan ruang untuk 500 token. Bagaimanapun, ukuran pool tetap terbatas. Setelah penuh, request baru masuk antrean dan tidak langsung diproses. Dampak antrean tersebut terhadap waktu respons dibahas dalam berapa banyak pengguna konkuren yang dapat dilayani LLM yang di-host sendiri.

Empat cara mengurangi ukuran cache KV

  1. Kurangi panjang konteks. Ini adalah pengungkit terbesar dan biasanya paling murah. Sebagian besar beban kerja chat tidak pernah mendekati 32k.
  2. Kuantisasi cache itu sendiri. OLLAMA_KV_CACHE_TYPE milik Ollama secara default menggunakan f16 dan menerima q8_0, yang menggunakan sekitar setengah memori, serta q4_0, yang menggunakan sekitar seperempatnya. Padanan di llama.cpp adalah -ctk q8_0 dan -ctv q8_0.
  3. Pilih model dengan jumlah key/value head atau layer yang lebih sedikit. Baca config.json sebelum mengunduh weight berukuran 40 GB.
  4. Layani lebih sedikit request sekaligus dan antrekan sisanya.

Pada q4_0, angka untuk Llama 3.1 8B turun dari 128 KiB per token menjadi sekitar 32 KiB. Dengan demikian, konteks 32k memerlukan sekitar 1 GiB, bukan 4 GiB. Penghematan ini tidak gratis. Key dan value disimpan dengan presisi yang lebih rendah. Karena itu, bandingkan output menggunakan prompt Anda sendiri sebelum mempertahankan pengaturan tersebut.

Manfaat nyata dari prompt caching pada provider

Prompt caching pada provider adalah produk yang berbeda dengan satuan biaya yang berbeda. Anda menandai prefix yang stabil, provider menyimpannya, lalu panggilan berikutnya yang mengulang prefix tersebut secara persis ditagihkan dengan tarif lebih rendah, bukan dengan harga input penuh.

Pengali harga yang dipublikasikan Anthropic per Oktober 2026 adalah sebagai berikut: penulisan cache selama 5 menit dikenai biaya 1.25 kali harga token input dasar. Penulisan selama 1 jam dikenai biaya 2 kali, sedangkan pembacaan cache dikenai biaya 0.1 kali pada sebagian besar model. Model terbaru memiliki biaya pembacaan yang lebih rendah: 0.05 kali pada Claude Opus 5.5 dan Sonnet 5.5, serta 0.025 kali pada Claude Fable 5.1 dan Mythos 5.1. Jika system prompt berukuran 20,000 token menggunakan angka standar tersebut, pola biayanya akan terlihat jelas.

GrafikCost of a 20,000 token prefix, in base input token equivalents
Data di balik grafik ini
[
  {
    "label": "No caching, every call",
    "billed_token_equivalents": "20,000"
  },
  {
    "label": "First call, 5 minute cache write",
    "billed_token_equivalents": "25,000"
  },
  {
    "label": "First call, 1 hour cache write",
    "billed_token_equivalents": "40,000"
  },
  {
    "label": "Every later call, cache hit",
    "billed_token_equivalents": "2,000"
  }
]

Pahami sebagai perhitungan aritmetika. Premium penulisan cache 5 menit setara dengan 5,000 token pada panggilan pertama: 25,000, dibandingkan dengan 20,000 jika dikirim tanpa cache. Setiap panggilan berikutnya dalam jangka waktu tersebut ditagihkan sebesar 2,000, bukan 20,000, sehingga menghemat 18,000 token. Jadi, cache 5 menit mulai menguntungkan sejak panggilan kedua.

Cache 1 jam adalah pertimbangan yang berbeda. Penulisannya ditagihkan sebesar 40,000, dengan premium 20,000 token, sehingga diperlukan dua hit dalam periode 1 jam sebelum mulai menguntungkan. Hal ini bergantung pada pola trafik Anda, bukan pada modelnya. Perhitungan lengkap, termasuk cara memilih durasi cache, tersedia di perhitungan titik impas untuk prompt caching Claude.

Dua hal menentukan apakah cache dapat digunakan. Pertama, prefix yang lebih pendek dari panjang minimum model tidak akan disimpan dalam cache tanpa pemberitahuan: per Oktober 2026, panjang minimum yang didokumentasikan adalah 512 token untuk Claude Opus 5, Opus 5.5, dan Sonnet 5.5, serta 1,024 token untuk Claude Sonnet 5. Permintaan yang lebih pendek diproses secara normal tanpa mengembalikan error. Kedua, masa berlaku dihitung sejak awal permintaan yang menulis atau membaca entri tersebut, dan setiap pembacaan memperbaruinya tanpa biaya tambahan. Karena itu, endpoint yang sibuk dapat mempertahankan cache 5 menit tanpa batas waktu. Endpoint yang dipanggil sekali setiap 10 menit membayar premium penulisan setiap kali dan tidak pernah mendapatkan manfaat dari pembacaan cache.

Periksa response, jangan hanya berasumsi. Objek usage melaporkan cache_creation_input_tokens dan cache_read_input_tokens. Jika jumlah pembacaan selalu nol pada setiap panggilan, berarti Anda membayar penulisan cache tetapi tidak mendapatkan manfaat apa pun.

Saat kedua cache bersinggungan

System prompt yang panjang adalah titik pertemuannya, dan biayanya dibebankan pada kedua sisi sekaligus.

Di lokal, system prompt sepanjang 20,000 token menggunakan sekitar 2.4 GiB KV cache pada server Llama 3.1 8B dengan f16, dan penggunaan ini terjadi secara terpisah untuk setiap request bersamaan yang menyertakannya. Di sisi remote, prefix yang sama memerlukan satu penulisan cache, lalu 0.1 kali biaya input pada setiap pemanggilan berikutnya, atau lebih rendah pada model terbaru. Biaya lokal bertambah seiring jumlah pengguna. Biaya remote bertambah seiring trafik dan direset selama periode tidak aktif.

Ada fitur lokal yang tampak seperti prompt caching dari provider dan sering tertukar dengannya: prefix caching. Dokumentasi vLLM menjelaskan automatic prefix caching sebagai caching "KV cache dari query yang sudah ada, sehingga query baru dapat langsung menggunakan kembali KV cache jika memiliki prefix yang sama dengan salah satu query yang sudah ada". vLLM saat ini mengaktifkannya secara default. Server llama.cpp secara default menyimpan prompt cache untuk setiap slot, dan --cache-reuse N menetapkan ukuran chunk terkecil yang akan coba digunakan kembali.

Prefix caching menghemat komputasi prefill. System prompt sepanjang 20,000 token diproses satu kali, bukan pada setiap request, sehingga time to first token berkurang secara signifikan. Di vLLM, block yang dibagikan digunakan kembali, bukan diduplikasi, sehingga penggunaan memori juga membaik. Namun, fitur ini tidak pernah mengurangi cache yang harus Anda simpan untuk token yang sedang aktif. Mempertahankan weights di memori antara request adalah pengaturan terkait, tetapi terpisah, yang dibahas dalam mempertahankan model Ollama tetap dimuat antara request.

Hal yang perlu diukur pada server Anda sendiri

Muat model dengan context target Anda, lalu baca angka aktual. Jangan hanya mengandalkan estimasi.

ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -g

ollama ps menampilkan model yang dimuat, ukurannya, context yang digunakan saat pemuatan, serta apakah model berjalan pada GPU atau CPU. Periksa kolom context terlebih dahulu karena nilai default sekarang bergantung pada VRAM Anda. Jika model yang diperkirakan dapat dimuat sepenuhnya pada GPU ternyata menggunakan sebagian CPU, berarti KV cache mendorong sebagian model keluar dari GPU. Kecepatan generasi akan menurun. nvidia-smi memberikan angka VRAM aktual. free -g memberikan informasi yang sama untuk VPS yang hanya menggunakan CPU. Naikkan context secara bertahap, muat ulang model, lalu pantau perubahan angkanya. Hasil perhitungan Anda dan angka yang dilaporkan seharusnya hampir sama. Jika tidak, selisih tersebut biasanya berasal dari buffer komputasi milik runtime, bukan dari kesalahan dalam rumus.

Jika angka tersebut membuat Anda mempertimbangkan hardware yang tidak ingin Anda sewa, perbandingan dengan biaya pembayaran per token dijelaskan dalam Perbandingan GPU VPS dengan token API.

FAQ

Apakah KV cache sama dengan prompt caching?

Tidak. KV cache adalah memori per permintaan di dalam proses serving yang menyimpan vektor key dan value untuk setiap token dalam konteks saat ini. Memori ini berada di RAM atau VRAM Anda dan dilepaskan saat permintaan berakhir. Prompt caching dari provider adalah fitur penagihan yang menyimpan prefix prompt yang stabil di infrastruktur provider dan mengenakan tarif lebih rendah saat Anda mengirimkannya lagi. Kehabisan KV cache membuat model gagal dimuat. Tidak adanya prompt cache hanya meningkatkan tagihan dan waktu hingga token pertama.

Mengapa model saya dapat dimuat pada konteks 2k, tetapi gagal pada 32k?

Karena runtime mengalokasikan seluruh KV cache saat pemuatan. Ukurannya didasarkan pada panjang konteks yang Anda konfigurasi, bukan prompt yang Anda kirim. Untuk Llama 3.1 8B pada f16, cache berukuran 128 KiB per token. Dengan demikian, konteks 2k memerlukan 0.25 GiB dan 32k memerlukan 4 GiB. Bobot model muat dalam kedua kasus tersebut. Reservasi memorilah yang gagal. vLLM melaporkannya sebagai ValueError yang menyatakan jumlah memori KV cache yang diperlukan dibandingkan dengan jumlah yang tersedia, beserta perkiraan panjang maksimum model. vLLM juga menyarankan agar Anda menaikkan gpu_memory_utilization atau menurunkan max_model_len. Pada mesin yang hanya menggunakan CPU dan menjalankan Ollama atau server llama.cpp, kernel out-of-memory killer dapat menghentikan proses tersebut. Anda dapat memastikannya dengan dmesg -T | grep -i "killed process".

Bagaimana cara menghitung ukuran KV cache untuk model saya?

Kalikan 2 dengan jumlah layer, jumlah head key/value, dimensi head, dan jumlah byte per elemen. Hasilnya adalah jumlah byte per token. Kemudian kalikan hasil tersebut dengan panjang konteks dan jumlah permintaan bersamaan. Baca jumlah layer dan head dari config.json model. Gunakan 2 byte per elemen untuk f16 atau bf16. Cache q8_0 berukuran sekitar setengahnya, sedangkan q4_0 berukuran sekitar seperempatnya.

Apakah prompt caching mengurangi kebutuhan memori pada server saya sendiri?

Prompt caching dari provider tidak memengaruhi hardware Anda karena penyimpanannya berada di sisi provider. Padanan lokalnya adalah prefix caching yang disediakan oleh vLLM dan server llama.cpp. Fitur ini menggunakan kembali vektor key dan value yang telah dihitung untuk prefix bersama. Dengan demikian, kebutuhan komputasi prefill berkurang dan waktu hingga token pertama menjadi lebih singkat. Pada vLLM, blok bersama digunakan kembali, bukan diduplikasi, sehingga penggunaan memori juga lebih efisien. Tidak satu pun dari kedua fitur ini mengurangi cache yang diperlukan untuk token yang sedang diproses. Karena itu, perhitungan konteks dan konkurensi Anda tetap menentukan batas minimum penggunaan memori.

Apakah caching layak untuk prompt yang hanya saya kirim satu kali?

Tidak. Penulisan cache biayanya lebih tinggi daripada input biasa, yaitu 1.25 kali tarif dasar untuk opsi 5 menit per Oktober 2026. Karena itu, prefix yang tidak pernah Anda kirim ulang selama periode tersebut hanya menambah biaya. Caching bermanfaat ketika prefix yang sama dikirim berulang kali, misalnya system prompt yang panjang atau dokumen yang akan Anda gunakan untuk mengajukan beberapa pertanyaan. Periksa cache_read_input_tokens dalam respons API untuk memastikan Anda mendapatkan cache hit, bukan membayar penulisan cache.

Apakah artikel ini bermanfaat?