SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor · Cập nhật ngày 2026-10-21

KV cache và prompt cache khác nhau thế nào?

KV cache ngốn RAM hoặc VRAM theo context và số request, có thể làm model không tải được. Prompt cache chỉ giảm chi phí khi prefix ổn định được cache hit.

KV cache và prompt cache: câu trả lời ngắn

KV cache và prompt cache của nhà cung cấp chỉ dùng chung một từ, còn lại gần như không liên quan. KV cache là bộ nhớ làm việc của từng request. Nó nằm trong RAM hoặc VRAM của server trong toàn bộ vòng đời của một request, đồng thời tăng theo độ dài context và số request chạy đồng thời. Prompt caching của nhà cung cấp là một tính năng về chi phí và latency. Một prefix ổn định trong prompt được lưu trên server của nhà cung cấp, sau đó được tính phí với mức giảm giá khi bạn gửi lại.

Một loại là bộ nhớ bạn mua dưới dạng phần cứng. Loại kia là bộ nhớ do bên khác lưu giữ và tính phí thuê.

Khác biệt thực tế quan trọng hơn định nghĩa. Bạn có thể hết KV cache. Khi đó model không tải được hoặc request bị từ chối. Bạn không thể hết prompt cache. Bạn chỉ có thể không cache hit, rồi âm thầm trả toàn bộ chi phí.

KV cache lưu gì và vì sao cần có

Transformer khi tạo token số 500 phải attention đến toàn bộ 499 token trước đó. Với mỗi token, mọi layer đều cần một key vector và một value vector. Nếu tính lại toàn bộ các vector này cho mỗi token mới, thời gian tạo sẽ tăng theo bình phương độ dài chuỗi, nên runtime giữ lại chúng. Vùng lưu trữ đó là KV cache (key/value cache).

KV cache là state theo từng request vì nó được xây dựng từ chính xác chuỗi token của request đó. Hai người dùng gửi prompt khác nhau không thể dùng chung cache này, trừ khi runtime có tính năng prefix caching. Tính năng này được mô tả ở phần sau.

Serving diễn ra qua 2 phase. Prefill đọc toàn bộ prompt và nạp cache; phase này bị giới hạn bởi năng lực compute. Decode tạo từng token một và nối thêm vào cache; phase này bị giới hạn bởi memory bandwidth. Đó là lý do tốc độ xử lý prompt và tốc độ tạo token được báo cáo khác nhau khi bạn đo số token mỗi giây trên chính máy của mình.

Cache KV dùng bao nhiêu memory?

Không cần tìm bảng từ vendor. Kích thước này có thể tự tính cho bất kỳ model nào:

bytes per token = 2 * layers * kv_heads * head_dim * bytes per element

Số 2 là cho key và value. Mọi con số còn lại lấy từ config.json của model, được công bố trên trang Hugging Face của model.

Lấy Llama 3.1 8B làm ví dụ. Config của model ghi num_hidden_layers là 32 và num_key_value_heads là 8. hidden_size bằng 4096, được chia cho 32 attention head, nên kích thước mỗi head là 128. Với f16, mỗi phần tử chiếm 2 byte:

2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per token

Nhân kết quả này với context bạn yêu cầu, rồi nhân tiếp với số request chạy đồng thời.

Biểu đồLlama 3.1 8B KV cache at f16, in GiB
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "2k context",
    "one_request_gib": 0.25,
    "four_requests_gib": 1
  },
  {
    "label": "8k context",
    "one_request_gib": 1,
    "four_requests_gib": 4
  },
  {
    "label": "32k context",
    "one_request_gib": 4,
    "four_requests_gib": 16
  },
  {
    "label": "128k context",
    "one_request_gib": 16,
    "four_requests_gib": 64
  }
]

Với context 8k, cache là 1 GiB cho một request. Với 32k, cache là 4 GiB, gần bằng lượng memory của chính các weight 4-bit. Ở context tối đa 128k của model, cache là 16 GiB cho một request và 64 GiB nếu 4 request đều dùng đầy context. Các weight không thay đổi. Chỉ có cache thay đổi.

Grouped query attention (GQA) đóng vai trò lớn trong con số này. Llama 3.1 8B có 8 key/value head phục vụ 32 query head, nên 4 query head dùng chung một cặp key/value được lưu. Model có num_key_value_heads bằng num_attention_heads sẽ dùng lượng cache gấp 4 lần với cùng số parameter. Hãy kiểm tra field đó trước khi cho rằng chi phí phục vụ hai model 8B là như nhau.

Vì sao model chạy ở 2k nhưng không chịu load ở 32k

Runtime reserve KV cache khi load model. Dung lượng này dựa trên context length bạn cấu hình, không dựa trên prompt thực tế bạn gửi. Mặc định của Ollama không còn là một con số cố định. Theo tài liệu về context length của Ollama tính đến tháng 10 năm 2026, giá trị này được đặt theo VRAM: 4k trên máy có dưới 24 GiB, 32k trên máy có từ 24 đến dưới 48 GiB, và 256k trên máy có từ 48 GiB trở lên. Các model cloud mặc định dùng giá trị tối đa của chúng. CPU-only VPS hoặc GPU nhỏ sẽ bắt đầu ở 4k. Tăng lên 32k nghĩa là bạn yêu cầu cấp phát thêm 4 GiB trước khi có một token nào được sinh ra. Trên card 24 GiB, 32k đã là giá trị mặc định, nên khoản cấp phát này vẫn được thực hiện dù bạn có yêu cầu hay không.

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Đặt cùng giá trị này cho từng session từ interactive prompt:

ollama run llama3.1:8b
/set parameter num_ctx 32768

Lỗi hiển thị khác nhau trên từng stack. vLLM kiểm tra phép tính khi khởi động và từ chối chạy:

ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.

Trên CPU-only VPS chạy Ollama hoặc llama.cpp, phần cấp phát dùng system RAM thông thường và tình trạng thiếu bộ nhớ có thể không bị phát hiện khi khởi động. Kernel's out-of-memory killer sẽ kill process, đồng thời để lại bằng chứng trong kernel ring buffer:

dmesg -T | grep -i "killed process"

Một dòng chứa tên serving process cho biết máy đã cam kết dùng nhiều memory hơn dung lượng thực có. Cách xử lý là giảm context, không phải tăng swap file: KV cache được phân trang xuống disk sẽ bị đọc lại trên từng token được sinh ra, khiến tốc độ sinh giảm đến mức không còn dùng được. Cách chọn giá trị hợp lý được trình bày trong hướng dẫn của chúng tôi về num_ctx và context length trong Ollama.

Concurrency ảnh hưởng đến số lượng này như thế nào

Mỗi request đang xử lý đều có KV cache riêng. Đây là yếu tố mà phần lớn kế hoạch capacity bỏ sót. 4 người dùng, mỗi người giữ context 32k, cần tổng cộng 16 GiB, chưa tính weights.

Các runtime xử lý việc này khác nhau. Ollama và llama.cpp reserve context bạn yêu cầu khi model load, nên bộ nhớ được commit dù không có ai sử dụng. vLLM chia pool thành các block có kích thước cố định và cấp phát chúng khi từng request tăng lên, nên request 500 token chỉ giữ lượng bộ nhớ tương ứng với 500 token. Dù theo cách nào, pool vẫn hữu hạn. Khi pool đầy, request mới sẽ xếp hàng thay vì được xử lý. Tác động của việc xếp hàng đó đến response time được trình bày trong bao nhiêu người dùng đồng thời mà một LLM tự host có thể phục vụ.

Bốn cách làm KV cache nhỏ hơn

  1. Giảm context length. Đây là yếu tố có tác động lớn nhất và thường ít tốn chi phí nhất. Hầu hết workload chat không bao giờ gần đến 32k.
  2. Quantise chính cache. Ollama có OLLAMA_KV_CACHE_TYPE mặc định là f16 và chấp nhận q8_0, dùng khoảng một nửa bộ nhớ, cùng q4_0, dùng khoảng một phần tư. Các giá trị tương đương trong llama.cpp là -ctk q8_0 và -ctv q8_0.
  3. Chọn model có ít key/value head hơn hoặc ít layer hơn. Đọc config.json trước khi download 40 GB weights.
  4. Phục vụ ít request hơn cùng lúc và đưa phần còn lại vào queue.

Tại q4_0, con số của Llama 3.1 8B giảm từ 128 KiB cho mỗi token xuống còn khoảng 32 KiB. Vì vậy, context 32k tiêu tốn khoảng 1 GiB thay vì 4 GiB. Phần bộ nhớ tiết kiệm được không phải miễn phí. Keys và values được lưu với độ chính xác thấp hơn, nên hãy so sánh output trên các prompt của chính bạn trước khi dùng thiết lập này lâu dài.

Provider prompt caching thực sự mang lại gì

Provider prompt caching là một sản phẩm khác, với đơn vị tính khác. Bạn đánh dấu một prefix ổn định, provider lưu prefix đó, rồi các lần gọi sau lặp lại chính xác prefix này sẽ được tính phí ở mức thấp hơn thay vì tính toàn bộ giá input.

Các hệ số Anthropic công bố tính đến tháng 10 năm 2026: ghi cache trong 5 phút có chi phí bằng 1.25 lần giá token input cơ bản. Ghi cache trong 1 giờ có chi phí bằng 2 lần, còn đọc cache có chi phí bằng 0.1 lần trên hầu hết model. Các model mới nhất có giá đọc còn thấp hơn: 0.05 lần trên Claude Opus 5.5 và Sonnet 5.5, và 0.025 lần trên Claude Fable 5.1 và Mythos 5.1. Đặt một system prompt dài 20,000 token vào các hệ số tiêu chuẩn này thì lợi ích trở nên rõ ràng.

Biểu đồCost of a 20,000 token prefix, in base input token equivalents
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "No caching, every call",
    "billed_token_equivalents": "20,000"
  },
  {
    "label": "First call, 5 minute cache write",
    "billed_token_equivalents": "25,000"
  },
  {
    "label": "First call, 1 hour cache write",
    "billed_token_equivalents": "40,000"
  },
  {
    "label": "Every later call, cache hit",
    "billed_token_equivalents": "2,000"
  }
]

Hãy đọc phép tính này theo số học. Phần cộng thêm khi ghi cache 5 phút tương đương 5,000 token trong lần gọi đầu tiên: 25,000 so với 20,000 nếu gửi prompt mà không cache. Mỗi lần gọi sau trong khoảng thời gian này được tính 2,000 thay vì 20,000, tiết kiệm 18,000. Vì vậy, cache 5 phút có lợi ngay từ lần gọi thứ hai.

Cache 1 giờ là một lựa chọn khác. Lần ghi cache bị tính 40,000, tức cộng thêm 20,000 token tương đương, nên cần hai lần cache hit trong 1 giờ mới có lợi. Đây là vấn đề về mẫu lưu lượng của bạn, không phải về model. Phép tính đầy đủ, bao gồm cách chọn khoảng thời gian, có trong phép tính hòa vốn cho Claude prompt caching.

Hai chi tiết quyết định việc bạn có cache hit hay không. Thứ nhất, prefix ngắn hơn độ dài tối thiểu của model sẽ không được cache mà không có thông báo: tính đến tháng 10 năm 2026, độ dài tối thiểu được tài liệu hóa là 512 token cho Claude Opus 5, Opus 5.5 và Sonnet 5.5, và 1,024 token cho Claude Sonnet 5; request ngắn hơn sẽ được xử lý bình thường và không trả về lỗi. Thứ hai, thời gian tồn tại được tính từ lúc bắt đầu request ghi hoặc đọc entry, và mỗi lần đọc sẽ gia hạn thời gian này mà không phát sinh thêm chi phí. Vì vậy, một endpoint có lưu lượng cao có thể giữ cache 5 phút tồn tại vô thời hạn. Một endpoint chỉ được gọi 10 phút một lần sẽ chịu phần cộng thêm khi ghi cache trong mọi lần gọi và không bao giờ thu được lợi ích.

Hãy kiểm tra response thay vì giả định. Object usage báo cáo cache_creation_input_tokens và cache_read_input_tokens. Nếu số lần đọc luôn bằng 0 trong mọi lần gọi, bạn đang trả phí để ghi cache nhưng không nhận được lợi ích nào.

Nơi hai loại cache giao nhau

Một system prompt dài là nơi hai loại cache này giao nhau, và nó khiến bạn trả chi phí ở cả hai phía cùng lúc.

Ở local, system prompt 20,000 token chiếm khoảng 2.4 GiB KV cache trên server Llama 3.1 8B chạy f16. Phần cache này được cấp riêng cho từng request đồng thời có chứa prompt đó. Ở remote, cùng prefix đó tốn một lần ghi cache, sau đó mỗi lần gọi tiếp theo chỉ tính 0.1 lần input, hoặc thấp hơn trên các model mới nhất. Chi phí local tăng theo số người dùng. Chi phí remote tăng theo lưu lượng của bạn và được reset trong thời gian hệ thống không hoạt động.

Có một tính năng local trông giống prompt caching của provider và thường bị nhầm với nó: prefix caching. Tài liệu vLLM mô tả automatic prefix caching là việc cache “KV cache của các query hiện có, để query mới có thể dùng lại trực tiếp KV cache nếu nó có cùng prefix với một trong các query hiện có”. vLLM hiện bật tính năng này theo mặc định. Server llama.cpp mặc định giữ một prompt cache cho mỗi slot, còn --cache-reuse N đặt kích thước chunk nhỏ nhất mà server sẽ thử dùng lại.

Prefix caching giúp giảm chi phí tính toán prefill. System prompt 20,000 token của bạn chỉ được xử lý một lần thay vì trong mọi request, nhờ đó giảm đáng kể thời gian đến token đầu tiên. Trong vLLM, các block dùng chung được dùng lại thay vì nhân bản, nên mức sử dụng bộ nhớ cũng giảm. Tuy nhiên, tính năng này không bao giờ làm giảm lượng cache bạn phải giữ cho các token vẫn đang hoạt động. Việc giữ weights trong bộ nhớ giữa các request là một cơ chế liên quan nhưng tách biệt, được trình bày trong giữ model Ollama đã load giữa các request.

Cần đo gì trên máy của bạn

Nạp model với context mục tiêu, rồi đọc số liệu thực tế thay vì tin vào con số ước tính.

ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -g

ollama ps liệt kê model đã nạp cùng với dung lượng, context được dùng để nạp và việc model đang chạy trên GPU hay CPU. Kiểm tra cột context trước, vì giá trị mặc định hiện phụ thuộc vào VRAM. Nếu một model mà bạn kỳ vọng chạy hoàn toàn trên GPU lại báo có phần chạy trên CPU, điều đó có nghĩa KV cache đã đẩy một phần model ra ngoài GPU, và tốc độ sinh sẽ giảm tương ứng. nvidia-smi cung cấp dung lượng VRAM thực tế, còn free -g cung cấp thông tin tương tự trên VPS chỉ dùng CPU. Tăng context theo từng bước, nạp lại model và theo dõi số liệu thay đổi. Kết quả tính toán và số liệu được báo cáo phải gần bằng nhau. Nếu không, phần chênh lệch thường là các buffer tính toán riêng của runtime, không phải lỗi trong công thức.

Nếu các số liệu đó khiến bạn phải cân nhắc loại phần cứng mà bạn không muốn thuê, phần so sánh với chi phí trả theo token được trình bày trong So sánh GPU VPS với token API.

FAQ

KV cache có phải là prompt caching không?

Không. KV cache là bộ nhớ theo từng request bên trong tiến trình serving. Nó lưu các vector key và value cho mọi token trong context hiện tại. KV cache nằm trong RAM hoặc VRAM của bạn và được giải phóng khi request kết thúc. Prompt caching của provider là một tính năng tính phí. Tính năng này lưu một prefix ổn định của prompt trên hạ tầng của provider và áp dụng mức phí thấp hơn khi bạn gửi lại prefix đó. Hết KV cache sẽ khiến model không thể load. Không có prompt cache chỉ làm tăng hóa đơn và thời gian phát sinh token đầu tiên.

Tại sao model load được với context 2k nhưng lại fail ở 32k?

Vì runtime cấp phát toàn bộ KV cache khi load. Kích thước cache dựa trên độ dài context bạn cấu hình, không phải prompt bạn gửi. Với Llama 3.1 8B ở f16, cache cần 128 KiB cho mỗi token. Vì vậy, context 2k cần 0.25 GiB và 32k cần 4 GiB. Weights vừa trong cả hai trường hợp. Phần bị fail là việc reserve bộ nhớ. vLLM báo lỗi này bằng ValueError. Thông báo cho biết lượng KV cache cần dùng so với lượng hiện có, kèm độ dài model tối đa ước tính. Nó cũng đề xuất tăng gpu_memory_utilization hoặc giảm max_model_len. Trên máy chỉ có CPU chạy Ollama hoặc llama.cpp, kernel out-of-memory killer có thể kết thúc tiến trình thay vào đó. Bạn có thể xác nhận việc này bằng dmesg -T | grep -i "killed process".

Làm cách nào để tính kích thước KV cache cho model của tôi?

Nhân 2 với số layer, số head key/value, kích thước head và số byte trên mỗi element. Kết quả là số byte cho mỗi token. Sau đó nhân kết quả với độ dài context và số request chạy đồng thời. Đọc số layer và số head từ config.json của model. Dùng 2 byte cho mỗi element khi dùng f16 hoặc bf16. Cache q8_0 cần khoảng một nửa dung lượng đó, còn q4_0 cần khoảng một phần tư.

Prompt caching có giảm lượng bộ nhớ mà server của tôi cần không?

Prompt caching của provider không ảnh hưởng đến phần cứng của bạn, vì dữ liệu được lưu ở phía provider. Cơ chế tương đương trên máy local là prefix caching, được cả vLLM và server llama.cpp hỗ trợ. Nó tái sử dụng các vector key và value đã tính cho một prefix dùng chung. Nhờ đó, nó giảm chi phí tính toán prefill và rút ngắn thời gian phát sinh token đầu tiên. Trong vLLM, các block dùng chung được tái sử dụng thay vì nhân bản, nên mức sử dụng bộ nhớ cũng giảm. Cả hai tính năng này đều không giảm lượng cache cần cho các token đang được xử lý. Vì vậy, context và số request đồng thời vẫn xác định mức bộ nhớ tối thiểu.

Có đáng cache một prompt mà tôi chỉ gửi một lần không?

Không. Ghi cache tốn nhiều hơn input thông thường. Với tùy chọn 5 phút, mức phí là 1.25 lần mức cơ bản tính đến October 2026. Vì vậy, prefix không được gửi lại trong thời gian này sẽ chỉ làm tăng chi phí. Caching có lợi khi cùng một prefix được lặp lại, chẳng hạn system prompt dài hoặc một tài liệu mà bạn sẽ đặt nhiều câu hỏi. Kiểm tra cache_read_input_tokens trong API response để xác nhận request đang được cache hit thay vì bị tính phí ghi cache.

Bài viết này có hữu ích không?