SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-10-21

KV cache 與 prompt cache 有什麼不同?

KV cache 會隨請求占用 RAM 或 VRAM,耗盡可能導致模型拒絕載入;prompt cache 則是供應商的計費折扣,未命中只會恢復完整價格。

KV cache 與 prompt cache:簡短答案

KV cache 與供應商的 prompt cache 共用一個詞,幾乎沒有其他相似之處。KV cache 是每個請求的工作記憶體。它會在單一請求的整個生命週期內,持續佔用伺服器的 RAM 或 VRAM,並隨著內容長度及同時執行的請求數量增加。供應商的 prompt caching 是一項計費與延遲功能。系統會將 prompt 中穩定的前綴儲存在供應商的伺服器上;下次再次傳送時,這部分會以折扣價格計費。

前者是你以硬體成本購買的記憶體。後者是由其他人代為保存,並向你收取租金的記憶體。

實務上的差異比定義更重要。KV cache 可能耗盡;耗盡時,模型會拒絕載入,或請求會遭到拒絕。prompt cache 不會耗盡。你只可能無法命中快取,接著在不知不覺中支付完整價格。

KV cache 儲存的內容與存在原因

Transformer 產生第 500 個 token 時,必須對前面的 499 個 token 全部執行 attention。對這些 token 中的每一個,所有 layer 都需要一個 key vector 和一個 value vector。若每產生一個新 token 都重新計算這些向量,生成時間會隨序列長度的平方增加,因此 runtime 會將它們保留下來。這個儲存區就是 KV cache(key/value cache)。

KV cache 是每個 request 各自的狀態,因為它是根據該 request 的確切 token 序列建立的。兩個使用者若傳送不同的 prompt,就不能共用這個 cache;除非 runtime 啟用 prefix caching,這是稍後會說明的另一項功能。

Serving 分為兩個階段。Prefill 讀取完整的 prompt 並填入 cache,效能受限於計算能力。Decode 一次產生一個 token,並將其附加至 cache,效能受限於記憶體頻寬。這種分工會使 prompt 處理與 token 生成在你 測量自己主機每秒可處理的 token 數 時呈現不同的速度。

KV cache 會使用多少記憶體?

不要去查找廠商提供的表格。大小可以透過算式計算,任何模型都適用:

bytes per token = 2 * layers * kv_heads * head_dim * bytes per element

其中的 2 代表 key 和 value。其他數字都來自模型的 config.json,可在模型的 Hugging Face 頁面中查到。

以 Llama 3.1 8B 為例。其設定列出 num_hidden_layers 為 32,num_key_value_heads 為 8。hidden_size 為 4096,分布在 32 個 attention heads 中,因此每個 head 的維度是 128。使用 f16 時,每個元素占用 2 bytes:

2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per token

將這個數值乘以你要求的 context,再乘以同時執行的請求數。

圖表Llama 3.1 8B KV cache at f16, in GiB
此圖表背後的資料
[
  {
    "label": "2k context",
    "one_request_gib": 0.25,
    "four_requests_gib": 1
  },
  {
    "label": "8k context",
    "one_request_gib": 1,
    "four_requests_gib": 4
  },
  {
    "label": "32k context",
    "one_request_gib": 4,
    "four_requests_gib": 16
  },
  {
    "label": "128k context",
    "one_request_gib": 16,
    "four_requests_gib": 64
  }
]

在 8k context 下,cache 為 1 GiB。到了 32k,則為 4 GiB,與 4-bit weights 本身的大小相近。使用模型完整的 128k context 時,單一請求會使用 16 GiB;如果 4 個請求都填滿 context,則會使用 64 GiB。Weights 從未改變,改變的只有 cache。

Grouped query attention (GQA) 對這個數值有很大影響。Llama 3.1 8B 有 8 個 key/value heads,服務 32 個 query heads,因此每 4 個 query heads 共用一組儲存的 key/value。若模型的 num_key_value_heads 等於 num_attention_heads,在參數數量相同的情況下,會使用 4 倍的 cache。在假設兩個 8B 模型的服務成本相同之前,先確認這個欄位。

為什麼能以 2k 執行的模型,在 32k 時卻拒絕載入

這是因為執行環境會在載入模型時配置 KV cache,其大小取決於你設定的 context length,而不是實際送出的 prompt 長度。Ollama 的預設值已不再是單一數字。截至 2026 年 10 月,其 context length 文件依 VRAM 設定預設值:VRAM 少於 24 GiB 的機器為 4k,24 至 48 GiB 為 32k,48 GiB 以上為 256k;cloud models 則預設使用最大值。僅使用 CPU 的 VPS 或小型 GPU 會從 4k 開始。將其提高到 32k,代表在收到第一個 token 前,就要求額外配置 4 GiB。對 24 GiB 顯示卡而言,32k 已經是預設值,因此無論你是否明確要求,都會進行這項配置。

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

在互動式提示中,針對單一 session 使用相同設定:

ollama run llama3.1:8b
/set parameter num_ctx 32768

不同 stack 顯示的失敗方式不同。vLLM 會在啟動時檢查計算結果,並拒絕執行:

ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.

在執行 Ollama 或 llama.cpp 的僅 CPU VPS 上,配置使用一般系統 RAM,記憶體不足可能不會在啟動時被偵測到。此時 kernel 的 out-of-memory killer 會終止該程序,並將證據留在 kernel ring buffer 中:

dmesg -T | grep -i "killed process"

若某行訊息列出你的 serving process,表示該主機承諾配置的記憶體超過實際可用量。解決方式是降低 context,而不是增加 swap file:每個生成的 token 都必須從磁碟讀取分頁到磁碟的 KV cache,因此生成速度會慢到無法實用。如何選擇合理的數值,請參閱我們介紹 Ollama 中 num_ctx 與 context length 的指南。

並發如何影響數量

每個處理中的請求都會占用自己的 KV cache。這是多數容量規劃遺漏的部分。4 個各自維持 32k context 的使用者,彼此合計需要 16 GiB,此外還要加上權重所占的記憶體。

不同 runtime 對此的處理方式不同。Ollama 和 llama.cpp 在模型載入時會保留你指定的 context 大小,因此無論實際是否使用,這些記憶體都會被配置。vLLM 會將記憶體池切分為固定大小的區塊,並在每個請求增長時分配區塊,因此 500-token 的請求只會占用相當於 500 個 token 的空間。無論採用哪種方式,記憶體池都有上限;容量用滿後,新請求會排入佇列,而不會立即執行。如需了解排隊如何影響回應時間,請參閱 自架 LLM 可服務多少個並發使用者。

讓 KV cache 變小的 4 種方法

  1. 降低 context length。這是影響最大、通常成本最低的方法。大多數聊天工作負載都不會接近 32k。
  2. 對 cache 本身進行量化。Ollama 的 OLLAMA_KV_CACHE_TYPE 預設使用 f16,也接受 q8_0;後者約使用一半記憶體,另有 q4_0,約使用四分之一。llama.cpp 對應的設定是 -ctk q8_0 和 -ctv q8_0。
  3. 選擇 key/value head 較少或 layer 較少的模型。下載 40 GB 的權重前,先閱讀 config.json。
  4. 同時處理較少的請求,將其餘請求排入佇列。

在 q4_0 下,Llama 3.1 8B 每個 token 所需的記憶體會從 128 KiB 降至約 32 KiB,因此 32k 的 context 約需 1 GiB,而不是 4 GiB。這項節省並非沒有代價。key 和 value 會以較低精度儲存,因此請先使用自己的提示比較輸出,再決定是否保留此設定。

Provider prompt caching 實際帶來的效益

Provider prompt caching 是不同的產品,計費單位也不同。您可以標記穩定的前綴,由 provider 儲存。之後若請求完全重複使用相同前綴,便會以較低費率計費,而不是按照完整輸入價格計費。

Anthropic 公布的倍率(截至 2026 年 10 月)如下:5 分鐘快取寫入的費用是基本輸入 token 價格的 1.25 倍。1 小時寫入是 2 倍,而大多數模型的快取讀取是 0.1 倍。最新模型的讀取費率更低:Claude Opus 5.5 與 Sonnet 5.5 為 0.05 倍,Claude Fable 5.1 與 Mythos 5.1 為 0.025 倍。將 20,000-token 的 system prompt 套用標準倍率後,這項交易的成本結構就很清楚。

圖表Cost of a 20,000 token prefix, in base input token equivalents
此圖表背後的資料
[
  {
    "label": "No caching, every call",
    "billed_token_equivalents": "20,000"
  },
  {
    "label": "First call, 5 minute cache write",
    "billed_token_equivalents": "25,000"
  },
  {
    "label": "First call, 1 hour cache write",
    "billed_token_equivalents": "40,000"
  },
  {
    "label": "Every later call, cache hit",
    "billed_token_equivalents": "2,000"
  }
]

把它視為算術問題。5 分鐘寫入的額外費用,相當於第一次呼叫多付 5,000 個 token:25,000;若不使用快取傳送,則為 20,000。之後在有效期間內的每次呼叫,計費為 2,000,而不是 20,000,每次可節省 18,000。因此,5 分鐘快取從第二次呼叫起就開始划算。

1 小時快取是另一種取捨。寫入時會計費 40,000,也就是多付 20,000 個 token 的等值費用。因此,在這 1 小時內需要命中 2 次後,才會開始划算。這取決於您的流量模式,而不是模型本身。完整計算方式,以及如何選擇快取期間,請參閱Claude prompt caching 的損益平衡計算。

有兩個細節會決定您是否能命中快取。第一,短於模型最低長度的前綴不會被快取,且系統不會明確提示:截至 2026 年 10 月,Claude Opus 5、Opus 5.5 與 Sonnet 5.5 的文件化最低長度為 512 tokens,Claude Sonnet 5 則為 1,024 tokens。較短的請求會正常處理,不會回傳錯誤。第二,快取存留時間是從寫入或讀取該項目的請求開始時起算;每次讀取都會在不增加費用的情況下重新計時。因此,流量繁忙的 endpoint 可以讓 5 分鐘快取無限期維持。每 10 分鐘才呼叫一次的 endpoint,則每次都會支付寫入的額外費用,卻始終無法取得快取讀取效益。

請檢查回應,不要直接假設快取已命中。usage 物件會回報 cache_creation_input_tokens 與 cache_read_input_tokens。如果每次呼叫的讀取計數都是 0,表示您只支付了寫入費用,卻沒有得到任何回讀效益。

兩種快取的交會處

冗長的系統提示詞是兩者的交會處,而且會同時從兩端產生成本。

在本機端,20,000-token 的系統提示詞,於 f16 的 Llama 3.1 8B 伺服器上約占用 2.4 GiB 的 KV cache;每個包含該提示詞的並行請求,都會個別產生這項占用。在遠端端,相同的前綴只需寫入一次快取,之後每次呼叫的成本為輸入成本的 0.1 倍;在較新的模型上可能更低。本機成本會隨使用者數量增加。遠端成本會隨流量增加,並在閒置期間重設。

本機有一項看起來像供應商提示詞快取、也經常與其混淆的功能:前綴快取。vLLM 文件將自動前綴快取描述為快取「現有查詢的 KV cache,讓新查詢在與現有查詢之一共用相同前綴時,直接重複使用該 KV cache」。目前的 vLLM 預設會啟用此功能。llama.cpp server 預設會為每個 slot 保留提示詞快取,而 --cache-reuse N 會設定它嘗試重複使用的最小區塊大小。

前綴快取節省的是 prefill 計算量。20,000-token 的系統提示詞只需處理一次,不必在每次請求時重新處理,因此能大幅縮短產生第一個 token 的時間。在 vLLM 中,共用區塊會重複使用,而不是建立副本,因此記憶體使用量也會改善。但它永遠不會縮小目前仍在使用中的 token 所需保留的快取。讓模型權重在請求之間常駐,是相關但獨立的調整方式,詳見讓 Ollama 模型在請求之間保持載入。

自行伺服器上應測量的項目

以目標 context 載入模型,然後讀取實際數值,不要只依賴估算值。

ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -g

ollama ps 會列出已載入模型、其大小、載入時使用的 context,以及模型目前是在 GPU 還是 CPU 上執行。先檢查 context 欄位,因為目前的預設值取決於 VRAM。若原本預期模型會完整載入 GPU,但顯示有一部分分配到 CPU,表示 KV cache 將部分模型推到 GPU 外,因此生成速度會相應下降。nvidia-smi 會提供實際 VRAM 數值;僅使用 CPU 的 VPS 則由 free -g 提供相同資訊。逐步提高 context,重新載入模型,並觀察數值變化。自行計算的結果應與顯示值接近。如果兩者不一致,差距通常來自 runtime 自身的運算緩衝區,而不是公式錯誤。

如果這些數值讓你考慮租用不太想使用的硬體,可在GPU VPS 與 API token 的比較中查看按 token 付費的比較結果。

FAQ

KV cache 是否就是 prompt caching?

不是。KV cache 是服務程序中的每個請求專用記憶體,會保存目前上下文中每個 token 的 key 和 value 向量。它位於 RAM 或 VRAM 中,請求結束後就會釋放。Provider prompt caching 是一項計費功能,會將穩定的 prompt 前綴儲存在 provider 的基礎架構上;再次傳送時,則以較低費率計費。KV cache 用盡會導致模型無法載入。沒有 prompt cache 只會增加帳單金額,以及取得第一個 token 的時間。

為什麼模型在 2k context 可以載入,卻在 32k 失敗?

因為 runtime 會在載入時配置完整的 KV cache,其大小取決於你設定的 context length,而不是你實際傳送的 prompt。以 f16 的 Llama 3.1 8B 為例,cache 每個 token 需要 128 KiB,因此 2k context 需要 0.25 GiB,32k 則需要 4 GiB。兩種情況下,權重都能容納。失敗的是記憶體保留。vLLM 會以 ValueError 回報此問題,說明所需的 KV cache 記憶體與現有記憶體,並提供估計的最大模型長度;同時建議提高 gpu_memory_utilization 或降低 max_model_len。在執行 Ollama 或 llama.cpp 的純 CPU 主機上,kernel 的 out-of-memory killer 可能會直接終止程序。你可以使用 dmesg -T | grep -i "killed process" 確認這項結果。

如何計算模型的 KV cache 大小?

將 2 乘以 layer 數量、key/value head 數量、head dimension,以及每個元素的 bytes 數量。結果就是每個 token 所需的 bytes。接著再乘以 context length,以及同時處理的請求數量。從模型的 config.json 讀取 layer 和 head 的數量。f16 或 bf16 每個元素使用 2 bytes。q8_0 cache 約為上述數值的一半,q4_0 則約為四分之一。

Prompt caching 會降低我自己的伺服器所需的記憶體嗎?

Provider prompt caching 不會影響你的硬體,因為儲存空間位於 provider 端。本機端的對應功能是 prefix caching,vLLM 和 llama.cpp server 都提供此功能。它會重複使用共用前綴已計算的 key 和 value 向量,節省 prefill 計算並縮短取得第一個 token 的時間。在 vLLM 中,共用的 blocks 會重複使用,而不是建立副本,因此也能改善記憶體使用量。不過,這兩項功能都不會縮小目前執行中 token 所需的 cache,因此 context 與並行請求數量的計算仍會決定最低需求。

只傳送一次的 prompt 值得快取嗎?

不值得。截至 October 2026,5-minute 選項的 cache write 費用是基本費率的 1.25 倍。因此,如果前綴在快取期間不會再次傳送,快取就只會造成損失。當相同前綴會重複出現時,快取才具有價值,例如較長的 system prompt,或你會針對同一份文件提出多個問題。檢查 API 回應中的 cache_read_input_tokens,確認命中快取,而不是支付寫入費用。

這篇文章對您有幫助嗎?