KV-Cache vs. Prompt-Cache: Unterschiede erklärt
Der KV-Cache belegt pro Anfrage RAM oder VRAM und kann das Laden verweigern. Prompt-Caching senkt nur Providerkosten, kann aber den vollen Preis abrechnen.
KV-Cache vs. Prompt-Cache: die kurze Antwort
Der KV-Cache und der Prompt-Cache eines Providers haben ein gemeinsames Wort, aber fast nichts anderes. Der KV-Cache ist ein Arbeitsspeicher pro Anfrage. Er befindet sich während der gesamten Lebensdauer einer Anfrage im RAM oder VRAM Ihres Servers. Er wächst mit der Kontextlänge und mit der Anzahl der Anfragen, die Sie gleichzeitig ausführen. Prompt-Caching durch den Provider ist eine Funktion für Abrechnung und Latenz. Ein stabiler Präfix Ihres Prompts wird auf den Servern des Providers gespeichert. Wenn Sie ihn erneut senden, wird er zu einem reduzierten Preis abgerechnet.
Das eine ist Speicher, den Sie als Hardware kaufen. Das andere ist Speicher, den ein anderer verwaltet und für den er Miete berechnet.
Der praktische Unterschied ist wichtiger als die Definition. Der KV-Cache kann voll laufen. Dann verweigert das Modell das Laden, oder die Anfrage wird abgelehnt. Der Prompt-Cache kann nicht voll laufen. Sie können ihn nur verfehlen. Dann zahlen Sie unbemerkt den vollen Preis.
Was der KV-Cache enthält und warum es ihn gibt
Ein Transformer, der Token Nummer 500 generiert, muss auf alle 499 vorherigen Token achten. Für jedes dieser Token benötigt jede Schicht einen Key-Vektor und einen Value-Vektor. Würden diese für jedes neue Token vollständig neu berechnet, würde die Generierung quadratisch mit der Sequenzlänge wachsen. Deshalb hält die Laufzeitumgebung sie stattdessen vor. Dieser Speicher ist der KV-Cache (Key/Value-Cache).
Der Zustand gilt pro Anfrage, weil er aus der exakten Token-Sequenz dieser Anfrage aufgebaut wird. Zwei Benutzer mit unterschiedlichen Prompts können ihn nicht gemeinsam nutzen, außer die Laufzeitumgebung verwendet Prefix-Caching. Das ist eine separate Funktion, die später beschrieben wird.
Das Serving erfolgt in zwei Phasen. Beim Prefill wird der gesamte Prompt gelesen und der Cache gefüllt. Dieser Vorgang ist durch die Rechenleistung begrenzt. Beim Decode wird jeweils ein Token erzeugt und an den Cache angehängt. Dieser Vorgang ist durch die Speicherbandbreite begrenzt. Deshalb weisen die Verarbeitung des Prompts und die Token-Generierung unterschiedliche Geschwindigkeiten aus, wenn Sie Tokens pro Sekunde auf Ihrem eigenen System messen.
Wie viel Arbeitsspeicher benötigt der KV-Cache?
Suchen Sie nicht nach einer Herstellertabelle. Die Größe lässt sich für jedes Modell mit einer einfachen Rechnung bestimmen:
bytes per token = 2 * layers * kv_heads * head_dim * bytes per elementDie 2 steht für Key und Value. Alle anderen Zahlen stammen aus der config.json des Modells, die auf der Hugging-Face-Seite des Modells veröffentlicht ist.
Nehmen wir Llama 3.1 8B. Die Konfiguration enthält num_hidden_layers 32 und num_key_value_heads 8. Die hidden_size von 4096 verteilt auf 32 Attention-Heads ergibt eine Head-Dimension von 128. Bei f16 belegt jedes Element 2 Byte:
2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per tokenMultiplizieren Sie diesen Wert mit dem angeforderten Kontext und anschließend mit der Anzahl der Anfragen, die Sie gleichzeitig ausführen.
Die Daten hinter diesem Diagramm
[
{
"label": "2k context",
"one_request_gib": 0.25,
"four_requests_gib": 1
},
{
"label": "8k context",
"one_request_gib": 1,
"four_requests_gib": 4
},
{
"label": "32k context",
"one_request_gib": 4,
"four_requests_gib": 16
},
{
"label": "128k context",
"one_request_gib": 16,
"four_requests_gib": 64
}
]Bei einem Kontext von 8k beträgt der Cache für 1 GiB. Bei 32k sind es 4 GiB. Das liegt in derselben Größenordnung wie die 4-Bit-Gewichte selbst. Beim vollständigen Kontext von 128k benötigt eine einzelne Anfrage 16 GiB. Wenn vier Anfragen jeweils den gesamten Kontext ausschöpfen, sind es 64 GiB. Die Gewichte haben sich nicht verändert. Nur der Cache ist gewachsen.
Grouped Query Attention (GQA) hat großen Anteil an diesem Wert. Llama 3.1 8B verfügt über 8 Key/Value-Heads für 32 Query-Heads. Dadurch teilen sich jeweils vier Query-Heads ein gespeichertes Key/Value-Paar. Ein Modell, bei dem num_key_value_heads num_attention_heads entspricht, benötigt bei gleicher Parameteranzahl den vierfachen Cache. Prüfen Sie dieses Feld, bevor Sie davon ausgehen, dass sich zwei 8B-Modelle mit demselben Aufwand bereitstellen lassen.
Warum ein Modell, das mit 2k lief, bei 32k nicht geladen wird
Die Laufzeitumgebung reserviert den KV-Cache beim Laden des Modells. Seine Größe richtet sich nach der konfigurierten Kontextlänge, nicht nach dem Prompt, den Sie tatsächlich senden. Ollamas Standardwert ist keine einzelne feste Zahl mehr. Seit October 2026 legt die Dokumentation zur Kontextlänge den Wert anhand des VRAM fest: 4k auf Systemen mit weniger als 24 GiB, 32k zwischen 24 und 48 GiB und 256k ab 48 GiB. Cloud-Modelle verwenden standardmäßig den maximalen Wert. Eine CPU-only-VPS oder eine kleine GPU startet mit 4k. Wenn Sie diesen Wert auf 32k erhöhen, fordern Sie 4 GiB zusätzlichen Speicher an, bevor ein einziges Token eintrifft. Auf einer Karte mit 24 GiB ist 32k bereits der Standardwert. Diese Reservierung wird daher unabhängig von Ihrer Konfiguration vorgenommen.
OLLAMA_CONTEXT_LENGTH=32768 ollama serveSo verwenden Sie dieselbe Einstellung pro Sitzung über die interaktive Eingabeaufforderung:
ollama run llama3.1:8b
/set parameter num_ctx 32768Der Fehler sieht je nach Stack unterschiedlich aus. vLLM prüft die Berechnung beim Start und verweigert den Betrieb:
ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.Auf einer CPU-only-VPS mit Ollama oder llama.cpp liegt die Reservierung im normalen Arbeitsspeicher. Der Speichermangel wird möglicherweise beim Start nicht erkannt. Stattdessen beendet der Out-of-Memory-Killer des Kernels den Prozess. Den Nachweis finden Sie im Kernel-Ringpuffer:
dmesg -T | grep -i "killed process"Eine Zeile, die Ihren Serving-Prozess nennt, bedeutet, dass der Server mehr Speicher zugesagt hat, als tatsächlich verfügbar war. Die Lösung ist eine kleinere Kontextlänge, keine größere Swap-Datei. Ein auf die Festplatte ausgelagerter KV-Cache wird bei jedem einzelnen generierten Token gelesen. Dadurch wird die Generierung so langsam, dass sie unbrauchbar wird. Eine sinnvolle Auswahl des Werts wird in unserem Leitfaden zu num_ctx und der Kontextlänge in Ollama beschrieben.
Auswirkungen der Parallelität auf die Anzahl
Jede laufende Anfrage benötigt einen eigenen KV-Cache. Das wird bei den meisten Kapazitätsplanungen übersehen. Vier Benutzer mit jeweils 32k Kontext benötigen zusammen 16 GiB, zusätzlich zu den Gewichten.
Die Runtimes gehen damit unterschiedlich strikt um. Ollama und llama.cpp reservieren beim Laden des Modells den angeforderten Kontext. Der Speicher ist daher belegt, unabhängig davon, ob ihn jemand nutzt. vLLM teilt den Pool in Blöcke fester Größe auf und weist diese zu, wenn die jeweilige Anfrage wächst. Eine Anfrage mit 500 Tokens belegt daher nur Speicher für 500 Tokens. Der Pool ist in beiden Fällen begrenzt. Sobald er vollständig belegt ist, werden neue Anfragen in eine Warteschlange eingereiht, statt ausgeführt zu werden. Welche Auswirkungen diese Warteschlange auf die Antwortzeiten hat, wird unter wie viele gleichzeitige Benutzer ein selbst gehostetes LLM bedienen kann erläutert.
Vier Möglichkeiten, den KV-Cache zu verkleinern
- Verringern Sie die Kontextlänge. Das ist der größte Hebel und in der Regel die günstigste Maßnahme. Die meisten Chat-Workloads erreichen 32k nicht annähernd.
- Quantisieren Sie den Cache selbst. Ollama verwendet für
OLLAMA_KV_CACHE_TYPEstandardmäßigf16und akzeptiertq8_0, das ungefähr die Hälfte des Arbeitsspeichers benötigt, sowieq4_0, das ungefähr ein Viertel benötigt. Die entsprechenden llama.cpp-Werte sind-ctk q8_0und-ctv q8_0. - Wählen Sie ein Modell mit weniger Key/Value-Heads oder weniger Layern. Lesen Sie
config.json, bevor Sie 40 GB Gewichte herunterladen. - Verarbeiten Sie weniger Anfragen gleichzeitig und stellen Sie die übrigen in eine Warteschlange.
Bei q4_0 sinkt der Wert für Llama 3.1 8B von 128 KiB pro Token auf ungefähr 32 KiB. Dadurch benötigt ein Kontext mit 32k ungefähr 1 GiB statt 4 GiB. Diese Einsparung ist nicht kostenlos. Die Keys und Values werden mit geringerer Präzision gespeichert. Vergleichen Sie daher die Ausgabe anhand Ihrer eigenen Prompts, bevor Sie diese Einstellung beibehalten.
Was das Prompt-Caching des Providers tatsächlich bringt
Das Prompt-Caching des Providers ist ein anderes Produkt mit einer anderen Abrechnungseinheit. Sie markieren ein stabiles Präfix, der Provider speichert es, und spätere Aufrufe, die exakt dasselbe Präfix wiederholen, werden zu einem reduzierten Preis statt zum vollständigen Preis für Eingabetokens abgerechnet.
Anthropics veröffentlichte Multiplikatoren (Stand: Oktober 2026) lauten: Das Schreiben in einen 5-Minuten-Cache kostet das 1,25-Fache des Basistarifs für Eingabetokens. Das Schreiben in einen 1-Stunden-Cache kostet das 2-Fache, und ein Cache-Lesezugriff kostet bei den meisten Modellen das 0,1-Fache. Die neuesten Modelle sind bei Lesezugriffen noch günstiger: 0,05-Fache bei Claude Opus 5.5 und Sonnet 5.5 sowie 0,025-Fache bei Claude Fable 5.1 und Mythos 5.1. Wenn Sie einen System-Prompt mit 20.000 Tokens nach den Standardwerten in den Cache legen, wird der Vorteil unmittelbar erkennbar.
Die Daten hinter diesem Diagramm
[
{
"label": "No caching, every call",
"billed_token_equivalents": "20,000"
},
{
"label": "First call, 5 minute cache write",
"billed_token_equivalents": "25,000"
},
{
"label": "First call, 1 hour cache write",
"billed_token_equivalents": "40,000"
},
{
"label": "Every later call, cache hit",
"billed_token_equivalents": "2,000"
}
]Betrachten Sie die Abrechnung als einfache Rechnung. Der Aufpreis für das Schreiben in den 5-Minuten-Cache entspricht beim ersten Aufruf 5.000 Token-Äquivalenten: 25,000 gegenüber 20,000 für die ungecachte Übertragung. Jeder weitere Aufruf innerhalb des Zeitfensters wird mit 2,000 statt mit 20,000 abgerechnet. Das spart 18.000. Daher ist der 5-Minuten-Cache ab dem zweiten Aufruf günstiger.
Der 1-Stunden-Cache ist eine andere Abwägung. Beim Schreiben werden 40,000 abgerechnet. Das entspricht einem Aufpreis von 20.000 Token-Äquivalenten. Daher sind innerhalb dieser Stunde zwei Treffer erforderlich, bevor sich der Cache lohnt. Das hängt von Ihrem Anfrageaufkommen ab, nicht vom Modell. Die vollständige Berechnung einschließlich der Auswahl des Zeitfensters finden Sie unter der Break-even-Rechnung für Claude Prompt-Caching.
Zwei Details entscheiden darüber, ob Sie den Cache überhaupt treffen. Erstens wird ein Präfix unterhalb der vom Modell geforderten Mindestlänge stillschweigend nicht gecacht: Stand Oktober 2026 beträgt das dokumentierte Minimum 512 Tokens für Claude Opus 5, Opus 5.5 und Sonnet 5.5 sowie 1.024 Tokens für Claude Sonnet 5. Eine kürzere Anfrage wird normal verarbeitet, ohne dass ein Fehler zurückgegeben wird. Zweitens wird die Lebensdauer ab dem Beginn der Anfrage gemessen, die den Eintrag schreibt oder liest, und jeder Lesezugriff verlängert sie ohne zusätzliche Kosten. Ein stark ausgelasteter Endpunkt hält einen 5-Minuten-Cache daher unbegrenzt aktiv. Ein Endpunkt, der einmal alle zehn Minuten aufgerufen wird, zahlt bei jedem einzelnen Aufruf den Aufpreis für das Schreiben und erhält nie einen Cache-Treffer.
Prüfen Sie die Antwort, statt dies vorauszusetzen. Das Objekt usage meldet cache_creation_input_tokens und cache_read_input_tokens. Eine Lesezugriffsanzahl von null bei jedem Aufruf bedeutet, dass Sie für Schreibvorgänge zahlen, aber nichts zurückerhalten.
Wo die beiden Caches zusammentreffen
Ein langer System-Prompt ist der Punkt, an dem beide Kostenarten zusammentreffen. Er verursacht gleichzeitig auf beiden Seiten Kosten.
Lokal belegt ein System-Prompt mit 20,000 Tokens auf einem Llama 3.1 8B-Server bei f16 etwa 2.4 GiB KV-Cache. Dieser Speicher wird für jede gleichzeitige Anfrage, die den Prompt enthält, separat benötigt. Remote verursacht dasselbe Präfix zunächst einen Cache-Schreibvorgang. Bei jedem späteren Aufruf kostet es 0.1 des Inputs oder bei den neuesten Modellen weniger. Die lokalen Kosten steigen mit der Anzahl Ihrer Benutzer. Die Remote-Kosten steigen mit Ihrem Datenverkehr und werden während Ihrer Leerlaufzeit zurückgesetzt.
Es gibt eine lokale Funktion, die wie Provider-Prompt-Caching aussieht und häufig damit verwechselt wird: Prefix-Caching. Die vLLM-Dokumentation beschreibt Automatic Prefix Caching als das Caching „des KV-Caches vorhandener Abfragen, sodass eine neue Abfrage den KV-Cache direkt wiederverwenden kann, wenn sie dasselbe Präfix wie eine der vorhandenen Abfragen enthält“. Aktuelle vLLM-Versionen aktivieren diese Funktion standardmäßig. Der llama.cpp-Server verwaltet standardmäßig einen Prompt-Cache pro Slot. --cache-reuse N legt die kleinste Chunk-Größe fest, die er wiederzuverwenden versucht.
Prefix-Caching spart Prefill-Rechenzeit. Ihr System-Prompt mit 20,000 Tokens wird einmal statt bei jeder Anfrage verarbeitet. Dadurch verkürzt sich die Zeit bis zum ersten Token deutlich. In vLLM werden die gemeinsam verwendeten Blöcke wiederverwendet, statt dupliziert zu werden. Auch der Speicherbedarf verbessert sich dadurch. Die Cache-Größe für Tokens, die aktuell aktiv sind, wird dadurch jedoch nie verringert. Das Vorhalten der Gewichte zwischen Anfragen ist ein verwandter, aber separater Ansatz. Er wird unter ein geladenes Ollama-Modell zwischen Anfragen vorhalten behandelt.
Was Sie auf Ihrem eigenen System messen sollten
Laden Sie das Modell mit dem gewünschten Kontext und lesen Sie anschließend die tatsächlichen Werte ab, statt der Schätzung zu vertrauen.
ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -gollama ps listet das geladene Modell mit seiner Größe, dem verwendeten Kontext sowie der Information auf, ob es auf der GPU oder der CPU ausgeführt wird. Prüfen Sie zuerst die Kontextspalte, da der Standardwert inzwischen von Ihrem VRAM abhängt. Wenn ein Modell, das Ihrer Erwartung nach vollständig auf der GPU laufen sollte, eine CPU-Aufteilung meldet, hat der KV-Cache einen Teil des Modells aus dem GPU-Speicher verdrängt. Die Generierungsgeschwindigkeit sinkt dann entsprechend. nvidia-smi liefert den tatsächlichen VRAM-Wert. free -g erfüllt dieselbe Funktion auf einer CPU-only-VPS. Erhöhen Sie den Kontext schrittweise, laden Sie das Modell neu und beobachten Sie, wie sich der Wert verändert. Ihre Berechnung und der gemeldete Wert sollten nahe beieinanderliegen. Wenn das nicht der Fall ist, stammt die Abweichung normalerweise von den Compute-Puffern der Laufzeitumgebung und nicht von einem Fehler in der Formel.
Wenn Sie diese Werte zu Hardware führen, die Sie lieber nicht mieten möchten, finden Sie den Vergleich mit der Abrechnung pro Token unter GPU-VPS im Vergleich zu API-Tokens.
FAQ
Ist der KV-Cache dasselbe wie Prompt-Caching?
Nein. Der KV-Cache ist ein anfragebezogener Speicher innerhalb des Serving-Prozesses. Er enthält die Key- und Value-Vektoren für jedes Token im aktuellen Kontext. Er befindet sich in Ihrem RAM oder VRAM und wird freigegeben, sobald die Anfrage endet. Das Prompt-Caching des Providers ist eine Abrechnungsfunktion. Dabei wird ein stabiler Prompt-Präfix auf der Infrastruktur des Providers gespeichert. Wenn Sie ihn erneut senden, gilt ein reduzierter Preis. Wenn der KV-Cache voll ist, kann das Modell nicht geladen werden. Ein fehlender Prompt-Cache erhöht nur Ihre Rechnung und die Zeit bis zum ersten Token.
Warum wird mein Modell mit einem Kontext von 2k geladen, schlägt aber mit 32k fehl?
Der Grund ist, dass die Laufzeitumgebung den gesamten KV-Cache beim Laden reserviert. Die Größe richtet sich nach der konfigurierten Kontextlänge und nicht nach dem gesendeten Prompt. Bei Llama 3.1 8B mit f16 benötigt der Cache 128 KiB pro Token. Ein Kontext von 2k belegt daher 0.25 GiB, während 32k 4 GiB belegt. Die Gewichte passen in beiden Fällen in den Speicher. Die Reservierung schlägt fehl. vLLM meldet dies mit einem ValueError. Darin wird angegeben, wie viel KV-Cache-Speicher benötigt wird und wie viel verfügbar ist. Außerdem wird eine geschätzte maximale Modelllänge genannt. vLLM schlägt vor, gpu_memory_utilization zu erhöhen oder max_model_len zu verringern. Auf einem System ohne GPU, auf dem Ollama oder llama.cpp ausgeführt wird, kann stattdessen der Out-of-Memory-Killer des Kernels den Prozess beenden. Das können Sie mit dmesg -T | grep -i "killed process" bestätigen.
Wie berechne ich die Größe des KV-Caches für mein Modell?
Multiplizieren Sie 2 mit der Anzahl der Layer, der Anzahl der Key/Value-Heads, der Head-Dimension und der Byteanzahl pro Element. Das Ergebnis ist die Anzahl der Bytes pro Token. Multiplizieren Sie diesen Wert anschließend mit Ihrer Kontextlänge und mit der Anzahl der gleichzeitig ausgeführten Anfragen. Die Anzahl der Layer und Heads finden Sie im config.json des Modells. Verwenden Sie 2 Bytes pro Element für f16 oder bf16. Ein q8_0-Cache ist ungefähr halb so groß. Ein q4_0-Cache ist ungefähr ein Viertel so groß.
Verringert Prompt-Caching den Speicherbedarf meines eigenen Servers?
Das Prompt-Caching des Providers hat keinen Einfluss auf Ihre Hardware, da der Speicher auf der Seite des Providers liegt. Das lokale Gegenstück ist Prefix-Caching, das sowohl vLLM als auch der llama.cpp-Server anbieten. Dabei werden bereits berechnete Key- und Value-Vektoren für einen gemeinsamen Präfix wiederverwendet. Das spart Rechenaufwand beim Prefill und verkürzt die Zeit bis zum ersten Token. In vLLM werden die gemeinsamen Blöcke wiederverwendet und nicht dupliziert. Dadurch sinkt auch der Speicherbedarf. Keine der beiden Funktionen verkleinert den Cache, den die aktuell laufenden Tokens benötigen. Ihre Berechnung für Kontextlänge und Parallelität bestimmt daher weiterhin den Mindestbedarf.
Lohnt sich das Caching eines Prompts, den ich nur einmal sende?
Nein. Das Schreiben in den Cache kostet mehr als eine normale Eingabe. Für die Option mit 5 Minuten beträgt der Preis im Oktober 2026 das 1.25-Fache des Basistarifs. Ein Präfix, das Sie innerhalb dieses Zeitfensters nicht erneut senden, verursacht daher nur zusätzliche Kosten. Caching lohnt sich, wenn derselbe Präfix wiederholt verwendet wird, zum Beispiel bei einem langen System-Prompt oder einem Dokument, zu dem Sie mehrere Fragen stellen. Prüfen Sie cache_read_input_tokens in der API-Antwort, um zu bestätigen, dass Cache-Treffer erzielt werden und Sie nicht für Schreibvorgänge zahlen.