SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor

Ollama-Modell dauerhaft im Speicher halten

Ollama entlädt Modelle nach 5 Minuten Leerlauf. Setzen Sie OLLAMA_KEEP_ALIVE per systemd-Override und laden Sie das Modell nach jedem Neustart vor.

Warum entlädt Ollama das Modell nach einigen Minuten?

Ollama hält ein Modell nach der letzten Anfrage fünf Minuten lang im Speicher geladen und gibt es danach frei. Bei der nächsten Anfrage müssen die Gewichte erneut in den RAM oder VRAM geladen werden. Deshalb wartet der Server, bevor das erste Token eintrifft. Eine Chat-Oberfläche oder ein Coding-Agent wirkt zunächst schnell, pausiert dann eine Weile und reagiert bei der nächsten Nachricht wieder langsamer. Es ist nichts beschädigt. Der Leerlauf-Timer ist abgelaufen.

Der Timer heißt keep_alive. Er gilt pro Modell und wird nach jeder abgeschlossenen Anfrage neu gestartet. Ein Modell, das gerade eine Anfrage beantwortet, wird nie entladen, weil der Server nur ein Modell ohne aktive Anfrage ablaufen lässt. Im Oktober 2026 beträgt der Standardwert fünf Minuten. Er gilt für jedes Modell, das dieser Server lädt.

Es gibt zwei Stellen, an denen Sie das Leerlauf-Timeout festlegen können: im Feld keep_alive der einzelnen Anfrage oder über OLLAMA_KEEP_ALIVE als Serverstandard. Ein systemd-Drop-in sorgt dafür, dass der Serverstandard einen Neustart übersteht. In dieser Anleitung wird vorausgesetzt, dass Ollama bereits als Dienst ausgeführt wird. Falls nicht, beginnen Sie mit der Installation von Ollama auf einem VPS und kehren Sie anschließend hierher zurück.

Welche Modelle sind derzeit resident, und wann laufen sie ab?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Eine leere Ausgabe bedeutet, dass kein Modell geladen ist. Die nächste Anfrage muss das Modell daher zuerst laden. PROCESSOR zeigt, wohin die Gewichte geladen wurden. 100% GPU und 100% CPU sind die eindeutigen Fälle. Eine Aufteilung wie 25%/75% CPU/GPU bedeutet, dass sich nur ein Teil des Modells im VRAM befindet. Der Rest läuft auf dem Prozessor, daher ist die Generierung langsamer. Normalerweise liegt das daran, dass das Modell nicht vollständig in den VRAM passte. Eine num_gpu-Einstellung, die die Anzahl der auf die GPU ausgelagerten Layer begrenzt, erzeugt jedoch dieselbe Aufteilung.

UNTIL ist der Countdown. Er gibt eine relative Zeit wie 4 minutes from now aus. Forever wird ausgegeben, wenn das Modell mit einem negativen keep_alive geladen wurde. Nach Ablauf wird Stopping... ausgegeben. Das gilt auch, wenn aktive Anfragen das Entladen verzögern.

Die Spalten haben sich zwischen den Releases geändert. Lesen Sie daher die Kopfzeile, statt die Felder in einem Skript zu zählen. Ollama v0.40.5 gibt bei der Prüfung am 2026-10-30 außerdem eine RUNNER-Spalte zwischen CONTEXT und UNTIL aus. Sie nennt den Runner, der das Modell bereitstellt. Ihre Kopfzeile kann daher eine Spalte breiter sein als das obige Beispiel. Für automatisierte Auswertungen sollten Sie die API abfragen:

curl -s http://localhost:11434/api/ps

Jeder Eintrag enthält expires_at, einen absoluten Zeitstempel wie 2026-08-09T14:38:31.83753Z, sowie size_vram, den Anteil dieses Modells im GPU-Speicher. Ein size_vram von 0 bedeutet, dass das Modell auf der CPU ausgeführt wird.

Die tatsächlichen Kosten eines erneuten Ladens

Raten Sie nicht. Ollama gibt die Ladezeit in jeder Antwort als load_duration in Nanosekunden aus.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Warten Sie nach ollama stop, bis ollama ps das Modell nicht mehr auflistet, bevor Sie die beiden API-Aufrufe ausführen. Der erste Aufruf lädt das Modell. Deshalb ist sein load_duration groß. Teilen Sie den Wert durch 1000000000, um ihn in Sekunden zu lesen. Der zweite Aufruf läuft, während sich das Modell im Speicher befindet, und liefert eine deutlich kleinere Zahl. Die Differenz zwischen diesen beiden Werten ist die Wartezeit, die jeder Benutzer nach Ablauf des Timers in Kauf nehmen muss. Genau deshalb sollte keep_alive geändert werden. Nach dem Entladen enthält der Page Cache des Kernels die Modelldatei häufig weiterhin. Auf einem System mit ausreichend freiem RAM kann ein erneutes Laden deshalb schneller sein als das erste Laden nach einem Boot. Wenn dieser Cache verdrängt wurde, werden die Gewichte von der Festplatte gelesen. Wenn Sie das Modellverzeichnis auf ein zweites Volume verschoben haben, bestimmt die Geschwindigkeit dieses Volumes die minimale Dauer jedes kalten Ladens. Informationen zur Generierungsgeschwindigkeit vor und nach dieser Pause finden Sie unter So messen Sie Tokens pro Sekunde auf Ihrem eigenen System.

Ein Ollama-Modell bei einer Anfrage im Speicher halten

Senden Sie keep_alive mit der Anfrage. Die Einstellung gilt für dieses Modell, sobald die Anfrage abgeschlossen ist.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Es werden vier Wertformen akzeptiert:

  • eine Dauerzeichenfolge: "30m", "24h", "90s"
  • eine einfache Zahl, die als Sekunden interpretiert wird: 3600
  • ein negativer Wert, -1 oder "-1m", der überhaupt kein Inaktivitäts-Timeout bedeutet
  • 0, wodurch das Modell entladen wird, sobald keine aktiven Anfragen mehr vorliegen

Ein Wert in der Anfrage überschreibt den Serverstandard in beide Richtungen. Das ist wichtiger, als es zunächst klingt: Ein Client, der ein eigenes keep_alive sendet, setzt sich gegen jede Serverkonfiguration durch.

Sie können ein Modell auch laden, ohne eine Generierung auszuführen. Senden Sie nur den Modellnamen. Der Server lädt das Modell und gibt mit "done": true eine leere Antwort zurück.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Das ist der Befehl, den Sie nach einem Reboot oder nach dem Abruf eines neuen Modells ausführen. Dadurch muss die erste echte Benutzeranfrage nicht für das Laden warten. Die CLI erledigt dieselbe Aufgabe mit einem Flag:

ollama run --keepalive 30m qwen3:8b "hello"

Standardmäßig mit OLLAMA_KEEP_ALIVE geladen halten

Der Server liest OLLAMA_KEEP_ALIVE beim Start ein und verwendet diesen Wert für jedes Modell, das keinen eigenen Wert enthält. Es gelten dieselben Formen wie für das Request-Feld. Daher funktionieren 30m, 3600 und -1.

Entscheidend ist jedoch, in welcher Umgebung die Variable gesetzt sein muss. export OLLAMA_KEEP_ALIVE=30m in Ihrer SSH-Sitzung auszuführen, bewirkt nichts, weil die Paketinstallation den Server als systemd-Dienst unter einem eigenen Benutzer und mit einer eigenen Umgebung startet. Ihre Login-Shell und dieser Dienst haben keine gemeinsame Umgebung. Dies ist der häufigste Grund dafür, dass die Einstellung scheinbar ignoriert wird.

Nach einem Neustart mit einem systemd-Drop-in weiterlaufen

sudo systemctl edit ollama.service

Der Editor wird mit zwei Kommentar-Markierungen geöffnet. Geben Sie den Inhalt zwischen diesen Markierungen ein: systemd verwirft alles, was Sie unterhalb der zweiten Markierung schreiben.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Beim Speichern wird /etc/systemd/system/ollama.service.d/override.conf geschrieben. Dabei handelt es sich um ein Drop-in und nicht um eine Änderung an der ausgelieferten Unit. Ein Ollama-Paketupgrade, das ollama.service ersetzt, lässt Ihre Einstellung daher unverändert. Falls Drop-ins und Unit-Dateien für Sie neu sind, erklärt der Leitfaden zu systemd-Services und -Timern die Funktionsweise.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Der letzte Befehl gibt die Umgebung aus, mit der der Dienst tatsächlich gestartet wird. Fehlt OLLAMA_KEEP_ALIVE=30m in dieser Ausgabe, wurde das Drop-in nicht übernommen. Die Ursache ist fast immer eine fehlende [Service]-Kopfzeile oder Inhalt, der unterhalb der Markierung eingegeben wurde. Der Neustart entfernt außerdem alle geladenen Modelle. Die nächste Anfrage lädt das Modell daher erneut. Wärmen Sie den Dienst mit dem obigen Preload-Aufruf vor. Das Drop-in bewahrt die Einstellung über einen Neustart hinweg, nicht aber das Modell: Der Dienst startet ollama serve ohne geladenes Modell. Führen Sie daher nach jedem Bootvorgang denselben Preload-Aufruf aus.

Die Kosten eines resident gehaltenen Modells

Die Spalte SIZE in ollama ps zeigt den Speicher, der während des gesamten Leerlaufzeitraums belegt bleibt, nicht nur während einer Anfrage. Ein 8B-Modell mit 4-Bit-Quantisierung benötigt etwa 5 bis 6 GB. Bei einem 27B-Modell ist die Situation eine andere. Deshalb lohnt es sich, die Speicherberechnung für den Betrieb auf einer CPU-only-VPS durchzugehen, bevor Sie ein Modell resident halten. Setzen Sie keep_alive auf -1, deaktivieren Sie den Ablauf bei Inaktivität. Spätere Anfragen für dasselbe Modell können dann das Timeout ersetzen oder einen erneuten Ladevorgang erzwingen, wenn sich die Runner-Optionen ändern. Auf einer kleinen VPS steht dieser Speicher direkt Ihrer Datenbank, Ihrer Webanwendung und Ihren Build-Jobs nicht zur Verfügung.

Prüfen Sie die tatsächlichen Werte, statt einer Schätzung zu vertrauen. Führen Sie den folgenden Befehl aus, während ein Modell geladen ist, und danach erneut nach ollama stop:

free -h

Die Spalte available zeigt den Speicher, den der Kernel noch an einen neuen Prozess vergeben könnte. Auf einem NVIDIA-GPU-Server zeigt nvidia-smi dasselbe für den VRAM. Wenn der Speicher ausgeht, beendet der Kernel einen Prozess, um Speicher freizugeben:

sudo dmesg -T | grep -i "out of memory"

Eine Zeile mit ollama bedeutet, dass der Model-Server beendet wurde. Eine Zeile mit dem Namen Ihrer Datenbank bedeutet, dass das Modell weiterlief und ein für Sie wichtiger Prozess beendet wurde. Beide Ergebnisse sind Folge derselben Entscheidung: ein langes Keep-alive-Zeitfenster auf einem Server ohne Speicherreserve.

Zwei Kosten werden leicht übersehen. Eine größere Context Length reserviert einen größeren KV-Cache (Key-Value-Cache, der Attention-Zustand pro Token, den das Modell während der Generierung speichert). Dieser Cache ist Teil der residenten Größe. Seine Größe ergibt sich aus num_ctx. Deshalb erhöht eine größere Context Window den Speicherbedarf eines residenten Modells während des gesamten Leerlaufzeitraums und nicht nur während der Antwortgenerierung. OLLAMA_NUM_PARALLEL größer als 1 reserviert diesen Cache einmal pro parallelem Slot, sofern das Modell diese Parallelität unterstützt. Ollama setzt die Parallelität für Embedding-Modelle und mehrere Architekturen, darunter mllama und qwen3next, auf 1. Wenn Sie mehrere Personen mit einem Modell versorgen möchten, planen Sie den Speicherbedarf für die Slots und nicht nur für die Gewichte.

Eine sinnvolle Standardeinstellung ist: Ein Modell auf einem Server mit ausreichender Speicherreserve kann -1 verwenden. Auf einem gemeinsam genutzten Server sollten Sie ein Zeitfenster wählen, das die Abstände zwischen Ihren Anfragen abdeckt, beispielsweise 30m. So wird der Speicher wieder freigegeben, sobald Sie nicht mehr arbeiten.

Modell sofort entladen

ollama stop qwen3:8b

Nach der Anforderung des Ablaufs wird keine Ausgabe zurückgegeben. Das Entladen wartet, bis aktive Anfragen abgeschlossen sind. Daher kann der Befehl zurückkehren, bevor der Speicher freigegeben wurde. Auch für ein Modell, das Sie heruntergeladen haben, das derzeit aber nicht geladen ist, wird keine Ausgabe zurückgegeben. Der Befehl prüft nie, welche Modelle im Speicher resident sind. Er sendet die Entladeanforderung. Der Server antwortet mit Erfolg, unabhängig davon, ob sich etwas im Speicher befand. Der Fehler couldn't find model "qwen3:8b" to stop erscheint nur, wenn auf diesem Server kein Modell mit diesem Namen installiert ist. Ursache ist normalerweise ein Tippfehler im Namen oder Tag. Ein stilles ollama stop ist daher kein Beleg dafür, dass Speicher freigegeben wurde. ollama ps ist dieser Beleg. Die API-Variante ist eine Anfrage ohne Eingabeaufforderung, bei der keep_alive auf 0 gesetzt wird:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Die Antwort enthält "done_reason": "unload". Verwenden Sie diese Variante, anstatt den Dienst neu zu starten. systemctl restart ollama gibt den Speicher ebenfalls frei. Dabei werden jedoch alle anderen geladenen Modelle entfernt und laufende Anfragen beendet.

Mehr als ein Modell auf einem Server ausführen

OLLAMA_MAX_LOADED_MODELS begrenzt, wie viele Modelle gleichzeitig geladen bleiben. Seit Oktober 2026 sind standardmäßig drei Modelle pro GPU oder drei Modelle auf einem System ohne GPU zulässig. Die Begrenzung zählt Modelle. Der verfügbare Speicher ist jedoch die tatsächliche Grenze. Deshalb kann ein zweites großes Modell bereits abgelehnt werden, lange bevor drei Modelle erreicht sind.

Wenn ein neues Modell angefordert wird und nicht genügend Speicher verfügbar ist oder die Begrenzung erreicht wurde, lädt der Scheduler eines der bereits geladenen Modelle aus dem Speicher, um Platz zu schaffen. Er bevorzugt ein Modell ohne aktive Anfrage. Er kann auch ein Modell entfernen, dessen Timer noch nicht abgelaufen ist, einschließlich eines mit -1 geladenen Modells. Dabei versucht er zuerst Modelle mit kürzeren Zeitfenstern. Ein negativer Wert für keep_alive bedeutet daher, dass kein Leerlauf-Timeout verwendet wird. Das Modell wird nicht gegen die Anfrage eines anderen Modells im Speicher gehalten.

Diese Entscheidungen erscheinen im Service-Log. Der Fall mit erreichter Begrenzung wird jedoch nur auf Debug-Level protokolliert. Fügen Sie dem gleichen Drop-in eine zweite Environment="OLLAMA_DEBUG=1"-Zeile hinzu, starten Sie den Dienst neu und überwachen Sie das Log:

sudo journalctl -u ollama -f

Lesen Sie den Grund neben der Anfrage, die das Auslagern ausgelöst hat. max runners achieved, unloading one to make room bedeutet, dass die Begrenzung OLLAMA_MAX_LOADED_MODELS erreicht wurde. Das kann auch passieren, wenn beide Modelle in den verfügbaren Speicher passen. Erhöhen Sie die Begrenzung, wenn free -h noch ausreichend Speicherreserve anzeigt. Eine Zeile, die meldet, dass das neue Modell voraussichtlich den verfügbaren Speicher überschreitet, gefolgt vom Auslagern eines Modells, bedeutet, dass die Speicherprüfung des Schedulers das gemeinsame Laden abgelehnt hat. In diesem Fall sollten Sie weniger Modelle auf diesem Server verwenden oder für das Modell, das schnell antworten muss, ein langes Zeitfenster festlegen und für das Modell, das Sie selten aufrufen, 0 verwenden.

Leitlinien, die über das nächste Release hinaus Bestand haben

Ollama veröffentlicht häufig neue Versionen, und die Standardwerte ändern sich. Prüfen Sie daher den vorliegenden Build, statt sich Zahlen zu merken:

ollama --version
ollama serve --help

ollama serve --help listet die Umgebungsvariablen auf, die dieser Build tatsächlich einliest, darunter OLLAMA_KEEP_ALIVE. Zwei Regeln galten über mehrere Releases hinweg und bilden eine verlässliche Grundlage. Ein Wert in der Anfrage hat Vorrang vor dem Serverstandard. Und ollama ps zeigt zuverlässig, was tatsächlich geladen ist, unabhängig davon, was eine Konfigurationsdatei vorgibt.

Wenn ein Editor oder ein Agent Ihren Server steuert, prüfen Sie, was dieser Client sendet, bevor Sie den Server verantwortlich machen. Einen Coding-Agent auf Ihren eigenen Ollama-Server richten behandelt, wo sich diese Anfrageeinstellungen befinden.

FAQ

Warum entlädt Ollama mein Modell nach 5 Minuten?

Fünf Minuten sind der Standardwert für keep_alive, den Leerlauf-Timer, den Ollama nach Abschluss einer Anfrage startet. Wenn er abläuft, gibt der Server die Gewichte frei. Die nächste Anfrage muss sie daher erneut laden. Diese erneute Ladezeit verursacht die wahrgenommene Pause. Erhöhen Sie den Wert für eine einzelne Anfrage, indem Sie "keep_alive": "30m" im JSON-Body senden. Für den gesamten Server verwenden Sie die Umgebungsvariable OLLAMA_KEEP_ALIVE.

Wie halte ich ein Ollama-Modell dauerhaft im Speicher?

Verwenden Sie einen negativen Wert: "keep_alive": -1 für die Anfrage oder OLLAMA_KEEP_ALIVE=-1 für den Server. ollama ps zeigt dann Forever in der Spalte UNTIL an. Dadurch wird nur der Leerlauf-Timer deaktiviert. Wenn ein anderes Modell angefordert wird und der Speicher knapp ist, entlädt der Scheduler dieses Modell trotzdem, um Platz zu schaffen. Spätere Anfragen für dasselbe Modell können den Timeout ebenfalls ersetzen oder ein erneutes Laden auslösen, wenn sich die Runner-Optionen ändern. Ein Neustart oder Reboot entfernt das bereits geladene Modell ebenfalls. Laden Sie es danach erneut vor.

Warum wird OLLAMA_KEEP_ALIVE ignoriert?

Prüfen Sie, wo Sie die Variable gesetzt haben. Führen Sie systemctl show ollama --property=Environment aus. Wenn die Variable in dieser Ausgabe nicht enthalten ist, hat der Server sie nie erhalten, weil eine in Ihrer Shell exportierte Variable einen systemd-Dienst nicht erreicht. Setzen Sie sie mit sudo systemctl edit ollama.service. Führen Sie danach sudo systemctl daemon-reload und sudo systemctl restart ollama aus. Die andere Ursache kann ein Client sein, der in der Anfrage ein eigenes keep_alive sendet und damit den Serverstandard überschreibt.

Wie gebe ich den Speicher frei, ohne Ollama neu zu starten?

ollama stop qwen3:8b fordert das Entladen dieses einen Modells an. Der Server und alle anderen geladenen Modelle bleiben dabei aktiv. Aktive Anfragen müssen abgeschlossen sein, bevor das Modell entladen wird. Senden Sie über die API eine Anfrage ohne Prompt und mit "keep_alive": 0. Die Antwort enthält dann "done_reason": "unload". Bestätigen Sie den Vorgang mit ollama ps. Nach Abschluss des Entladens sollte das Modell dort nicht mehr aufgeführt sein.

War dieser Artikel hilfreich?