SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor

ollama pull oder run: Modelle laden und Speicherort

ollama pull lädt nur und beendet sich, ollama run öffnet danach den Chat. Erfahren Sie, wo Modelle liegen, warum sie die Root-Disk füllen und wie Sie sie verschieben.

ollama pull im Vergleich zu ollama run

ollama pull lädt ein Modell herunter und beendet sich. Für ein lokales Chatmodell lädt ollama run das Modell nur herunter, wenn es fehlt, lädt es anschließend in den Arbeitsspeicher und öffnet einen interaktiven Chat. Der Download ist identisch, und die Dateien werden am selben Ort abgelegt. Nur run läuft danach weiter. Bei Embedding-Modellen entfällt der Chat-Teil: Die offizielle Dokumentation zeigt, dass ollama run embeddinggemma "Hello world" das Embedding als JSON-Array statt als Antwort ausgibt. Ohne Eingabetext lehnt ollama run ein Embedding-Modell mit embedding models require input text ab.

Dieser eine Unterschied entscheidet, welcher Befehl in ein Skript und welcher an die Tastatur gehört.

ollama pull gemma4
ollama run gemma4
ollama run gemma4 "Reply with one word: ready"

Die erste Zeile ruft das Modell ab und beendet sich anschließend. Sie ist daher für die Bereitstellung und eine systemd-Unit geeignet. Die zweite Zeile öffnet eine Chatsitzung. Geben Sie /bye ein oder drücken Sie Ctrl+D, um sie zu beenden. Die dritte Zeile sendet einen einzelnen Prompt, gibt die Antwort aus und beendet sich. Das ist die geeignete Form für ein Skript, wenn es eine Antwort statt einer Sitzung benötigt. Auch bei dieser dritten Form bestimmt weiterhin vollständig das Modell die Länge der Antwort. Eine Frage mit einer Zeile kann daher als drei Absätze beantwortet werden. Mit num_predict die Antwort begrenzen sorgt dafür, dass ein skriptgesteuertes run innerhalb einer Größe bleibt, die der aufrufende Prozess tatsächlich verarbeiten kann. Modellnamen ändern sich schnell. Behandeln Sie gemma4 hier daher als Platzhalter. Es ist das Beispiel, das die offizielle Ollama-Dokumentation im Oktober 2026 verwendet. Ersetzen Sie es für denselben Ablauf durch ein anderes lokales Chatmodell. Tags, die auf :cloud enden, beispielsweise gemma4:cloud, funktionieren anders: Ollama führt sie auf eigenen Servern aus, ohne die Modellgewichte herunterzuladen. Der unten genannte Speicherplatzbedarf gilt daher für lokale Modelle. Wenn Sie stattdessen ein Modell verwenden möchten, dessen Ressourcenbedarf bereits anhand eines realen Servers bestimmt wurde, nennt Nemotron 3.5 Lightning auf einem VPS ausführen den genauen Tag zum Abrufen und den benötigten Arbeitsspeicher.

Warum der erste Ollama-Aufruf wie eingefroren wirkt

Ein erster run auf einem frischen VPS kann mehrere Minuten lang ohne Ausgabe laufen. Das ist kein Fehler. Die Eingabeaufforderung des Chats kann erst erscheinen, wenn das Modell auf dem Datenträger liegt und in den Arbeitsspeicher geladen wurde. Daher führt run zunächst einen Download von mehreren Gigabyte durch, bevor eine Ausgabe möglich ist.

Zwei Dinge machen diesen Vorgang unsichtbar. Ollama schreibt den Fortschrittsbalken auf die Standardfehlerausgabe. Wenn dieser Datenstrom verworfen oder erst später gelesen wird, beispielsweise bei einem Skript, das mit 2>/dev/null endet, oder bei einem Cronjob, erhalten Sie keinen Hinweis auf einen laufenden Download. Nachdem die Daten gespeichert wurden, muss die Datei außerdem vom Datenträger in den Arbeitsspeicher gelesen werden, bevor das erste Token erscheint. Auf einem kleinen VPS dauert dieser Lesevorgang lange. Verfügt der Server nicht über genügend Arbeitsspeicher für das Modell, beginnt der Kernel mit dem Swapping. Dadurch verlängert sich die Wartezeit deutlich.

Beobachten Sie den Vorgang in einer zweiten Sitzung, statt zu raten:

df -h /
watch -n5 df -h /

Auf einem frischen Server bedeutet schrittweise abnehmender freier Speicherplatz, dass der Download noch läuft. Wenn der freie Speicherplatz nicht weiter abnimmt, obwohl der Befehl noch aktiv ist, beweist das nicht, dass das Laden begonnen hat. Nach dem Download führt Ollama eine separate verifying sha256 digest-Phase aus. Dabei werden die Dateien gelesen, bevor das Manifest geschrieben und der Pull abgeschlossen wird. Ein Server, auf dem bereits Modelle vorhanden waren, kann Sie bei Ollama 0.40.2 in die Irre führen: Beim ersten Start eines mit einer älteren Version heruntergeladenen Modells wurde im Hintergrund eine aktualisierte Kopie erstellt. Das Original blieb dabei als Sicherung erhalten. Deshalb konnte der freie Speicherplatz auch ohne laufenden Download abnehmen. Ollama 0.40.3, veröffentlicht am 11 October 2026, hat dieses Hintergrund-Upgrade angehalten.

Das spricht dafür, Modelle im Voraus zu pullen. Die Person, die ollama run eingibt, sollte niemals für den Download warten müssen.

Modell abrufen, bevor es angefordert wird

Das gilt auch für alles, was keine Person ist: ein auf Ihren Ollama-Endpunkt gerichteter Coding-Agent erhält einen Fehler wegen eines nicht gefundenen Modells, wenn das angeforderte lokale Modell noch nicht abgerufen wurde. Eine Inferenzanfrage lädt es nicht herunter. Rufen Sie das Modell auf einem neuen Server im selben Skript ab, das den Server installiert:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4

Wenn Sie den Server zum ersten Mal einrichten, behandelt die vollständige Installation von Ollama auf einem VPS den Dienst selbst und die Frage, wer darauf zugreifen darf. Danach sollten Sie einen Abruf einrichten, der unabhängig von Ihrem Terminal weiterläuft. Ein Download, der in der Mitte abgebrochen wird, führt häufig zu einem nur teilweise gefüllten Modellspeicher.

Führen Sie ihn innerhalb von tmux aus oder übergeben Sie ihn systemd als One-Shot-Unit, die beim Booten ausgeführt wird. Schreiben Sie /etc/systemd/system/ollama-pull.service:

[Unit]
Description=Pre-pull Ollama models
Wants=ollama.service network-online.target
After=ollama.service network-online.target

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/sh -c 'until ollama list >/dev/null 2>&1; do sleep 2; done'
ExecStart=/bin/sh -c 'ollama pull gemma4'

[Install]
WantedBy=multi-user.target

Beide Befehle laufen absichtlich über /bin/sh -c. Ein einfaches ExecStart= akzeptiert einen absoluten Pfad oder einen einfachen Programmnamen, der über den festen Suchpfad von systemd aufgelöst wird. command -v ollama zeigt den Pfad, den Ihre aktuelle Shell findet. Die Ausführung über die Shell verwendet den PATH des Dienstes statt eines aus einer Anleitung kopierten Pfads. Auch der erste ExecStart ist wichtig: After=ollama.service bedeutet, dass die Server-Unit gestartet wurde. Das bedeutet nicht, dass der Server bereits bereit ist. Daher wartet die Schleife, bis ollama list antwortet, bevor der Abruf beginnt.

sudo systemctl daemon-reload
sudo systemctl enable --now ollama-pull.service
journalctl -u ollama-pull.service

Das Journal sollte anzeigen, dass der Abruf fehlerfrei abgeschlossen wurde. Anschließend sollte ollama list das Modell anzeigen. Damit ein veränderliches Tag aktuell bleibt, fügen Sie einen systemd-Timer oder einen wöchentlichen Cron-Eintrag hinzu, der denselben Abruf ausführt. Beim erneuten Abruf eines verschobenen Tags werden die neuen Layer heruntergeladen. Bei den meisten Modellen werden am Ende desselben Abrufs die alten Layer gelöscht, die nichts anderes verwendet.

Was geschieht bei einem unterbrochenen Pull

Jede Ebene eines Modells wird unter einem Hash ihres eigenen Inhalts gespeichert. Ein unterbrochener Pull ist daher keine vergeudete Arbeit: Führen Sie ollama pull erneut aus. Bereits fertiggestellte Ebenen werden erkannt und übersprungen. Der Download wird mit der unterbrochenen Ebene fortgesetzt.

Eine Aktion kann diesen Fortschritt löschen. Beim Start des Ollama-Servers entfernt Ollama unvollständige Downloads und gespeicherte Ebenen, auf die kein Modell-Manifest verweist. Genau das sind die Fragmente eines abgebrochenen Pulls. Aktuelle Releases (0.40.11, geprüft am 26. Oktober 2026) überspringen Dateien, die innerhalb der letzten Stunde geschrieben wurden. Ein Neustart kurz nach dem Abbruch des Pulls ist daher unproblematisch. Ein Neustart mehrere Stunden später verwirft jedoch das bereits heruntergeladene Fragment. Wiederholen Sie zuerst den Pull und starten Sie den Dienst erst danach neu. Wenn ein unvollständiger Download einen Neustart tatsächlich überstehen muss, setzen Sie OLLAMA_NOPRUNE=1 in der Dienstumgebung. Entfernen Sie die Variable anschließend wieder. Sie deaktiviert auch die Bereinigung am Ende jedes Pulls. Diese beiden Bereinigungen verhindern, dass sich verwaiste Ebenen auf dem Datenträger ansammeln.

Wenn der Pull mit no space left on device abgebrochen ist, geben Sie vor dem erneuten Versuch Speicherplatz frei. Meldet df einen vollen Datenträger und erklärt du im Modellverzeichnis diesen Platzbedarf nicht, wurde der Speicherplatz an anderer Stelle belegt. Lesen Sie die Gründe für unterschiedliche Angaben von df und du, bevor Sie etwas löschen.

Wo speichert Ollama Modelle auf einem VPS?

Fragen Sie Ihren eigenen Server ab, statt einem Pfad aus einer beliebigen Anleitung zu vertrauen, auch nicht aus dieser. Der Speicherort unterscheidet sich je nach Installation als Paket oder Container. Er ändert sich außerdem, wenn jemand OLLAMA_MODELS gesetzt hat.

systemctl cat ollama.service
getent passwd ollama
sudo find / -xdev -type d -name blobs 2>/dev/null

systemctl cat gibt die Unit-Datei zusammen mit allen Drop-ins aus. Dadurch wird auch eine von Ihnen gesetzte oder in das Image integrierte OLLAMA_MODELS-Zeile angezeigt. Ohne eine solche Zeile liegt der Speicher unter dem Home-Verzeichnis des Kontos, unter dem der Dienst ausgeführt wird. getent passwd gibt dieses Home-Verzeichnis im sechsten durch Doppelpunkte getrennten Feld aus. Mit find wird in einem Dateisystem nach dem Verzeichnis blobs gesucht. Dort werden die Layer tatsächlich geschrieben. Lassen Sie -xdev weg, wenn sich die Modelle bereits auf einem separaten Mount befinden können.

Messen Sie nun nach und lesen Sie Ihre eigenen Werte:

ollama list
df -h /
sudo du -sh /the/directory/you/found
sudo du -h -d1 /the/directory/you/found

Der Speicher enthält zwei Arten von Inhalten. Die Manifest-Verzeichnisse (manifests, bei aktuellen Releases durch manifests-v2 verbunden) enthalten kleine Dateien. Diese Dateien führen für jedes Modell-Tag die Layer auf, aus denen das Modell besteht. blobs enthält die Layer selbst. Jeder Layer ist nach dem Hash seines Inhalts benannt. Fast die gesamte Größe entfällt auf diesen Bereich. Da Layer zwischen Tags gemeinsam verwendet werden, weist jedes von denselben Gewichten erstellte Modell in ollama list seine eigene Größe aus. Auf der Festplatte belegt der Layer diesen Speicher jedoch nur einmal. Daher können sich die ausgewiesenen Größen zu mehr summieren, als du für das Verzeichnis meldet. Die umgekehrte Überraschung betrifft Ollama 0.40.2: Modelle, die Ollama im Hintergrund aktualisiert hat, behalten ihre ursprüngliche Kopie als Sicherung auf der Festplatte. ollama list zeigt diese Kopie nicht doppelt an. Daher kann du deutlich mehr melden, als die Liste vermuten lässt. Die Release-Hinweise zu 0.40.2 enthalten ein Skript, das ausschließlich diese Sicherungskopien löscht.

Modelldateien füllen das Root-Dateisystem eines kleinen VPS schneller als fast alles andere, was Sie wahrscheinlich installieren. Der größte Einfluss auf ihre Größe ist das Gewichtsformat. Zwischen q4, q8 und fp16 wählen kann pro Modell mehrere Gigabyte ausmachen.

Verschieben Sie die Modelle mit OLLAMA_MODELS auf ein Datenvolume

Wenn ein zweites Laufwerk oder ein größeres Datenvolume vorgesehen ist, verschieben Sie den Speicherort, bevor das Root-Dateisystem voll läuft. Stoppen Sie den Server zuerst, damit Sie keine Datei kopieren, in die noch geschrieben wird.

sudo systemctl stop ollama
sudo mkdir -p /mnt/data/ollama-models
sudo rsync -a /the/directory/you/found/ /mnt/data/ollama-models/
sudo chown -R ollama:ollama /mnt/data/ollama-models
sudo systemctl edit ollama.service

systemctl edit öffnet einen Editor für eine Drop-in-Datei. Dadurch bleibt die mitgelieferte Unit unverändert, und ein Paket-Upgrade kann Ihre Änderung nicht überschreiben. Fügen Sie diese beiden Zeilen hinzu:

[Service]
Environment="OLLAMA_MODELS=/mnt/data/ollama-models"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama list

systemctl show sollte Ihren neuen Pfad ausgeben. ollama list sollte dieselben Modelle anzeigen wie vor dem Verschieben. Wenn die Liste leer ist, prüfen Sie, ob das neue Verzeichnis den kopierten Speicher enthält und ob der Server darauf zugreifen kann. Der Dienst läuft unter dem Benutzer ollama. Dieser Benutzer benötigt Lese- und Schreibzugriff auf das Zielverzeichnis. Dafür sorgt die obige Zeile chown. Prüfen Sie journalctl -e -u ollama auf Berechtigungsfehler, in denen der neue Pfad genannt wird. Löschen Sie die alte Kopie erst, wenn die Liste korrekt ist. Ein fehlgeschlagenes Verschieben mit anschließend gelöschter Quelle bedeutet, dass Sie alles erneut herunterladen müssen.

Die andere Option behält den ursprünglichen Pfad bei und bindet das Datenvolume dort ein:

echo '/mnt/data/ollama-models /the/directory/you/found none bind 0 0' | sudo tee -a /etc/fstab
sudo mount -a
findmnt /the/directory/you/found
df -h /

Wenn findmnt den Mount ausgibt, ist der Bind-Mount aktiv. Ein Bind-Mount ist hilfreich, wenn etwas anderes auf dem System bereits den Standardpfad erwartet. Dabei gibt es eine wichtige Falle: Die kopierten Dateien liegen weiterhin unter dem Mount-Punkt auf dem Root-Datenträger. Der Mount verdeckt sie. Der Speicherplatz wird erst freigegeben, wenn Sie den Mount aushängen und die Dateien entfernen. Die Umgebungsvariable lässt sich der nächsten Person, die sich anmeldet, leichter erklären.

Wo der Container die Modelle stattdessen speichert

Das offizielle Image speichert Modelle in dem Verzeichnis, das Sie einbinden, nicht in einem Hostverzeichnis, das einem ollama-Benutzer gehört. Der dokumentierte Startbefehl lautet:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

ollama vor dem Doppelpunkt ist ein benanntes Docker-Volume, und /root/.ollama ist der Pfad, in den der Server im Container schreibt. Deshalb findet du anhand der Pfade aus dem vorherigen Abschnitt nichts: Dort befindet sich nichts. Geben Sie den tatsächlichen Speicherort und die Größe aus:

docker volume inspect ollama
docker system df -v
docker exec -it ollama ollama list

Lesen Sie das Feld Mountpoint aus docker volume inspect aus und führen Sie anschließend sudo du -sh dagegen aus. Um die Modelle auf einem Daten-Volume zu speichern, ersetzen Sie das benannte Volume durch ein Hostverzeichnis (-v /mnt/data/ollama:/root/.ollama) und erstellen Sie den Container neu. Der Container schreibt als root, daher gehört dieses Hostverzeichnis anschließend root. Unter rootless Podman wird root im Container standardmäßig der UID und GID Ihres Hostbenutzers zugeordnet, während andere Container-IDs untergeordnete Bereiche verwenden: Ollama unter rootless Podman ausführen beschreibt diese Zuordnung.

Beachten Sie die Bereinigung. Ein einfaches docker volume prune entfernt nur anonyme Volumes und lässt das benannte ollama-Volume daher bestehen. docker volume prune --all entfernt dagegen jedes Volume, auf das kein Container verweist, einschließlich benannter Volumes. Wenn Sie den ollama-Container ohne sein Volume entfernen oder neu erstellen, löscht ein späteres prune --all alle heruntergeladenen Modelle. Sie können sie dann nur durch erneutes Herunterladen wiederherstellen. Lesen Sie Docker-Speicherplatz auf einem VPS bereinigen, bevor Sie prune auf einem System ausführen, auf dem Modelle gespeichert sind.

Ein Modell mit ollama rm entfernen, nicht mit rm

ollama list
ollama rm gemma4
ollama list
df -h /

ollama rm löscht das Manifest für diesen Tag und anschließend die Layer, auf die kein verbleibendes Manifest mehr verweist. Der Speicherplatz steht wieder zur Verfügung, sobald diese Dateien entlinkt wurden, daher wird df sofort kleiner. Da Layer gemeinsam genutzt werden, kann das Entfernen eines von zwei eng verwandten Tags deutlich weniger Speicherplatz freigeben als die Größe, die ollama list daneben ausgibt. Das ist das erwartete Verhalten und kein fehlgeschlagenes Löschen.

Das manuelle Löschen von Dateien zerstört die Zuordnung zwischen den beiden Bestandteilen. Entfernen Sie einen Blob mit rm, bleibt er im Manifest aufgeführt. Daher zeigt ollama list das Modell weiterhin an, und jeder Nutzungsversuch schlägt fehl, sobald die fehlende Layer gelesen werden soll. Entfernen Sie ein Manifest manuell, bleiben die zugehörigen Layer ohne Verweise auf der Festplatte. Sie belegen weiterhin Speicherplatz, den kein Ollama-Befehl ausweist. Wenn Sie einen Blob bereits gelöscht haben, entfernt ollama rm beim Tag den übrig gebliebenen Eintrag. Wenn Sie das Manifest gelöscht haben, gibt es keinen Tag-Eintrag mehr, den Sie entfernen könnten. Beim Neustart des Servers werden Layer gelöscht, auf die seit mehr als einer Stunde nicht mehr verwiesen wird.

Noch eine letzte Unterscheidung, da diese beiden Vorgänge häufig verwechselt werden. ollama rm betrifft den Speicherplatz auf der Festplatte. ollama stop gemma4 entlädt ein Modell aus dem Arbeitsspeicher und gibt keinen Speicherplatz auf der Festplatte frei. Wie lange ein Modell nach Abschluss des Downloads im RAM verbleibt, wird separat festgelegt. Das Thema ein Modell geladen zu lassen, statt es bei jeder Anfrage erneut zu laden behandelt diese Einstellung.

FAQ

Was ist der Unterschied zwischen ollama pull und ollama run?

ollama pull lädt ein Modell auf die Festplatte herunter und wird beendet. ollama run prüft, ob das Modell bereits auf der Festplatte vorhanden ist, lädt es andernfalls herunter, lädt es in den Arbeitsspeicher und öffnet anschließend bei einem Chat-Modell eine interaktive Chatsitzung. Beide Befehle schreiben dieselben Dateien in dasselbe Verzeichnis. Verwenden Sie pull für die Bereitstellung und in Skripten. Verwenden Sie run, wenn eine Person an der Tastatur arbeitet. ollama run <model> "your prompt" sendet einen Prompt und wird beendet. Das ist die skriptfähige Form von run.

Warum scheint mein erster ollama run zu hängen?

Der Befehl kann den Download verifizieren oder das Modell laden. Die Chat-Eingabeaufforderung kann erst erscheinen, wenn das Modell auf der Festplatte liegt und in den Arbeitsspeicher geladen wurde. Ein Modell ist mehrere Gigabyte groß. Ollama schreibt den Fortschrittsbalken auf die Standardfehlerausgabe. Ein run in einem Skript, das diesen Datenstrom verwirft, oder in einem Cronjob zeigt daher während der Verarbeitung nichts an. Öffnen Sie eine zweite Sitzung und führen Sie watch -n5 df -h / aus. Auf einem neuen System bedeutet in Schritten abnehmender freier Speicherplatz, dass der Download läuft. Laden Sie das Modell vorab mit pull herunter, um die Wartezeit für Download und Verifizierung zu vermeiden. Das Laden dauert weiterhin einige Zeit.

Wo speichert Ollama seine Modelle?

Der Speicherort hängt von der Installation ab. Geben Sie ihn daher aus, statt ihn anzunehmen. Führen Sie systemctl cat ollama.service aus, um zu prüfen, ob OLLAMA_MODELS in der Unit oder in einem Drop-in gesetzt ist. Wenn die Variable nicht gesetzt ist, liegt der Speicher unter dem Home-Verzeichnis des Kontos, unter dem der Dienst läuft. Dieses Verzeichnis gibt getent passwd ollama aus. sudo find / -xdev -type d -name blobs 2>/dev/null ermittelt das Layer-Verzeichnis direkt. Beim Container-Image liegt der Speicher im eingebundenen Volume. docker volume inspect ollama gibt den zugehörigen Host-Mountpoint aus.

Wie verschiebe ich Ollama-Modelle auf eine andere Festplatte?

Stoppen Sie den Dienst. Kopieren Sie den Speicher mit rsync -a an den neuen Speicherort. Übertragen Sie das Verzeichnis mit sudo chown -R ollama:ollama <directory> auf das Dienstkonto. Führen Sie anschließend sudo systemctl edit ollama.service aus und fügen Sie Environment="OLLAMA_MODELS=<directory>" unter einer [Service]-Zeile hinzu. Laden Sie die Konfiguration mit sudo systemctl daemon-reload neu und starten Sie den Dienst neu. Prüfen Sie das Ergebnis mit systemctl show ollama --property=Environment und ollama list. Wenn die Liste leer ist, prüfen Sie, ob das neue Verzeichnis den kopierten Speicher enthält und der Benutzer ollama darauf zugreifen kann. Prüfen Sie journalctl -e -u ollama auf Berechtigungsfehler.

Gibt das Löschen der Modelldateien den Speicherplatz frei?

Das manuelle Löschen von Dateien gibt zwar Speicherplatz frei, macht den Speicher jedoch inkonsistent. Wenn Sie einen Blob löschen, führt das Manifest das Modell weiterhin auf. Es erscheint daher weiterhin in ollama list und kann bei der Verwendung fehlschlagen. Wenn Sie ein Manifest löschen, bleiben seine Layer ohne Verweise auf der Festplatte zurück. Verwenden Sie ollama rm <model>. Der Befehl löscht das Manifest und anschließend die Layer, die kein anderes Modell benötigt. Wenn ein Blob bereits manuell gelöscht wurde, führen Sie ollama rm für den Tag aus, um den Eintrag zu entfernen. Wenn das Manifest gelöscht wurde, gibt es keinen T ag-Eintrag mehr, den Sie entfernen können. Starten Sie den Server neu, um Layer zu entfernen, auf die kein Manifest verweist und die seit mehr als einer Stunde vorhanden sind.

War dieser Artikel hilfreich?