Ollama mit rootless Podman auf einem VPS betreiben
So betreiben Sie Ollama sicher mit rootless Podman: dedizierter Benutzer, Lingering, Quadlet nach Reboots, SELinux-Labels und Port 11434 nur lokal.
Ollama in rootless Podman auf einem VPS ausführen
Damit Ollama in rootless Podman auf einem Server läuft, müssen fünf Voraussetzungen erfüllt sein, die eine Anleitung für einen Desktop überspringen kann. Ein dedizierter nicht privilegierter Benutzer besitzt den Container. Für diesen Benutzer ist Lingering aktiviert, damit der Container nach dem Abmelden weiterläuft. Eine Quadlet-Datei übergibt den Container an systemd, sodass er nach einem Reboot wieder gestartet wird. Das Modellverzeichnis trägt auf Distributionen mit aktivem SELinux ein SELinux-Label. Die API lauscht nur auf Loopback, und Sie greifen über einen SSH-(Secure-Shell-)Tunnel darauf zu.
Ollama ist ein Server für Large Language Models (LLM). Das Programm speichert Modellgewichte auf der Festplatte, lädt sie in den Arbeitsspeicher und beantwortet HTTP-Anfragen auf Port 11434. Die lokale API erfordert weder eine Anmeldung noch einen API-Schlüssel. Daher ist das Netzwerk hier die einzige Zugriffskontrolle. Podman führt Container ohne Daemon und ohne root aus. Alles, was aus dem Container ausbricht, startet daher zunächst als gewöhnlicher nicht privilegierter Benutzer. Wenn Sie zuerst den Laufzeitvergleich lesen möchten, lesen Sie wie sich Podman und Docker auf einem VPS unterscheiden. Wenn Sie Container vollständig vermeiden möchten, ist Ollama direkt auf einem VPS installieren der kürzere Weg.
Fedora liefert Podman und SELinux (Security-Enhanced Linux) standardmäßig mit. Die folgenden Befehle setzen Podman 5 oder neuer voraus. Die Quadlet-Unit benötigt außerdem cgroup v2. In der Podman-Dokumentation ist cgroup v2 unabhängig von der Podman-Version als Voraussetzung für Quadlet aufgeführt. Prüfen Sie beides vor dem Start: podman --version für die erste Voraussetzung und podman info | grep -i cgroup für die zweite. Dabei muss die Zeile cgroupVersion den Wert v2 enthalten. Unter Ubuntu 24.04 ist das Paket podman im Archiv in Version 4.9.3 verfügbar und damit älter als die dort genannte Version. Prüfen Sie dort daher zuerst die Version.
Warum die Laptop-Version auf einem Server angepasst werden muss
Das Fedora Magazine veröffentlichte am 5. August 2026 eine klare Anleitung für diesen Stack: Ollama lokal mit Podman unter Fedora Linux ausführen, von Yazan Monshed. Sie bietet einen guten Einstieg in die Werkzeuge. Sie richtet sich jedoch an einen Laptop. Vier ihrer Entscheidungen verhalten sich auf einem Rechner mit öffentlicher IP-Adresse anders.
- Der Container wird mit einem einfachen
podman run -dgestartet. Ein manuell gestarteter Container wird nach einem Reboot nicht erneut gestartet, weil kein automatischer Start konfiguriert wurde. - Verwendet wird der veränderliche Tag
ollama/ollama. Auf einem Laptop bemerken Sie den Tag, an dem sich das Verhalten ändert. Auf einem Server zeigt sich das Problem möglicherweise zuerst durch ein Skript, das über Nacht nicht mehr funktioniert. - Die Veröffentlichung erfolgt mit
-p 11434:11434. Dadurch wird an alle Interfaces gebunden. Hinter einem Heimrouter ist der Dienst aus dem Internet nicht erreichbar. Auf einem VPS handelt es sich dagegen um eine öffentliche Inference-API ohne Passwortschutz. - Der Container läuft unter Ihrem eigenen Login-Benutzer. Auf einem Server sollte das Konto, dem der Container gehört, keine anderen Daten besitzen. Bei einem Ausbruch aus dem Container landet der Angreifer dann in einem leeren Home-Verzeichnis.
Keine dieser Entscheidungen ist für den Rechner, für den die Anleitung geschrieben wurde, falsch. Sie müssen lediglich jede davon erneut prüfen, wenn der Server von überall erreichbar ist und niemand davor sitzt.
Unprivilegierten Benutzer anlegen und subuid prüfen
Rootless Podman bildet die internen Benutzer-IDs (UID) des Containers auf einen Block nicht verwendeter IDs auf dem Host ab. Dieser Block ist in /etc/subuid und /etc/subgid definiert. Podman unterstützt auch einen Modus mit einer einzelnen UID. Für diese Einrichtung konfigurieren Sie jedoch Bereiche für untergeordnete IDs.
sudo dnf install -y podman # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgidgrep sollte zwei Zeilen ausgeben, jeweils eine aus jeder Datei. Jede Zeile muss einen Bereich mit 65536 IDs angeben:
/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536Die Anfangsnummer wird bei Ihnen abweichen. Das ist unproblematisch. Wenn grep keine Ausgabe erzeugt, hat useradd keinen Bereich zugewiesen. Podman meldet eine fehlende Zuordnung mit einer Nachricht wie dieser:
Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuidWeisen Sie einen Bereich zu, den kein anderer Benutzer verwendet, und teilen Sie Podman mit, dass seine alte Zuordnung veraltet ist:
sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migrateWenn Sie das Passwort sperren, wird die Anmeldung als ollama per Passwort verhindert. Andere Authentifizierungsmethoden wie SSH-Schlüssel bleiben möglich. Mit sudo -iu ollama wechseln Sie von Ihrem Administratorkonto zu diesem Benutzer.
Lingering aktivieren, damit der Dienst nach der Abmeldung weiterläuft
Die systemd-Instanz eines Benutzers wird normalerweise bei der Anmeldung gestartet und nach der letzten Abmeldung beendet. Dabei wird auch /run/user/<uid> entfernt. Die von dieser Instanz verwalteten Dienste werden beendet, sobald die Instanz stoppt. Lingering hält die Benutzerinstanz ohne zugeordnete Sitzung am Laufen.
sudo loginctl enable-linger ollama
loginctl show-user ollama --property=LingerDieser Befehl sollte Linger=yes ausgeben. Aktivieren Sie Lingering, bevor Sie die Unit erstellen. Dadurch stehen der User Manager und sein Laufzeitverzeichnis auch ohne Anmeldesitzung zur Verfügung.
Es gibt noch einen weiteren Schritt, den niemand erwartet. sudo -iu ollama stellt zwar eine Shell bereit, aber keinen Session Bus. Daher schlägt systemctl --user sofort fehl:
Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not definedsystemd sucht den Benutzerbus unter $XDG_RUNTIME_DIR/bus. sudo -i setzt diese Variable nicht. Setzen Sie sie daher in jeder Administrations-Shell, in der Sie diesen Dienst verwalten:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user statusWo die Modelldateien gespeichert werden und wie viel Speicherplatz einzuplanen ist
Ollama schreibt die Gewichte innerhalb des Containers nach /root/.ollama/models. Binden Sie ein Verzeichnis aus dem Home-Verzeichnis des Benutzers in diesen Pfad ein. Dann werden die Dateien an einem messbaren Ort gespeichert: /home/ollama/ollama-data/models. Die Blobs liegen in models/blobs als Content-Addressed-Dateien. models/manifests enthält den kleinen Index, der die Dateien referenziert. Wenn Sie stattdessen ein benanntes Volume verwenden, wie im Beitrag von Fedora Magazine, liegt derselbe Verzeichnisbaum unter /home/ollama/.local/share/containers/storage/volumes/<volume>/_data. In beiden Fällen schreiben ollama pull und ollama run die Gewichte in denselben Verzeichnisbaum. Die beiden Befehle unterscheiden sich nur darin, ob nach Abschluss des Downloads einmalig eine Chatsitzung geöffnet wird.
Ermitteln Sie den benötigten Speicherplatz, bevor Sie etwas herunterladen. Die veröffentlichten Downloadgrößen geben den Mindestwert vor.
Die Daten hinter diesem Diagramm
[
{
"label": "gemma3:4b",
"download_gb": 3.4
},
{
"label": "mistral:7b",
"download_gb": 4.4
},
{
"label": "qwen3:8b",
"download_gb": 5.2
},
{
"label": "gemma3:12b",
"download_gb": 8.2
},
{
"label": "qwen3:14b",
"download_gb": 9.3
},
{
"label": "gemma3:27b",
"download_gb": 17
},
{
"label": "qwen3:30b",
"download_gb": 19
}
]Alle 7 Zeilen enthalten Angaben, die auf ollama.com/library veröffentlicht wurden. Es handelt sich nicht um auf einem Datenträger gemessene Größen. Das kleinste Tag hier, gemma3:4b, lädt 3.4 GB herunter. Das größte, qwen3:30b, lädt 19 GB herunter. Das Container-Image belegt zusätzlich Speicher in Podmans eigenem Speicher. Prüfen Sie daher beide Werte zusammen mit podman system df und df -h /home. Für eine gute Leistung sollten Sie ungefähr die Dateigröße des Modells im RAM sowie zusätzlichen Speicher für das Kontextfenster einplanen. Der physische RAM ist keine harte Grenze: Durch dateigestütztes Memory-Mapping oder ausreichend Swap kann ein 19-GB-Modell auf einem VPS mit 16 GB ausgeführt werden, allerdings mit geringerer Leistung.
Fixieren Sie den Image-Tag und verwenden Sie den vollständigen Registry-Namen
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9Verwenden Sie einen veröffentlichten Versionstag, 0.32.9 im August 2026, und nicht latest. Seitdem wurden neuere Releases veröffentlicht: Am 30. Oktober 2026 war der neueste einfache Versionstag auf Docker Hub 0.40.13. Prüfen Sie daher die Tag-Seite und verwenden Sie das aktuelle Release sowohl im Befehl pull als auch in der Zeile Image=. Ein fixierter Versionstag verhindert, dass nicht von Ihnen ausgewählte Releases auf dem Server verwendet werden. Änderungen im Verhalten gehen dadurch normalerweise auf eine von Ihnen vorgenommene Änderung zurück. Ein Tag ist jedoch weiterhin nur ein Zeiger und kein Fingerabdruck: Die Registry kann ihn auf ein anderes Image verschieben, sobald jemand erneut unter demselben Namen pusht. Nur ein Digest ist unveränderlich. Podman akzeptiert in Image= beide Formen. Wenn ein Neustart um 04:00 exakt die von Ihnen getestete Binärdatei ausführen muss, führen Sie nach dem Pull podman images --digests docker.io/ollama/ollama aus und schreiben Sie stattdessen Image=docker.io/ollama/ollama@sha256:<digest>. Docker Hub veröffentlicht für dieselben Versionen auch die Tags -rc und -rocm. Verwenden Sie den einfachen Tag, sofern Sie keine AMD-GPU haben.
Geben Sie außerdem den Registry-Host an. Unter Fedora gibt es in einer systemd-Unit kein Terminal für die Abfrage eines kurzen Namens. Die Unit schlägt dann mit folgender Meldung fehl:
Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are definedEin vorheriger manueller Pull ist optional, aber sinnvoll. Dadurch wird der mehrere Gigabyte große Download aus dem Start-Timeout der Unit herausgehalten.
Die Quadlet-Unit, die einen Reboot übersteht
Quadlet ist der systemd-Generator von Podman. Sie erstellen eine .container-Datei, systemd wandelt sie beim Booten in einen Dienst um, und podman generate systemd ist nicht mehr erforderlich. Speichern Sie die Datei als /home/ollama/.config/containers/systemd/ollama.container. Sie muss dem Benutzer ollama gehören.
[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target
[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1
[Service]
Restart=always
TimeoutStartSec=900
[Install]
WantedBy=default.targetDer Dateiname legt den Namen des Dienstes fest. Daher wird ollama.container zu ollama.service.
systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.servicestatus sollte active (running) anzeigen. Führen Sie systemctl --user enable ollama.service nicht aus. Die Unit existiert nicht als Datei auf dem Datenträger. Daher lehnt systemd den Befehl ab:
Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.Der Abschnitt [Install] übernimmt diese Aufgabe bereits. Quadlet erstellt den Link für den Start beim Booten selbst während daemon-reload. Deshalb ist dieser Befehl nicht optional. TimeoutStartSec=900 deckt den ersten Start ab, bei dem das Image noch heruntergeladen werden muss. Die standardmäßigen 90 Sekunden reichen für einen Download mit mehreren Gigabyte nicht aus, und systemd beendet den Start dann mit einem Fehler. OLLAMA_KEEP_ALIVE=30m hält ein Modell zwischen Anfragen im Arbeitsspeicher, statt es nach fünf Minuten zu entladen. Die Abwägungen werden unter Ein Ollama-Modell im Arbeitsspeicher geladen halten erläutert. Falls einige der hier verwendeten systemd-Begriffe neu für Sie sind, erklärt wie systemd-Dienste und Timer auf einem VPS funktionieren die Units selbst.
Warum das Modellverzeichnis unter SELinux den Zugriff verweigert
Auf Fedora, RHEL, Rocky und AlmaLinux ist SELinux standardmäßig im Enforcing-Modus aktiv. Ein Containerprozess läuft in der Domäne container_t, während ein Verzeichnis im Home-Verzeichnis eines Benutzers mit user_home_t gekennzeichnet ist. Die Richtlinie erlaubt diesen Zugriff nicht. Daher kann Ollama seine Modellstruktur nicht erstellen, und der Container wird beendet. getenforce gibt auf diesen Systemen Enforcing aus. Die Zugriffsverweigerung wird protokolliert:
sudo ausearch -m avc -ts recentSie sehen eine Zeile, in der die Domäne und das Label des Ziels genannt werden:
avc: denied { write } for pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0Das :Z am Ende der Volume=-Zeile behebt das Problem. Es versieht das Hostverzeichnis mit dem Label container_file_t und weist ihm eine private MCS-Kategorie (Multi-Category Security) zu, die nur dieser Container trägt. Das kleingeschriebene :z verwendet stattdessen ein gemeinsam genutztes Label. Das ist die richtige Wahl, wenn zwei Container dasselbe Verzeichnis lesen.
Beachten Sie :Z, da der Befehl destruktiv und ohne Ausgabe arbeitet. Die Neuzuordnung der Labels erfolgt rekursiv. Wenn Sie den Befehl auf /home/ollama anwenden, wird jede Datei in diesem Home-Verzeichnis neu gekennzeichnet. Dadurch funktioniert der Zugriff dieses Benutzers auf seine SSH-Schlüssel nicht mehr. Übergeben Sie :Z immer ein eigenes Unterverzeichnis, das keine anderen Dateien enthält. Benannte Volumes benötigen den Befehl nicht, da Podman sie beim Erstellen korrekt kennzeichnet. Einen umfassenderen Überblick bietet SELinux-Grundlagen für einen Server mit Erläuterungen zu Kontexten und Booleans. Unter Ubuntu und Debian wird stattdessen AppArmor verwendet. :Z hat dort keine Wirkung. Wenn der Befehl in der Unit bleibt, ist das unproblematisch.
Port 11434 schließen und über SSH auf die API zugreifen
PublishPort=127.0.0.1:11434:11434 bindet die Host-Seite an das Loopback-Interface. Überprüfen Sie das:
ss -ltnp | grep 11434
curl http://127.0.0.1:11434Die Ausgabe von ss muss 127.0.0.1:11434 anzeigen, und curl muss mit Ollama is running antworten. Wenn ss stattdessen 0.0.0.0:11434 oder *:11434 anzeigt, lauscht der Port auf allen Interfaces. Ob das Internet den Port dann erreichen kann, hängt von Ihren Firewall-Regeln und vom Netzwerk vor dem Server ab. Ein Wildcard-Listener ist daher nicht automatisch aus dem Internet erreichbar. Verlassen Sie sich trotzdem nicht darauf: Die Ubuntu-Dokumentation weist darauf hin, dass ufw anfangs standardmäßig deaktiviert ist. Eine Firewall-Regel ist eine weitere Konfiguration, die korrekt bleiben muss. Korrigieren Sie die Bind-Adresse, damit der Port von vornherein nie öffentlich lauscht.
Achten Sie genau darauf, an welche Seite Sie binden. Die Adresse in PublishPort ist die Host-Adresse. Innerhalb des Containers muss Ollama weiterhin auf allen Interfaces lauschen. Das ist die Standardeinstellung des Images. Wenn Sie Environment=OLLAMA_HOST=127.0.0.1 setzen, bindet Ollama an das eigene Loopback-Interface des Containers. Podman leitet veröffentlichte Verbindungen stattdessen an die Netzwerkadresse des Containers weiter. Deshalb wird jede Anfrage abgewiesen, auch vom Host aus.
Ein offener Port 11434 verursacht zwei Probleme. Ollama bietet keine Authentifizierung. Jeder, der den Port erreicht, kann über /api/tags Ihre Modelle auflisten, über /api/generate Inferenz auf Ihrer CPU ausführen und Ihr verfügbares Datenvolumen nutzen, neue Modelle auf Ihre Festplatte herunterladen und vorhandene Modelle löschen. Zweitens sendet unverschlüsseltes HTTP an einen entfernten Port Prompts und Ausgaben im Klartext. Jede Maschine entlang des Übertragungswegs kann sie lesen. Beide Probleme verschwinden, wenn der Port den Server nicht verlässt.
Leiten Sie den Port von Ihrer Arbeitsstation aus über SSH weiter:
ssh -N -L 11434:127.0.0.1:11434 you@vps.example.comJetzt ist http://127.0.0.1:11434 auf Ihrem Laptop der Ollama-Dienst des Servers. Die Verbindung läuft innerhalb der Verschlüsselung der SSH-Sitzung. Wenn auf Ihrem Laptop bereits Ollama läuft, schlägt die lokale Bindung mit bind [127.0.0.1]:11434: Address already in use fehl. Verwenden Sie -L 11435:127.0.0.1:11434 und richten Sie Ihren Client auf 11435.
Wenn ein Browser-Client den Zugriff benötigt, setzen Sie stattdessen einen Reverse Proxy mit Passwort davor. Ein Caddy-Site-Block ist kurz, und caddy hash-password gibt den benötigten bcrypt-Hash aus:
ollama.example.com {
basic_auth {
you $2a$14$replace_with_the_generated_hash
}
reverse_proxy 127.0.0.1:11434
}Caddy ruft selbstständig ein Zertifikat über TLS (Transport Layer Security) ab. Dadurch wird der Datenverkehr verschlüsselt. Testen Sie Ihren Client zuerst: Clients, die keinen Authorization-Header senden können, schlagen bei Basic Auth mit einem leeren 401 Unauthorized fehl. Beim SSH-Tunnel tritt dieses Problem nicht auf. Deshalb ist er hier die Standardempfehlung.
Modell herunterladen und den gesamten Pfad prüfen
podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models/api/tags gibt eine JSON-Liste mit gemma3:4b zurück. /api/generate gibt nach einer kurzen Pause, während die Gewichte von der Festplatte geladen werden, ein JSON-Objekt mit einem Feld response zurück. du sollte eine Zahl nahe der veröffentlichten Downloadgröße melden. Beweisen Sie anschließend den Teil, um den es in dieser gesamten Anleitung geht:
sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.serviceactive bedeutet, dass der Prozess weiterhin ausgeführt wird. Der Abschnitt [Install] und daemon-reload haben dann ordnungsgemäß funktioniert. Wenn inactive gemeldet wird, prüfen Sie zuerst diese drei Punkte. Untersuchen Sie anschließend journalctl --user -u ollama.service auf Fehler beim Start.
Fehlerbilder und die angezeigten Meldungen
Der Container ist nach einem Reboot verschwunden. Prüfen Sie zuerst loginctl show-user ollama --property=Linger, denn ohne Linger=yes wird die systemd-Instanz des Benutzers beim Booten nicht gestartet. Wenn Lingering aktiviert ist, prüfen Sie den Abschnitt [Install] in der Datei .container, führen Sie systemctl --user daemon-reload aus und untersuchen Sie journalctl --user -u ollama.service auf Startfehler.
Error: statfs /home/ollama/ollama-data: no such file or directory. Die Quelle des Bind-Mounts muss vorhanden sein, bevor der Container startet. Podman erstellt keine Verzeichnisse auf dem Host. Führen Sie mkdir -p ~/ollama-data als Benutzer ollama aus.
Der Start schlägt nach 90 Sekunden fehl. journalctl --user -u ollama.service zeigt Start operation timed out. Terminating. an, weil der Image-Pull noch lief. Führen Sie den Pull manuell aus oder behalten Sie TimeoutStartSec=900 bei.
Der Container startet und wird beendet. podman logs ollama und sudo ausearch -m avc -ts recent zeigen zusammen, ob das SELinux-Label die Ursache ist. Ein AVC, in dem container_t und user_home_t genannt werden, bedeutet, dass :Z fehlt.
Anfragen vom Host werden abgewiesen. curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused mit dem Dienst active bedeutet normalerweise, dass OLLAMA_HOST im Container auf eine Loopback-Adresse gesetzt wurde. Entfernen Sie diese Zeile.
Die Generierung ist sehr langsam oder der Container wird beendet. Ohne GPU läuft die Inferenz auf der CPU und ist bei einem großen Modell naturgemäß langsam. Speicher-Mapping über den Datenträger oder Swap verlangsamt die Inferenz zusätzlich, wenn das Modell nicht in den physischen RAM passt. Wenn ein Container während einer Anfrage beendet wird und signal: killed in den Logs steht, muss die Ursache geprüft werden. Bestätigt das Kernel-Log einen Out-of-Memory-Kill, wählen Sie einen kleineren Tag aus der obigen Tabelle.
Ein festgelegtes Image aktualisieren
Das Festlegen eines Images bedeutet, dass Sie Updates gezielt durchführen und sie nicht unerwartet erhalten. Bearbeiten Sie Image= in ollama.container. Laden Sie die Konfiguration anschließend neu und starten Sie den Dienst neu:
systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --versionDie Modelle befinden sich im Bind-Mount und bleiben beim Image-Wechsel unverändert erhalten. AutoUpdate=registry im Abschnitt [Container] konfiguriert Digest-Prüfungen gegen die Registry. podman auto-update ruft, manuell oder über seinen systemd-Timer, ein geändertes Image ab und startet die Unit neu. Das ist für ein bewegliches Tag geeignet. Neben einem Versions-Tag wird der Vorgang nur ausgelöst, wenn der Herausgeber dasselbe Tag erneut veröffentlicht. Genau diese ungeplante Änderung soll durch das Festlegen verhindert werden. Lassen Sie die Option hier daher deaktiviert. Sichern Sie /home/ollama/ollama-data/models/manifests und die Datei .container. Sichern Sie die Blobs nicht. Sie sind groß, und ollama pull ruft sie auf einem neuen System erneut ab.
FAQ
Warum wird mein rootless Podman-Container beendet, wenn ich mich abmelde?
Die systemd-Instanz eines Benutzers und ihr Verzeichnis /run/user/<uid> werden normalerweise nach dem Ende der letzten Sitzung dieses Benutzers beendet. Dadurch werden die von dieser Instanz verwalteten Dienste gestoppt. Führen Sie sudo loginctl enable-linger ollama aus und stellen Sie sicher, dass loginctl show-user ollama --property=Linger den Wert Linger=yes ausgibt. Aktivieren Sie Lingering, bevor Sie die Quadlet-Unit erstellen. Dadurch stehen der Benutzer-Manager und sein Laufzeitverzeichnis auch ohne aktive Anmeldesitzung zur Verfügung.
Benötige ich SELinux-Labels für das Ollama-Modellverzeichnis?
Unter Fedora, RHEL, Rocky und AlmaLinux ist dies erforderlich, wenn Sie ein Verzeichnis des Hosts einbinden. Der Container läuft in der Domäne container_t. Ein Verzeichnis im Home-Verzeichnis ist mit user_home_t gekennzeichnet. Dadurch wird der Schreibzugriff verweigert und Ollama beendet sich. Hängen Sie :Z an die Zeile Volume= an und verwenden Sie dafür ein eigenes Unterverzeichnis. Die Neumarkierung wird rekursiv durchgeführt. Wenn Sie :Z auf ein vollständiges Home-Verzeichnis verweisen, funktioniert der Zugriff dieses Benutzers auf SSH-Schlüssel nicht mehr. Benannte Volumes werden von Podman korrekt gekennzeichnet und benötigen keine zusätzlichen Einstellungen.
Wie viel Speicherplatz benötigt ein Ollama-Modell?
Gehen Sie von der veröffentlichten Downloadgröße auf ollama.com/library aus. Sie reicht von 3.4 GB für gemma3:4b bis zu 19 GB für qwen3:30b. Rechnen Sie zusätzlich das Podman-Image ein und lassen Sie Reserve. Ein zweites Modell ersetzt das erste nicht auf dem Datenträger. Prüfen Sie df -h /home vor dem Abruf und du -sh ~/ollama-data/models danach. Für eine gute Leistung sollten Sie ungefähr die Dateigröße des Modells im RAM sowie zusätzlichen Speicher für das Kontextfenster einplanen. Speicherzuordnung über den Datenträger oder ausreichend Swap kann den Betrieb eines größeren Modells mit weniger physischem RAM ermöglichen, verringert jedoch die Leistung.
Ist es sicher, Port 11434 auf einem VPS zu veröffentlichen?
Nein. Ollama wird ohne jegliche Authentifizierung ausgeliefert. Jeder, der den Port erreicht, kann Ihre Modelle auflisten, löschen, neue Modelle auf Ihren Datenträger laden und Inferenz auf Ihrer CPU sowie zulasten Ihres verfügbaren Netzwerkvolumens ausführen. Unverschlüsseltes HTTP über das Internet überträgt außerdem jeden Prompt und jede Antwort im Klartext. Binden Sie die Host-Seite mit PublishPort=127.0.0.1:11434:11434 an 127.0.0.1, überprüfen Sie dies mit ss -ltnp | grep 11434 und greifen Sie über einen SSH-Tunnel oder einen Reverse Proxy mit Passwortschutz darauf zu.