llama.cpp-Server auf einem VPS betreiben
Bauen Sie llama.cpp aus einem festen Tag, laden Sie GGUF-Modelle per OpenAI-kompatibler API und sichern Sie den Betrieb mit localhost sowie systemd ab.
Was Sie einrichten
Der Betrieb des llama.cpp-Servers auf einem VPS bedeutet: eine Binärdatei, llama-server, die eine einzelne GGUF-Modelldatei lädt und HTTP-Anfragen über eine mit OpenAI kompatible API beantwortet. Richten Sie einen kompatiblen Client auf http://127.0.0.1:8080/v1 und testen Sie anschließend die Funktionen, die Ihre Anwendung verwendet: Die Kompatibilität ist nur teilweise gegeben. Die Installation ist der einfache Teil.
Der übrige Aufwand betrifft den Betrieb: Version festschreiben, den Port auf localhost beschränken, eine systemd-Unit erstellen und festlegen, was passiert, wenn auf dem Server der Arbeitsspeicher knapp wird. Darum geht es in diesem Leitfaden. Wenn Sie noch nicht zwischen den beiden naheliegenden Optionen entschieden haben, lesen Sie zuerst die Unterschiede zwischen Ollama und llama.cpp, denn dieses Tutorial behandelt bewusst den Teil, den dieser Vergleich auslässt.
Einen Release-Tag auswählen und notieren
llama.cpp verwendet Tags mit Build-Nummern wie b10488 für nächtliche Entwicklungs-Builds sowie semantische Versions-Tags wie vX.Y.Z für offizielle Releases. b10488 ist der hier verwendete, am 18 August 2026 veröffentlichte Build. „Latest“ ändert sich laufend. Die einzige Version, die Sie unterstützen können, ist die von Ihnen getestete Version. Wählen Sie einen Tag, notieren Sie ihn und verwenden Sie dieselbe Zeichenfolge beim Klonen, im Namen Ihrer Binärdatei und in Ihren Notizen.
Der Tag b10488 enthält ebenfalls vorkompilierte Archive. Für einen CPU-only-x86-VPS ist das llama-b10488-bin-ubuntu-x64.tar.gz. Wenn Sie einen ARM-VPS statt x86 verwenden, finden Sie daneben ein arm64-Archiv.
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | headListen Sie das Archiv vor dem Entpacken auf. So sehen Sie, wo die Dateien abgelegt werden. Diese Binärdateien sind gegen die C-Bibliothek des Images gelinkt, mit dem sie erstellt wurden. Auf einer älteren Distribution schlagen sie beim Start mit einer Fehlermeldung fehl, die eine nicht installierte GLIBC_-Version nennt. Das Erstellen aus dem Quellcode dauert auf einem kleinen VPS nur wenige Minuten und beseitigt diese gesamte Fehlerklasse. Daher wird im Folgenden dieser Weg verwendet.
llama-server aus einem festgelegten Tag erstellen
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2--branch b10488 auf einem --depth 1-Klon checkt ausschließlich diesen Tag aus. Dadurch kann sich der Quellstand während des Builds nicht unbemerkt ändern.
libssl-dev ist wichtig, weil die Option LLAMA_OPENSSL standardmäßig aktiviert ist. Sie ermöglicht es der Binärdatei, später Modelle über HTTPS herunterzuladen. Ohne die OpenSSL-Entwicklungsdateien weist dieser Build darauf hin, dass die HTTPS-Unterstützung deaktiviert ist, anstatt die Konfiguration fehlschlagen zu lassen.
-DBUILD_SHARED_LIBS=OFF bindet llama.cpp und GGML in die ausführbare Datei ein. Abhängigkeiten von Systembibliotheken bleiben jedoch bestehen. Der Standard-Build legt gemeinsam genutzte Bibliotheken neben der ausführbaren Datei ab. Wenn Sie anschließend nur die ausführbare Datei nach /usr/local/bin kopieren, schlägt der Start daher mit error while loading shared libraries: libllama.so fehl.
-t llama-server erstellt nur das Server-Ziel. Der Standard-Build kompiliert außerdem die übrigen Werkzeuge und die Tests. Auf einer VPS mit zwei CPU-Kernen dauert das mehrere zusätzliche Minuten für Dateien, die Sie nie ausführen werden.
-j 2 ist beabsichtigt. Jeder parallele Kompilierungsauftrag benötigt einen eigenen Arbeitssatz. Dadurch endet -j $(nproc) auf einem kleinen Tarif mit c++: fatal error: Killed signal terminated program cc1plus. Dabei beendet der Out-of-Memory-Killer des Kernels den Compiler. Verringern Sie die Anzahl der Aufträge oder fügen Sie für den Build Swap hinzu.
Ein Flag möchten Sie möglicherweise ändern: GGML_NATIVE ist standardmäßig aktiviert. Dadurch zielt der Compiler auf die genaue CPU, auf der der Build ausgeführt wird. Das ist sinnvoll, wenn Sie den Build auf dem Rechner erstellen, auf dem die Binärdatei später läuft. Wenn Sie den Build einmal erstellen und die Binärdatei auf einen anderen Host kopieren, fügen Sie -DGGML_NATIVE=OFF hinzu. Andernfalls beendet sich eine Binärdatei, die Instruktionen verwendet, die auf der anderen CPU nicht vorhanden sind, bei der ersten Inferenz mit Illegal instruction (core dumped).
Installieren Sie die Binärdatei unter einem Namen, der den Tag enthält.
./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server--version gibt die Build-Nummer und den Commit aus. Diese müssen mit dem ausgecheckten Tag übereinstimmen. Falls das nicht der Fall ist, haben Sie etwas anderes erstellt. Wenn die Nummer im Dateinamen enthalten ist und ein Symlink auf diese Datei zeigt, besteht ein Upgrade aus einem ln -sfn und einem Neustart. Ein Rollback verwendet denselben Befehl mit der alten Nummer.
Ein GGUF-Modell herunterladen und zuerst den Speicherplatz prüfen
GGUF ist das einzige Dateiformat, das llama.cpp lädt. Eine Datei enthält die Gewichte, den Tokenizer und die Metadaten. Sie müssen daher nichts weiter installieren. Das Suffix des Dateinamens gibt die Quantisierung an. Sie bestimmt die Präzision, mit der die Gewichte gespeichert werden: Q4_K_M ist eine 4-Bit-Mischung, Q8_0 verwendet 8 Bit und f16 ist die nicht quantisierte Datei mit halber Präzision.
Erstellen Sie ein Dienstkonto und ein Modellverzeichnis, bevor Sie etwas herunterladen.
sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srvDer Server kann ein Modell mit -hf selbst herunterladen. Damit lässt sich am schnellsten prüfen, ob Ihr Build funktioniert.
sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080LLAMA_CACHE legt das Downloadverzeichnis fest. Ohne diese Option oder XDG_CACHE_HOME wird die Datei unter ~/.cache/llama.cpp im Home-Verzeichnis des Kontos abgelegt, das den Befehl ausgeführt hat. Die folgende Unit macht /srv/llama schreibgeschützt. Führen Sie anschließend ls -lh /srv/models aus, da der Name der zwischengespeicherten Datei aus dem Repository-Namen und nicht aus dem einfachen Dateinamen abgeleitet wird.
Laden Sie das Modell für einen Dienst in einen von Ihnen gewählten Pfad herunter. So kann die Unit-Datei auf einen stabilen Pfad verweisen.
sudo -u llama curl -L --output-dir /srv/models -O \
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.ggufDer Speicherplatz ist das erste Limit, auf das viele stoßen. Dies sind die veröffentlichten Dateigrößen für zwei Modelle, geprüft am 18. August 2026.
Die Daten hinter diesem Diagramm
[
{
"label": "gemma-3-1b-it Q4_K_M",
"size_gb": 0.81
},
{
"label": "gemma-3-1b-it Q8_0",
"size_gb": 1.07
},
{
"label": "gemma-3-1b-it f16",
"size_gb": 2.01
},
{
"label": "gpt-oss-20b MXFP4",
"size_gb": 12.11
}
]Die 4-Bit-Datei für das 1B-Modell ist 0.81 GB groß. Dasselbe Modell ohne Quantisierung benötigt 2.01 GB. Die Dateigröße ist damit mehr als doppelt so hoch. Ein 20B-Modell mit MXFP4 benötigt 12.11 GB. Danach muss es zusätzlich in den Arbeitsspeicher eingelesen werden. Wenn Sie eine bestimmte Modellfamilie prüfen, zeigt dieselbe Größenberechnung für GLM, wie schnell das Hauptmodell den verfügbaren Speicher eines VPS überschreitet, während ein kleineres Schwester‑modell noch hineinpasst.
Prüfen Sie df -h vor jedem Download. Wenn das Root-Dateisystem während einer Übertragung von 12 GB voll läuft, können alle anderen Prozesse, die schreiben möchten, fehlschlagen. Das betrifft auch das Journal.
Führen Sie den Prozess einmal manuell aus und prüfen Sie ihn.
sudo -u llama /usr/local/bin/llama-server \
--model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--ctx-size 4096 --parallel 1 --threads 2 --no-webuiFragen Sie in einer zweiten Sitzung den Server ab, ob er bereit ist.
curl -s http://127.0.0.1:8080/healthWährend die Datei geladen wird, erhalten Sie HTTP 503 mit folgendem Body:
{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}Wenn der Server bereit ist, lautet der Body {"status": "ok" }. Senden Sie anschließend eine echte Anfrage.
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'Ein JSON-Objekt mit einem choices-Array zeigt, dass der Server funktioniert. Das Feld model ist vorhanden, weil OpenAI-Clients es immer mitsenden. Auf diesem Server ist ein einzelnes Modell geladen. Daher wird der Wert nicht zur Auswahl verwendet.
Die OpenAI-kompatible API und was sonst noch auf dem Port erreichbar ist
POST /v1/chat/completions, POST /v1/completions, POST /v1/responses und POST /v1/embeddings sind OpenAI-kompatible Routen, und GET /v1/models meldet das geladene Modell. Für Embeddings ist ein Modell mit einem anderen Pooling als none erforderlich. GET /health ist die oben beschriebene Readiness-Prüfung, GET /props gibt die aktuellen Servereinstellungen zurück, und GET /metrics stellt Prometheus-Zähler bereit, wenn Sie den Server mit --metrics starten.
Für kompatible Aufrufe über das OpenAI SDK setzen Sie die Basis-URL auf http://127.0.0.1:8080/v1 und geben Sie eine nicht leere API-Key-Zeichenfolge an, falls das SDK einen solchen Schlüssel verlangt. Das garantiert keine Kompatibilität mit allen SDK-Funktionen. Der Schlüssel wird erst geprüft, wenn Sie selbst --api-key oder --api-key-file konfigurieren.
Übernehmen Sie keine Durchsatzangabe ungeprüft als Wert für Ihre eigene Planung. Die Geschwindigkeit der CPU-Inferenz hängt von der Anzahl der Kerne, der Speicherbandbreite und den anderen Mandanten auf dem gemeinsam genutzten Host ab. Messen Sie daher die Tokens pro Sekunde auf Ihrem eigenen System und behandeln Sie dieses Ergebnis als maßgeblich. Steal Time durch einen ausgelasteten Nachbarn zeigt sich hier als Generierungsgeschwindigkeit, die sich von Stunde zu Stunde ändert.
Auf 127.0.0.1 beschränken und einen Proxy davorschalten
--host verwendet standardmäßig 127.0.0.1. Der Server ist daher von außen nicht erreichbar, bis Sie diesen Wert ändern. Lassen Sie ihn unverändert. Verwenden Sie den Proxy für Benutzerkonten, Ratenbegrenzungen für Anfragen und Audit-Logging. Die integrierte API-Authentifizierung verwendet statische Schlüssel: --api-key akzeptiert einen Schlüssel oder eine kommagetrennte Liste, und --api-key-file liest einen Schlüssel pro Zeile. Ein offener Inference-Port stellt jedem, der ihn findet, kostenlos Rechenleistung bereit. Derselbe Fehler bei Ollama hat dieselbe Ursache: eine selbst gehostete Model-API absichern gilt hier unverändert.
Beenden Sie TLS (Transport Layer Security) in nginx und leiten Sie die Anfragen an den Loopback-Port weiter.
server {
listen 443 ssl;
server_name llm.example.com;
location /v1/ {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off;
proxy_read_timeout 600s;
}
}proxy_buffering off leitet Streaming-Antworten an den Client weiter, sobald nginx sie empfängt. Bei aktiviertem Buffering puffert nginx die Daten vom Upstream, statt jedes Ereignis sofort weiterzuleiten. proxy_read_timeout 600s gibt langsamen Antworten mehr Zeit. Der Wert bezeichnet die längste Zeit, die nginx zwischen zwei Lesevorgängen vom Server wartet. Er begrenzt nicht die gesamte Antwort. Beim Standardwert von 60 Sekunden läuft daher eine nicht gestreamte Anfrage ab, wenn sie in diesem Zeitraum keine Daten sendet. In b10488 senden Streaming-Antworten standardmäßig alle 30 Sekunden SSE-Keepalive-Pings, auch während einer langen Prompt-Verarbeitung. Rufen Sie das Zertifikat mit Certbot und Let's Encrypt mit nginx ab.
Die systemd-Unit
Schreiben Sie /etc/systemd/system/llama-server.service.
[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes
[Install]
WantedBy=multi-user.targetDie Einstellungen stehen in Environment=-Zeilen, weil llama-server die LLAMA_ARG_*-Variablen für die meisten Flags liest und ein Kommandozeilenargument die entsprechende Variable überschreibt. Dadurch gibt es eine zentrale Stelle, an der Sie die Kontextgröße ändern können. Außerdem bleibt ExecStart kurz genug, um es auf einen Blick zu erfassen.
ProtectSystem=strict macht das Dateisystem für diese Unit schreibgeschützt. Ausgenommen sind unter anderem die privaten temporären Verzeichnisse. Das ist unproblematisch, weil der Server das Modell nur liest. Fügen Sie ReadWritePaths=/srv/models und Environment=LLAMA_CACHE=/srv/models hinzu, wenn der Dienst selbst mit -hf Modelle herunterladen soll. ProtectHome=yes blendet /home, /root und /run/user aus. Das Home-Verzeichnis dieses Dienstkontos unter /srv/llama wird dadurch nicht ausgeblendet. ProtectSystem=strict macht dieses Verzeichnis jedoch schreibgeschützt.
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pagerenable --now ist der Teil, den viele überspringen. Ohne enable ist der Server nach dem nächsten Reboot nicht mehr vorhanden. Wenn Sie geplante Aufgaben rund um den Dienst benötigen, beispielsweise eine nächtliche Prüfung auf ein neues Release, ist ein systemd-Dienst mit Timer der passende Mechanismus dafür.
Legen Sie fest, was bei OOM passiert, bevor es dazu kommt
Speichernutzung besteht aus zwei Teilen, die sich unter einem Limit unterschiedlich verhalten. Die Modelldatei wird standardmäßig per Memory-Mapping eingebunden, daher sind ihre Seiten dateigestützt: Der Kernel kann sie verwerfen und später erneut von der Festplatte lesen. Der KV-Cache enthält den Zustand, den der Server für jede aktive Konversation pro Token speichert, und liegt im anonymen Speicher. Er kann nicht verworfen werden. Deshalb wird der Prozess bei Speichermangel beendet.
Darum haben die beiden Limits in der Unit unterschiedliche Aufgaben. MemoryHigh=3G ist ein Soft-Limit: Oberhalb davon setzt der Kernel die Cgroup unter Reclaim-Druck. Dadurch werden eingebundene Modellseiten ausgelagert und beim nächsten Token erneut von der Festplatte gelesen. Der Dienst läuft weiter, wird aber langsamer. MemoryMax=3500M ist die harte Obergrenze: Der Kernel gibt zunächst Speicher frei, soweit dies möglich ist. Wenn die Nutzung danach weiterhin nicht unter dem Limit gehalten werden kann, startet der OOM-Killer innerhalb der Unit. Im Journal wird das eindeutig protokolliert.
llama-server.service: A process of this unit has been killed by the OOM killer.Setzen Sie --ctx-size selbst. Der Standardwert ist 0. Das entspricht dem Kontext, mit dem das Modell trainiert wurde, und reserviert bei einem modernen Modell mit langem Kontext bereits beim Start einen sehr großen KV-Cache. Der Dienst wird dann beendet, bevor er eine einzige Anfrage verarbeitet. --parallel vervielfacht diese Kosten nicht selbst: --ctx-size legt die Gesamtgröße des KV-Cache fest, der von allen Slots gemeinsam verwendet wird. Daher erhält jede Konversation mit --ctx-size 4096 --parallel 4 ungefähr 1.024 Tokens statt viermal so viel Speicher. Wenn jeder Slot den vollständigen Kontext erhält, wird --ctx-size mit der Anzahl der Slots multipliziert. Der Speicherbedarf steigt entsprechend. Lassen Sie --parallel daher auf 1, bis Sie Parallelität benötigen.
Mit Restart=on-failure wird ein beendeter Dienst automatisch wieder gestartet. Systemd beendet die Neustartversuche mit start request repeated too quickly erst, wenn die Starts das konfigurierte Rate-Limit überschreiten. Die Neustartverzögerung von fünf Sekunden erreicht hier nicht das Standardlimit von fünf Starts in zehn Sekunden. Beenden Sie eine dauerhafte Neustartschleife mit sudo systemctl stop llama-server, korrigieren Sie das Limit oder die Kontextgröße und löschen Sie anschließend den fehlgeschlagenen Zustand mit sudo systemctl reset-failed llama-server. Starten Sie den Dienst danach erneut.
Überwachen Sie während der Verarbeitung einer Anfrage den tatsächlichen Wert mit systemctl show llama-server -p MemoryCurrent. Prozessspeicher und CPU mit systemd begrenzen erläutert diese Direktiven ausführlicher.
Vermeiden Sie Swap für diese Arbeitslast. Bei einem ausgelagerten Modell führt jedes Token zu Festplattenzugriffen an zufälligen Positionen. Das Einbinden der Modelldatei per Memory-Mapping erzielt denselben Effekt mit geringeren Auswirkungen, weil der Kernel die benötigten Seiten direkt aus der Datei liest.
Wo Ollama die bessere Lösung ist
Hier gibt es zwei Wege. Wählen Sie llama-server, wenn Sie einen Prozess mit selbst festgelegten Flags, einem festgelegten Build und einer von Ihnen ausgewählten Datei möchten. Im Hintergrund ändert sich nichts, weil kein weiterer Prozess läuft.
Wählen Sie Ollama, wenn Sie Modelle verwalten möchten: Modelle per Namen herunterladen, mehrere Modelle lokal speichern, ein inaktives Modell entladen und mit einem einzelnen Befehl aktualisieren, statt einen neuen Build zu erstellen. Das sind konkrete Aufgaben, die Sie andernfalls selbst skripten müssten. Ollama auf einem VPS ausführen beschreibt dieselbe Aufgabe mit einer anderen Abwägung. Beide stellen eine OpenAI-kompatible API bereit. Testen Sie jedoch die Endpunkte und Funktionen, die Ihr Client verwendet, bevor Sie in die eine oder andere Richtung wechseln.
Aktualisieren eines festgelegten Builds
Ersetzen Sie bNNNNN durch das Nightly-Build-Tag, auf das Sie wechseln. Für offizielle Releases verwenden Sie stattdessen vX.Y.Z.
cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-serverDie alte Binärdatei bleibt auf dem Datenträger. Ein Rollback besteht daher aus einem ln -sfn auf llama-server-b10488 und einem Neustart. Lesen Sie die Release-Hinweise, bevor Sie wechseln. GGUF-Dateien sind versioniert, aber die Abwärtskompatibilität ist nicht universell: Der aktuelle Loader lehnt GGUFv1 ab. Auch Flags werden umbenannt: In b10488 waren --mlock und --no-mmap bereits zugunsten von --load-mode veraltet. Seit dem 11. Oktober 2026 führt die aktuelle Server-Dokumentation diese Flags nicht mehr auf. Eine Unit-Datei, die ein entferntes Flag übergibt, schlägt daher beim Start mit einer Meldung zu einem nicht erkannten Argument fehl. Auch Standardwerte ändern sich: Aktuelle Builds lauschen standardmäßig auf Port 9931. b10488 verwendete dagegen Port 8080. Deshalb setzen alle Befehle und die Unit hier den Port explizit.
Fehlerbilder und die angezeigten Meldungen
error while loading shared libraries: libllama.so, nachdem Sie die Binärdatei an einen anderen Ort kopiert haben. Der Standard-Build erzeugt daneben gemeinsam genutzte Bibliotheken. Erstellen Sie den Build mit -DBUILD_SHARED_LIBS=OFF neu oder kopieren Sie das gesamte Verzeichnis build/bin.
Illegal instruction (core dumped) beim Start oder bei der ersten Anfrage. Die Binärdatei wurde mit aktiviertem GGML_NATIVE für eine andere CPU als die des laufenden Systems kompiliert. Erstellen Sie den Build auf diesem Rechner neu oder konfigurieren Sie ihn mit -DGGML_NATIVE=OFF.
c++: fatal error: Killed signal terminated program cc1plus während des Builds. Der Compiler wurde beendet, weil er zu viel Arbeitsspeicher verwendet hat. Verringern Sie -j oder fügen Sie für den Build Swap hinzu und entfernen Sie ihn anschließend wieder.
curl: (7) Failed to connect ... Connection refused von Ihrem Laptop aus. Das ist korrekt: Der Server lauscht auf der Loopback-Adresse des VPS. Testen Sie direkt auf dem VPS oder öffnen Sie mit ssh -L 8080:127.0.0.1:8080 user@your-vps einen Tunnel und verwenden Sie lokal http://127.0.0.1:8080.
HTTP 503 mit "message":"Loading model" in den ersten Sekunden oder Minuten nach einem Neustart. Das Einlesen einer Datei mit mehreren Gigabyte dauert. systemd meldet die Unit bereits als aktiv, sobald der Prozess startet. Das geschieht deutlich bevor das Modell im Arbeitsspeicher liegt.
Anfragen hängen und liefern anschließend 504 Gateway Time-out zurück. Der Server hat länger als proxy_read_timeout keine Daten gesendet. Das kann bei nicht streamenden Anfragen vorkommen. Streaming-Anfragen in b10488 senden während der Verarbeitung langer Prompts standardmäßig alle 30 Sekunden Keepalive-Pings. Erhöhen Sie proxy_read_timeout und deaktivieren Sie proxy_buffering, damit Tokens bei ihrer Erzeugung den Client erreichen.
Die Unit startet wiederholt und stoppt anschließend mit start request repeated too quickly. Die Anzahl ihrer Starts hat das konfigurierte Rate-Limit überschritten. Prüfen Sie journalctl -u llama-server auf die Zeile des OOM-Killers. Verringern Sie anschließend --ctx-size oder erhöhen Sie MemoryMax.
FAQ
Soll ich den Server von llama.cpp oder Ollama auf meinem VPS ausführen?
Verwenden Sie llama-server, wenn Sie einen exakten Build festlegen, exakte Flags übergeben und ein Modell in einer Datei halten möchten, die nicht unbemerkt aktualisiert wird. Verwenden Sie Ollama, wenn Sie Modellverwaltung und Upgrades mit einem Befehl benötigen, weil das Herunterladen von Modellen nach Namen, das Aufbewahren mehrerer Modelle auf der Festplatte und das Entladen ungenutzter Modelle andernfalls von Ihnen selbst skriptgesteuert werden müsste. Beide stellen eine mit OpenAI kompatible API bereit. Für den Wechsel müssen Sie jedoch die von Ihrem Client verwendeten Endpunkte und Funktionen prüfen.
Auf welche Version von llama.cpp sollte ich die Abhängigkeit festlegen?
Auf jeden Tag, den Sie tatsächlich erstellt und getestet haben. Nächtliche Entwicklungs-Builds verwenden Tags mit Build-Nummern wie b10488, veröffentlicht am 18. August 2026. Offizielle Releases verwenden Tags nach dem Schema der semantischen Versionierung, vX.Y.Z. Klonen Sie mit --branch <tag>, installieren Sie die Binärdatei unter einem Dateinamen, der dieses Tag enthält, und verweisen Sie mit einem symbolischen Link darauf. Dadurch benötigen Upgrade und Rollback jeweils nur einen Befehl.
Wie viel RAM benötigt llama-server?
Gehen Sie von der Größe der GGUF-Datei aus und addieren Sie den KV-Cache, der mit --ctx-size wächst. Dieser Wert ist das gesamte Token-Budget, das von allen --parallel Slots gemeinsam verwendet wird. Für mehr Slots benötigen Sie daher ein größeres --ctx-size, wenn jeder Slot denselben Kontext behalten soll. Veröffentlichte Werte ersetzen keine Messung in Ihrer eigenen Umgebung, weil der Gesamtbedarf vom Modell, der Quantisierung und dem von Ihnen erlaubten Kontext abhängt. Führen Sie systemctl show llama-server -p MemoryCurrent aus, während eine Anfrage verarbeitet wird, und verwenden Sie den angezeigten Wert.
Warum gibt /health den Status 503 mit „Loading model“ zurück?
Der Prozess wurde gestartet, aber die Modelldatei befindet sich noch nicht im Speicher. Deshalb antwortet der Server mit {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}. Das ist nach jedem Neustart normal und dauert so lange, wie das Einlesen der Datei benötigt. Es wird erst dann zum Problem, wenn ein Client oder ein Proxy diesen ersten Status 503 als endgültigen Fehler behandelt. Fragen Sie /health wiederholt ab, bis der Endpunkt {"status": "ok" } zurückgibt.
Kann ich llama-server direkt im Internet bereitstellen?
Binden Sie den Server nicht an 0.0.0.0 und öffnen Sie den Port nicht direkt. Verwenden Sie den Proxy für Benutzerkonten, Anfragelimits und Audit-Logging. Die integrierte API-Authentifizierung verwendet statische Schlüssel, die mit --api-key oder --api-key-file gesetzt werden. Behalten Sie die standardmäßige Bind-Adresse 127.0.0.1 bei, schalten Sie nginx mit TLS davor und setzen Sie zusätzlich --api-key. Dadurch führt ein Fehler in der Proxy-Konfiguration nicht dazu, dass das Modell für alle erreichbar ist.