SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor

llama.cpp Releases festpinnen: Anleitung zur Versionierung

Nutzen Sie die neuen Versions-Tags neben den Build-Nummern wie b10502. Wir zeigen, wie Sie Releases fixieren, GGUF-Modelle korrekt zuordnen und Upgrades sicher rückgängig machen.

Was hat sich bei der Versionierung von llama.cpp geändert

Das Festpinnen von llama.cpp-Releases bedeutet, ein benanntes Tag zu bauen und diesen Namen neben der Modelldatei zu notieren. Das Tag bewegt sich nicht von selbst, sodass der Server morgen das Gleiche produziert wie heute. Über Jahre gab es nur eine Art von Tag zur Auswahl: eine Build-Nummer wie b10502, die automatisch aus dem Master-Branch generiert wurde. Seit 2026 gibt es eine zweite Art, ein Versions-Tag wie v0.6.0, und beide Pfade entwickeln sich nicht synchron. Build-Tags werden bei fast jedem Commit auf den Master erstellt. Versions-Tags werden von einem Maintainer manuell und in langsamerem Tempo erstellt; jedes Versions-Release nennt das zugehörige Build-Tag.

Die Versions-Tags waren anfangs vorläufig. Die Release-Notes zu v0.1.2, veröffentlicht am 18. August 2026, erwähnten dies in einer Zeile:

Semantische Versionierung ist noch in Arbeit. Weitere Informationen finden sich unter https://github.com/ggml-org/ggml/discussions/1579

Drei Tage später schaffte v0.2.0 Klarheit. Die Release-Notes besagen, dass das Release "den Beginn einer konsistenten semantischen Versionierung für llama.cpp markiert". Sie beschreiben vX.Y.Z-Tags als stabile Versionen mit langsamerem Release-Zyklus, die für die Distribution und Gelegenheitsnutzer empfohlen werden, und b[NUM]-Tags als Nightly- oder Entwicklungs-Builds mit den neuesten Funktionen, die für Entwickler und technische Anwender empfohlen werden. Stand 14. November 2026 ist das neueste Versions-Tag v1.0.0, veröffentlicht am 13. November, und die zugehörigen Notes nennen b12359 als das passende Build-Tag.

Die ggml-Diskussion hinter diesem Link enthält weiterhin die Begründung für dieses Schema und ist mit Stand 21. Oktober 2026 noch für Feedback offen. Die Versionsnummerierung hat 1.x erreicht; lesen Sie daher vor jedem Update die Notes, anstatt ein Upgrade nur anhand der geänderten Ziffer zu bewerten.

Die Zahl in einem Build-Tag hat keine versionsbezogene Bedeutung. Sie stammt aus der Commit-Anzahl und steigt daher unabhängig davon, ob sich für Ihr Setup etwas Relevantes geändert hat.

Bauen Sie niemals von master auf einem System, das produktive Dienste bereitstellt

git pull und ein anschließender Neubau liefern den Stand, der in den letzten Stunden in master aufgenommen wurde. Auf einem Laptop ist das unproblematisch. Auf einem Server verlieren Sie dadurch jedoch die Möglichkeit, die entscheidende Frage zu beantworten, wenn sich das Verhalten ändert: Was läuft jetzt, und was lief letzte Woche? Sowohl der von einem Modell erzeugte Text als auch die Geschwindigkeit seiner Erzeugung ändern sich mit dem Build. Für die Beschwerde, dass die Antworten am vergangenen Dienstag schlechter wurden, gibt es keine belastbare Erklärung, wenn der Commit vom Dienstag nie dokumentiert wurde.

Verwenden Sie stattdessen ein Tag. Das Projekt erstellt diese Tags für Sie. Die vorgefertigten Release-Archive enthalten außerdem ein Build-Tag in ihren Dateinamen. Eine Ausnahme bilden die Windows-CUDA-Runtime-Bundles (cudart-llama-bin-win-...).

Auf welches Tag sollten Sie llama.cpp-Releases festlegen?

Legen Sie ein Build-Tag fest, wenn Sie einen spezifischen, bekannten Zustand benötigen. Dies ist der Zweig mit der längsten Historie, nach dem die Release-Archive benannt sind und auf den sich die meisten Fehlerberichte beziehen. Eine Build-Nummer ist daher am einfachsten mit anderen zu vergleichen.

Legen Sie ein Versions-Tag fest, wenn Sie lieber einer kürzeren Liste bewusster Meilensteine folgen möchten. Dies ist der Zweig, den das Projekt nun für die Distribution empfiehlt. Jedes Versions-Release nennt das zugehörige Build-Tag, und die vorkompilierten Binärdateien basieren auf diesem Build-Tag; notieren Sie daher die Build-Nummer neben der Version. Lesen Sie die Hinweise vor einem Wechsel, auch wenn die Nummerierung bereits 1.x erreicht hat.

In beiden Fällen ist die operative Regel identisch. Der Tag-String befindet sich in einer Datei, die Box wird nur neu gebaut, wenn sich dieser String ändert, und diese Änderung ist eine bewusste Entscheidung.

Den fixierten Tag erstellen

sudo apt update
sudo apt install -y build-essential cmake git
git clone --depth 1 --branch b10502 https://github.com/ggml-org/llama.cpp.git ~/src/llama.cpp-b10502
cd ~/src/llama.cpp-b10502
git describe --tags

git describe --tags sollte b10502 ausgeben. Ein flacher Klon eines Tags enthält diesen Commit und keine späteren Commits. Dadurch kann ihn später niemand versehentlich mit git pull verschieben. Wenn der Konfigurationsschritt wegen einer fehlenden Abhängigkeit abbricht, installieren Sie das genannte Paket und führen Sie den Schritt erneut aus.

Erstellen Sie den Build mit den für Ihre Hardware erforderlichen Optionen. Nur CPU:

cmake -B build
cmake --build build --config Release -j $(nproc)

NVIDIA-GPU; dafür muss zuerst das CUDA toolkit installiert werden:

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j $(nproc)

OpenBLAS auf einem Rechner, der nur die CPU verwendet:

cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j $(nproc)

Die Binärdateien werden in build/bin abgelegt, neben den gemeinsam verwendeten Bibliotheken, die sie laden (libllama.so und die libggml-Dateien). Prüfen Sie vor der Installation, ob der Build ausgeführt werden kann:

./build/bin/llama-server --version

Installieren Sie das gesamte Verzeichnis unter einem nach dem Tag benannten Pfad. Verweisen Sie anschließend einen Symlink darauf:

sudo install -d /opt/llama.cpp/b10502
sudo cp -a build/bin /opt/llama.cpp/b10502/bin
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current

Kopieren Sie das Verzeichnis, nicht nur die einzelne Datei. Eine einzelne llama-server-Datei schlägt beim ersten Start mit error while loading shared libraries: libllama.so: cannot open shared object file fehl, weil sich die benötigten Bibliotheken daneben in diesem Verzeichnis befinden.

Verweisen Sie beim Dienst auf den Symlink, niemals auf ein Tag-Verzeichnis:

[Service]
ExecStart=/opt/llama.cpp/current/bin/llama-server -m /srv/models/model-q4_k_m.gguf -c 8192 -ngl 99 --host 127.0.0.1 --port 8080

systemd wertet den Symlink auf, wenn es den Prozess startet. Zum Wechseln des Builds benötigen Sie daher nur ein neues Symlink-Ziel und sudo systemctl restart llama-server. Die übrige Unit-Datei und der vorgeschaltete Reverse Proxy werden im vollständigen Leitfaden für einen llama.cpp-Server auf einem VPS behandelt.

Tag und Quantisierung neben der GGUF-Datei dokumentieren

Der Build ist zur Hälfte dafür verantwortlich, wie die Ausgabe entsteht. Die Modelldatei ist die andere Hälfte. GGUF (GGML universal file format) ist der Container, in dem die Gewichte ausgeliefert werden. Dasselbe Modell wird mit vielen Quantisierungsstufen veröffentlicht. Deshalb können sich zwei Server mit demselben Tag trotzdem unterscheiden, wenn auf dem einen eine Q4_K_M-Datei und auf dem anderen eine Q8_0-Datei liegt. Legen Sie eine kleine Datei neben dem Modell ab. Sie sollte alle Angaben enthalten, die für eine exakte Wiederherstellung des Setups erforderlich sind:

tag: b10502
commit: 0adcc3b
model_file: model-q4_k_m.gguf
model_sha256: <output of sha256sum>
quant: Q4_K_M
cmake_args: -DGGML_CUDA=ON
cuda: <output of nvcc --version>
bench_cmd: llama-bench -p 512 -n 128 -r 5
bench_result: <fill in from the run on this box>

Ermitteln Sie den Commit mit git rev-parse --short HEAD innerhalb des festgelegten Checkouts. Ermitteln Sie die Prüfsumme mit sha256sum model-q4_k_m.gguf. Vergleichen Sie sie beim Download zusätzlich mit dem Wert des Herausgebers. Der Abgleich eines Downloads mit der veröffentlichten Prüfsumme erkennt eine abgeschnittene Datei, bevor daraus ein schwer nachvollziehbarer Fehler wird. Wie stark die Quantisierungsstufe selbst die Antworten verändert, ist eine separate Frage. Welche Kosten die einzelnen Quantisierungsstufen verursachen behandelt dieses Thema.

Wie aktualisieren Sie den Server, ohne ihn zu beschädigen?

Führen Sie das Upgrade als Testlauf durch. Erstellen Sie den neuen Tag neben dem alten, messen Sie beide und behalten Sie den alten, bis der neue sich bewährt hat.

  1. Klonen Sie den neuen Tag in ein eigenes Verzeichnis. Verwenden Sie den alten Checkout nicht wieder.
  2. Erstellen Sie ihn mit denselben im Manifest dokumentierten cmake-Argumenten.
  3. Führen Sie llama-bench für beide Builds mit derselben Modelldatei, derselben Prompt-Länge und derselben Anzahl an Wiederholungen aus.
  4. Senden Sie einen Prompt, dessen Antwort Sie genau kennen, an beide Server und lesen Sie die beiden Antworten.
  5. Verschieben Sie den Symlink, starten Sie den Dienst neu und lassen Sie das alte Verzeichnis auf dem Datenträger.
/opt/llama.cpp/b10502/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5
/opt/llama.cpp/<new tag>/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5

llama-bench gibt eine Zeile pro Test aus. Die Ausgabe enthält eine Spalte backend, eine Spalte ngl und eine Tokens-pro-Sekunde-Spalte mit der Standardabweichung. Vergleichen Sie dieselbe Zeile zwischen den beiden Builds. Vergleichen Sie nicht die Prompt-Zeile des einen Builds mit der Generierungszeile des anderen. Ein Wert, der bei einer anderen Prompt-Länge ermittelt wurde, ist eine andere Messung. Deshalb ist die Tokens-pro-Sekunde-Messung jedes Mal auf dieselbe Weise durchzuführen wichtiger als der Wert selbst.

Ein Rollback besteht aus zwei Befehlen. Es funktioniert nur, weil das alte Verzeichnis noch vorhanden ist:

sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current
sudo systemctl restart llama-server

Behalten Sie mindestens den vorherigen Build. Er benötigt nur einen Bruchteil des Speicherplatzes, den die daneben liegende Modelldatei bereits verwendet.

Was bei Upgrades von llama.cpp zu Problemen führt

Eine Modelldatei lädt nicht mehr. Dies ist meist der Grund für ein Upgrade: Ein neu veröffentlichtes Modell verwendet eine Architektur, die der installierte Build nicht kennt, weshalb es nicht geladen wird. llama-server beendet sich beim Start. Seit dem 21. Oktober 2026 protokolliert der Server-Quellcode hierfür failed to load model, '/srv/models/model-q4_k_m.gguf', gefolgt von einem Komma und dem Pfad in einfachen Anführungszeichen. Die letzte ausgegebene Zeile ist exiting due to model loading error, welche keinen Pfad enthält. Durchsuchen Sie das Journal mittels grep nach failed to load model anstatt nach der vollständigen Zeile. Lesen Sie die Zeilen direkt davor, einschließlich der eigenen error loading model:-Zeile des Loaders; diese zeigen, wie weit der Ladevorgang fortgeschritten ist und warum er abbrach. GGUF enthält zudem eine Formatversion im Header (der aktuelle Wert der Spezifikation ist 3, und Version 2 erweiterte die Längenfelder von 32 auf 64 Bit). In der Praxis verhindert jedoch ein unbekannter Architekturname das Laden deutlich früher als die Formatversion. Die Lösung ist ein neuerer Tag, der ausgewählt und dokumentiert werden sollte.

Ein Server-Flag wurde umbenannt oder ist veraltet. Ein unbekanntes Flag führt dazu, dass llama-server beim Start abbricht, anstatt ignoriert zu werden. Unter systemd äußert sich dies als Dienst, der in einer Schleife startet und sofort wieder beendet wird. journalctl -u llama-server -n 50 zeigt die tatsächliche Fehlermeldung. Seit dem 19. August 2026 sind in der Server-Dokumentation --mlock und --mmap zugunsten von -lm, --load-mode als veraltet markiert. Seit dem 21. Oktober 2026 sind beide Flags weder in der Server-Dokumentation noch in der Argumentliste des Master-Branches enthalten. Übernehmen Sie das Verhalten daher mit --load-mode, welches auto (der Standardwert), none, mmap, mlock, mmap+mlock und dio akzeptiert. Das Flag für GPU-Offloading ist als -ngl, --gpu-layers, --n-gpu-layers dokumentiert, daher wird die lange Schreibweise aus älteren Anleitungen weiterhin akzeptiert. Auch Standardwerte ändern sich: Seit v0.7.0 lauscht llama-server standardmäßig auf Port 9931 statt 8080 (die Docker-Images behalten 8080 innerhalb des Containers bei). Eine Unit-Datei, die --port weglässt, antwortet daher nicht mehr dort, wo Ihr Reverse Proxy sie erwartet. Das Release v1.0.0 entfernt zudem das veraltete Flag --defrag-thold. Bevor Sie den Symlink aktualisieren, führen Sie /opt/llama.cpp/<new tag>/bin/llama-server --help aus und prüfen Sie jedes Flag in Ihrer Unit-Datei dagegen.

Eine Build-Option wurde umbenannt. Die CMake-Optionen wurden von einem LLAMA_-Präfix auf ein GGML_-Präfix umgestellt; das Root-Verzeichnis CMakeLists.txt enthält weiterhin die Zuordnung. LLAMA_CUBLAS ist nun ein fataler Fehler, der GGML_CUDA als Ersatz benennt, während LLAMA_CUDA und LLAMA_METAL eine Warnung ausgeben und automatisch übersetzt werden. Ein Build-Skript, das beim Konfigurationsschritt abbricht, ist das wünschenswerte Ergebnis. Ein stiller Fehler ist schwerwiegender: Wenn Sie versehentlich -DGGML_CUDA=ON weglassen, ist der Build erfolgreich, der Server startet, aber alles läuft auf der CPU. llama-bench zeigt dies sofort an, da die Spalte backend den Wert CPU anzeigt.

Der Accelerator-Build ist nicht portabel. Seit dem 19. August 2026 waren die Linux-Assets, die an einen Build-Tag gebunden waren, die CPU-, Vulkan-, SYCL- und OpenVINO-Varianten für x64, arm64 und s390x, ohne CUDA-Archiv für Linux. Dies hat sich inzwischen geändert. Seit dem 21. Oktober 2026 enthält b11669, der Build-Tag hinter v0.7.0, auch Ubuntu-CUDA-Archive für CUDA 12.8 und 13.4 auf x64 sowie CUDA 13.4 auf arm64, jeweils mit einem passenden cudart--Runtime-Archiv, sowie einen ROCm-Build. Die CUDA-Archive werden für Linux und Windows gleichermaßen pro Toolkit-Version veröffentlicht, was ein nützlicher Hinweis ist: Die Toolkit-Version ist Teil der Identifikation Ihrer Binärdatei; notieren Sie diese daher zusammen mit den cmake-Argumenten.

Stattdessen das Container-Image pinnen

Die gleiche Regel gilt für einen anderen Namen. Die veröffentlichten Images (ghcr.io/ggml-org/llama.cpp:server und die Varianten für Beschleuniger) verwenden veränderliche Bezeichnungen. Wenn Sie :server im nächsten Monat abrufen, erhalten Sie unter derselben Bezeichnung ein anderes Programm. Rufen Sie das Image einmal ab und lesen Sie den Digest aus:

docker pull ghcr.io/ggml-org/llama.cpp:server

docker pull gibt eine Zeile mit Digest: sha256:... aus. Tragen Sie diesen Digest in der Compose-Datei anstelle des Tags ein. Dadurch kann sich das Image beim nächsten Ausführen von docker compose pull nicht unbemerkt ändern. Bewahren Sie den vorherigen Digest in einem Kommentar auf. So ist ein Rollback mit einer einzigen Änderung möglich, ebenso wie bei der Upgrade- und Rollback-Routine für einen Compose-Stack, die jeden anderen Dienst gleich behandelt.

Der Zweck einer festen Version

Mit einer festen Version können Sie genau angeben, was ausgeführt wird. Verschlechtert eine Änderung das Verhalten, können Sie innerhalb einer Minute den vorherigen Build wiederherstellen. llama.cpp verlangt dafür die Nachverfolgung von zwei Angaben: des Build-Tags und der Modelldatei. Diese werden getrennt übergeben. Laufzeitumgebungen, die beides bündeln, verhalten sich anders. Der Vergleich von Ollama und llama.cpp als Server beschreibt diesen Zielkonflikt: Eine Versionsnummer für das gesamte Paket muss seltener erfasst und weniger separat kontrolliert werden.

FAQ

Sollte ich den Build-Tag bNNNN oder den Tag v0.x festlegen?

Beides ist möglich, solange Sie eine Version fixieren. Build-Tags wie b10502 bilden den langfristigen Pfad: Die vorkompilierten Release-Archive enthalten diese in ihren Dateinamen (abgesehen von den Windows CUDA-Runtime-Bundles) und die meisten Fehlerberichte zitieren sie. Eine Build-Nummer ist daher am einfachsten mit der eines anderen Betreibers vergleichbar. Versions-Tags wie v0.6.0 sind eine kürzere Liste bewusster Meilensteine, die das Projekt für die Distribution empfiehlt; dies eignet sich für Server, die Sie nur wenige Male im Jahr warten. Jeder Versions-Tag benennt den zugehörigen Build-Tag, notieren Sie also beide. Wichtiger als die Wahl ist, dass die Tag-Zeichenfolge zusammen mit der Modelldatei dokumentiert ist und dass ein Upgrade eine bewusste Entscheidung ist und kein Nebeneffekt von git pull.

Verwendet llama.cpp jetzt semantische Versionierung?

Ja, seit v0.2.0 am 21. August 2026. Die Release-Notes geben an, dass dies den Beginn einer konsistenten semantischen Versionierung für llama.cpp markiert und den Vorbehalt der laufenden Entwicklung ersetzt, den v0.1.2 trug. Seit dem 14. November 2026 hat die Versionsnummerierung 1.x erreicht, wobei die neueste Version v1.0.0 am 13. November veröffentlicht wurde. Lesen Sie die Release-Notes vor einem Wechsel und testen Sie den neuen Tag mit Ihrer Modelldatei, bevor Sie umstellen, unabhängig davon, welche Ziffer sich geändert hat.

Wie stelle ich fest, welchen llama.cpp-Build mein Server ausführt?

llama-server --version gibt die Versions- und Build-Informationen aus. Führen Sie den Befehl für die Binärdatei aus, die der Dienst verwendet: /opt/llama.cpp/current/bin/llama-server --version. Seit dem 21. Oktober 2026 wird die Startzeile, die die Build-Nummer, den Commit-Hash und den Compiler enthält, auf dem Trace-Level protokolliert. Verlassen Sie sich daher nicht darauf, diese Informationen bei der Standard-Log-Ebene in journalctl -u llama-server zu finden. Bei einer Installation aus dem Quellcode gibt git describe --tags innerhalb des fixierten Checkouts den Tag aus, und readlink /opt/llama.cpp/current zeigt an, auf welches Verzeichnis der Dienst tatsächlich verweist.

Warum lädt mein Modell nach dem Upgrade von llama.cpp nicht mehr?

Ein Ladefehler direkt nach einem Upgrade deutet auf eine Inkompatibilität zwischen dem Build und der GGUF-Datei hin. Das Log enthält eine failed to load model, '<path>'-Zeile, die die Datei benennt, und endet mit exiting due to model loading error; die Zeilen darüber zeigen, wie weit der Loader gelesen hat. Bei einem Upgrade benötigt eine sehr neue Modelldatei einen Build, der ihre Architektur kennt. Bei einem Downgrade kann ein Rollback unter den Tag, für den die Datei erstellt wurde, eine Datei beschädigen, die zuvor funktionierte. Verweisen Sie den Symlink auf den vorherigen Build, starten Sie neu und bestätigen Sie, welche Kombination aus Build und Datei korrekt funktioniert, bevor Sie entscheiden, welche der beiden Komponenten Sie ändern.

Gibt es vorkompilierte Linux-Binärdateien, die ich statt eines eigenen Builds verwenden kann?

Ja. Jeder Build-Tag verfügt über Release-Archive, die nach ihm benannt sind, wie zum Beispiel llama-b10502-bin-ubuntu-x64.tar.gz. Der Tag ist also im Dateinamen enthalten, was die Fixierung vereinfacht. Am 19. August 2026 umfasste das Linux-Set CPU, arm64, s390x, Vulkan, SYCL und OpenVINO, jedoch kein CUDA-Archiv. Seit dem 21. Oktober 2026 enthält das neuere b11669 auch Ubuntu CUDA 12.8- und 13.4-Archive mit passenden cudart--Runtime-Bundles. Ein NVIDIA-Server auf einem aktuellen Tag muss daher nicht mehr aus dem Quellcode mit -DGGML_CUDA=ON bauen oder ein CUDA-Container-Image ausführen. Wenn Sie einen Versions-Tag fixieren, laden Sie die Archive von dem Build-Tag herunter, der in den jeweiligen Release-Notes genannt wird.

War dieser Artikel hilfreich?