llama.cpp releases vastzetten op uw server
Voorkom onverwachte wijzigingen in uw LLM-output door specifieke llama.cpp tags te pinnen. Combineer uw GGUF-kwantisatie met een vaste bNNNN of v-versie voor stabiliteit.
Wat is er veranderd in de versiebeheer van llama.cpp
Het vastzetten (pinning) van llama.cpp-releases betekent dat u één specifieke tag bouwt en die naam noteert bij het modelbestand. De tag verschuift nooit uit zichzelf, waardoor de server morgen hetzelfde blijft produceren als vandaag. Jarenlang was er slechts één type tag om uit te kiezen: een buildnummer zoals b10502, dat automatisch werd gegenereerd vanuit de master-branch. Sinds 2026 is er een tweede type, een versietag zoals v0.6.0, en deze twee trajecten lopen niet synchroon. Build-tags worden aangemaakt bij vrijwel elke commit naar master. Versietags worden handmatig door een beheerder uitgebracht in een lager tempo, waarbij elke versie-release verwijst naar de bijbehorende build-tag.
De versietags begonnen als een experiment. De release notes op v0.1.2, gepubliceerd op 18 augustus 2026, vermeldden dit in één regel:
Semantische versiebeheer is nog in ontwikkeling. Meer informatie is te vinden op https://github.com/ggml-org/ggml/discussions/1579
Drie dagen later bracht v0.2.0 duidelijkheid. De release notes stellen dat de release "het begin markeert van consistent semantisch versiebeheer voor llama.cpp". Ze beschrijven vX.Y.Z-tags als stabiele versies met een trager release-ritme, aanbevolen voor downstream-distributie en incidentele gebruikers, en b[NUM]-tags als nightly- of dev-builds met de nieuwste functionaliteit, aanbevolen voor ontwikkelaars en technische gebruikers. Per 14 november 2026 is de meest recente versietag v1.0.0, uitgebracht op 13 november, en de bijbehorende notes noemen b12359 als de overeenkomstige build-tag.
De ggml-discussie achter die link bevat nog steeds de onderbouwing van dit schema en staat per 21 oktober 2026 nog open voor feedback. De versienummering heeft 1.x bereikt, dus lees de notes voor elke wijziging in plaats van een upgrade te beoordelen op basis van welk cijfer is veranderd.
Het nummer in een build-tag heeft geen betekenis wat betreft de versie. Het is afgeleid van het aantal commits en stijgt dus uit zichzelf, ongeacht of er iets is veranderd dat relevant is voor uw configuratie.
Bouw nooit vanaf master op een server die in productie is
git pull gevolgd door een rebuild levert u de code op die in de afgelopen uren is toegevoegd. Dit is acceptabel op een laptop. Op een server ontneemt het u de mogelijkheid om de belangrijkste vraag te beantwoorden wanneer het gedrag verandert: wat draait er nu en wat draaide er vorige week? De tekst die een model genereert en de snelheid waarmee dit gebeurt, veranderen beide met de build. Een klacht dat antwoorden afgelopen dinsdag slechter werden, is niet te onderzoeken als de commit van dinsdag nergens is vastgelegd.
Gebruik in plaats daarvan een tag. Het project maakt deze voor u aan en de vooraf gebouwde release-archieven bevatten een build-tag in hun bestandsnamen, met uitzondering van de Windows CUDA runtime-bundels (cudart-llama-bin-win-...).
Aan welke tag moet u llama.cpp-releases koppelen?
Koppel een build-tag wanneer u één specifieke, bekende status wilt behouden. Dit is het spoor met de lange historie, het spoor waarnaar de release-archieven zijn vernoemd en het spoor dat in de meeste bugrapporten wordt aangehaald. Een build-nummer is daarom het eenvoudigst te vergelijken met dat van anderen.
Koppel een versie-tag als u liever een kortere lijst met weloverwogen punten volgt. Dit is het spoor dat het project nu aanbeveelt voor downstream-distributie. Elke versie-release benoemt de bijbehorende build-tag en de vooraf gecompileerde binaries bevinden zich op die build-tag; noteer daarom het build-nummer naast de versie. Lees de opmerkingen voordat u overstapt, ook al heeft de nummering 1.x bereikt.
In beide gevallen is de operationele regel identiek. De tag-string staat in een bestand, de box wordt alleen opnieuw gebouwd wanneer die string wijzigt, en de wijziging is een beslissing die bewust door iemand is genomen.
Bouw de vastgezette tag
sudo apt update
sudo apt install -y build-essential cmake git
git clone --depth 1 --branch b10502 https://github.com/ggml-org/llama.cpp.git ~/src/llama.cpp-b10502
cd ~/src/llama.cpp-b10502
git describe --tagsgit describe --tags hoort b10502 te tonen. Een shallow clone op een tag bevat alleen die commit en niets daarna, waardoor niemand deze later per ongeluk kan verplaatsen met een onvoorzichtige git pull. Als de configure-stap stopt vanwege een ontbrekende afhankelijkheid, installeer dan wat wordt aangegeven en voer het commando opnieuw uit.
Bouw met de opties die uw hardware vereist. Alleen CPU:
cmake -B build
cmake --build build --config Release -j $(nproc)NVIDIA GPU, waarvoor eerst de CUDA toolkit moet zijn geïnstalleerd:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j $(nproc)OpenBLAS op een systeem met alleen CPU:
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j $(nproc)Binaries worden geplaatst in build/bin, naast de gedeelde bibliotheken die ze laden (libllama.so en de libggml bestanden). Controleer of de build werkt voordat u deze installeert:
./build/bin/llama-server --versionInstalleer de volledige map onder een pad dat vernoemd is naar de tag en laat vervolgens één symlink daarnaar verwijzen:
sudo install -d /opt/llama.cpp/b10502
sudo cp -a build/bin /opt/llama.cpp/b10502/bin
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/currentKopieer de map, niet het losse bestand. Een losse llama-server faalt bij de eerste uitvoering met error while loading shared libraries: libllama.so: cannot open shared object file, omdat de benodigde bibliotheken zich in die map ernaast bevinden.
Laat de service naar de symlink verwijzen, nooit direct naar een tag-map:
[Service]
ExecStart=/opt/llama.cpp/current/bin/llama-server -m /srv/models/model-q4_k_m.gguf -c 8192 -ngl 99 --host 127.0.0.1 --port 8080systemd volgt de symlink wanneer het proces start, dus het wisselen van builds vereist alleen een nieuw symlink-doel en een sudo systemctl restart llama-server. De rest van het unit-bestand en de reverse proxy ervoor worden behandeld in de volledige handleiding voor een llama.cpp server op een VPS.
Noteer de tag naast het GGUF-bestand en de quant
De build bepaalt voor de helft het resultaat. Het modelbestand vormt de andere helft. GGUF (GGML universal file format) is de container waarin de gewichten worden uitgebracht. Hetzelfde model wordt gepubliceerd op vele kwantisatieniveaus. Twee servers met dezelfde tag kunnen daarom verschillende resultaten geven als de een een Q4_K_M-bestand gebruikt en de ander een Q8_0. Bewaar een klein bestand naast het model met alle informatie die nodig is om de setup exact te reproduceren:
tag: b10502
commit: 0adcc3b
model_file: model-q4_k_m.gguf
model_sha256: <output of sha256sum>
quant: Q4_K_M
cmake_args: -DGGML_CUDA=ON
cuda: <output of nvcc --version>
bench_cmd: llama-bench -p 512 -n 128 -r 5
bench_result: <fill in from the run on this box>Haal de commit op met git rev-parse --short HEAD binnen de vastgezette checkout. Haal de checksum op met sha256sum model-q4_k_m.gguf en vergelijk deze tijdens het downloaden met de waarde van de uitgever. Het controleren van een download tegen de gepubliceerde checksum detecteert namelijk een afgebroken bestand voordat dit leidt tot een verwarrende bug. In hoeverre het kwantisatieniveau zelf de antwoorden beïnvloedt, is een aparte vraag; wat elk kwantisatieniveau u kost behandelt dit onderwerp.
Hoe voert u een upgrade uit zonder de server te verstoren?
Voer de upgrade uit als een oefening. Bouw de nieuwe tag naast de oude, meet beide en behoud de oude totdat de nieuwe naar behoren functioneert.
- Kloon de nieuwe tag naar een eigen map. Gebruik de oude checkout niet opnieuw.
- Bouw deze met dezelfde cmake-argumenten als vastgelegd in het manifest.
- Voer
llama-benchuit op beide builds met hetzelfde modelbestand, met dezelfde promptlengte en hetzelfde aantal herhalingen. - Stuur een prompt waarvan u het antwoord goed kent door beide servers en lees de twee antwoorden.
- Verplaats de symlink, herstart de service en laat de oude map op de schijf staan.
/opt/llama.cpp/b10502/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5
/opt/llama.cpp/<new tag>/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5llama-bench print één rij per test, met een backend-kolom, een ngl-kolom en een kolom voor tokens per seconde inclusief de standaardafwijking. Vergelijk dezelfde rij tussen de twee builds, niet de prompt-rij van de ene build met de generatie-rij van de andere. Een cijfer dat bij een andere promptlengte is verkregen, is een andere meting; daarom is tokens per seconde telkens op dezelfde manier meten belangrijker dan het getal zelf.
Terugdraaien bestaat uit twee commando's en werkt alleen omdat de oude map nog aanwezig is:
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current
sudo systemctl restart llama-serverBewaar ten minste de vorige build. Dit kost slechts een fractie van de schijfruimte die het modelbestand ernaast al in beslag neemt.
Wat er kapot gaat bij upgrades van llama.cpp
Een modelbestand laadt niet meer. Dit is meestal de reden waarom men überhaupt upgradet: een nieuw gepubliceerd model gebruikt een architectuur die de huidige build niet herkent, waardoor het laden mislukt. llama-server sluit af tijdens het opstarten. Sinds 21 oktober 2026 logt de serverbroncode failed to load model, '/srv/models/model-q4_k_m.gguf' hiervoor, met een komma en het pad tussen enkele aanhalingstekens; de laatste regel die wordt afgedrukt is exiting due to model loading error, welke geen pad bevat. Gebruik grep op de journal voor failed to load model in plaats van op de volledige regel. Lees de regels die vlak daarvoor worden afgedrukt, inclusief de eigen error loading model:-regel van de loader; deze tonen hoe ver de loader is gekomen en waarom deze stopte. GGUF bevat ook een formaatversie in de header (de huidige waarde in de specificatie is 3, en versie 2 breidde de lengtevelden uit van 32 naar 64 bits), hoewel in de praktijk een onbekende architectuurnaam het proces veel eerder stopt dan de formaatversie. De oplossing is een nieuwere tag, die u kiest en noteert.
Een server-flag is hernoemd of verouderd. Een onbekende flag zorgt ervoor dat llama-server stopt bij het opstarten in plaats van dat deze wordt genegeerd. Onder systemd ziet dit eruit als een service die in een lus opstart en direct weer stopt. journalctl -u llama-server -n 50 toont de werkelijke melding. Sinds 19 augustus 2026 markeert de serverdocumentatie --mlock en --mmap als verouderd ten gunste van -lm, --load-mode. Sinds 21 oktober 2026 komen beide flags niet meer voor in de serverdocumentatie of in de argumentenlijst op master. Pas het gedrag daarom aan met --load-mode, welke auto (de standaard), none, mmap, mlock, mmap+mlock en dio accepteert. De GPU-offload-flag is gedocumenteerd als -ngl, --gpu-layers, --n-gpu-layers, dus de lange schrijfwijze uit oudere handleidingen wordt nog steeds geaccepteerd. Standaardwaarden wijzigen ook: sinds v0.7.0 luistert llama-server standaard op poort 9931 in plaats van 8080 (de Docker-images behouden 8080 binnen de container). Een unit-bestand dat --port weglaat, reageert daardoor niet meer op de plek waar uw reverse proxy het verwacht. De v1.0.0-release verwijdert ook de verouderde --defrag-thold-flag. Voordat u de symlink verplaatst, voert u /opt/llama.cpp/<new tag>/bin/llama-server --help uit en controleert u elke flag in uw unit-bestand hiertegen.
Een build-optie is hernoemd. De CMake-opties zijn verplaatst van een LLAMA_-prefix naar een GGML_-prefix, en de root CMakeLists.txt bevat nog steeds de mapping. LLAMA_CUBLAS is nu een fatale fout die GGML_CUDA als vervanging noemt, terwijl LLAMA_CUDA en LLAMA_METAL een waarschuwing produceren en voor u worden vertaald. Een build-script dat stopt bij de configuratiestap is het gunstige scenario. Een stille fout is erger: laat u per ongeluk -DGGML_CUDA=ON weg, dan slaagt de build, start de server, en draait alles op de CPU. llama-bench toont dit direct, omdat de kolom backend de waarde CPU bevat.
De accelerator-build is niet portable. Sinds 19 augustus 2026 waren de Linux-assets die aan een build-tag waren gekoppeld de CPU-, Vulkan-, SYCL- en OpenVINO-varianten, voor x64, arm64 en s390x, zonder CUDA-archief voor Linux. Dat is sindsdien veranderd. Sinds 21 oktober 2026 bevat b11669, de build-tag achter v0.7.0, ook Ubuntu CUDA-archieven voor CUDA 12.8 en 13.4 op x64 en CUDA 13.4 op arm64, elk met een bijbehorend cudart--runtime-archief, plus een ROCm-build. De CUDA-archieven worden voor zowel Linux als Windows per toolkitversie gepubliceerd, wat een nuttige aanwijzing is: de toolkitversie is onderdeel van wat uw binaire bestand identificeert, dus noteer deze samen met de cmake-argumenten.
De container image vastzetten in plaats daarvan
Dezelfde regel geldt, maar dan voor een ander object. De gepubliceerde images (ghcr.io/ggml-org/llama.cpp:server en de bijbehorende accelerator-varianten) veranderen van inhoud, waardoor het ophalen van :server volgende maand een ander programma onder hetzelfde label oplevert. Haal de image één keer op en lees de digest uit:
docker pull ghcr.io/ggml-org/llama.cpp:serverdocker pull toont een Digest: sha256:...-regel. Plaats deze digest in het compose-bestand in plaats van de tag; de image kan dan niet meer veranderen wanneer iemand de volgende keer docker compose pull uitvoert. Bewaar de vorige digest in een commentaar, zodat een rollback slechts één aanpassing vereist, op dezelfde manier als de upgrade- en rollback-procedure voor een Compose-stack elke andere service behandelt.
Het nut van een pin
Met een pin kunt u exact vastleggen wat er draait, en kunt u binnen een minuut de vorige build terugzetten wanneer een wijziging voor problemen zorgt. llama.cpp adviseert u om hiervoor twee zaken bij te houden: de build-tag en het modelbestand, omdat deze afzonderlijk worden aangeleverd. Runtimes die deze bundelen gedragen zich anders, en de vergelijking tussen Ollama en llama.cpp als servers behandelt die afweging: één versienummer voor het geheel betekent minder om vast te leggen en minder om te beheren.
FAQ
Moet ik de bNNNN build-tag of de v0.x-tag vastzetten?
Beide opties werken, zolang u maar iets vastzet. Build-tags zoals b10502 vormen het langlopende traject: de vooraf gebouwde release-archieven bevatten deze in hun bestandsnaam (met uitzondering van de Windows CUDA-runtime-bundels) en de meeste bugrapporten vermelden er een. Een buildnummer is daarom het eenvoudigst te vergelijken met dat van een andere beheerder. Versietags zoals v0.6.0 zijn een kortere lijst van weloverwogen punten die het project aanbeveelt voor downstream-distributie; dit is geschikt voor een server die u slechts enkele keren per jaar beheert. Elke tag benoemt de bijbehorende build-tag, dus noteer ze beide. Wat belangrijker is dan de keuze, is dat de tag-string naast het modelbestand wordt vastgelegd en dat een upgrade een bewuste beslissing is in plaats van een bijwerking van git pull.
Volgt llama.cpp nu semantische versiebeheer?
Ja, sinds v0.2.0 op 21 augustus 2026. De release notes vermelden dat dit het begin markeert van consistent semantisch versiebeheer voor llama.cpp, waarmee het "work-in-progress"-voorbehoud dat v0.1.2 met zich meebracht, komt te vervallen. Sinds 14 november 2026 heeft de versienummering 1.x bereikt; de meest recente versie is v1.0.0, uitgebracht op 13 november. Lees de release notes voordat u overstapt en test de nieuwe tag met uw eigen modelbestand voordat u definitief overschakelt, ongeacht welk cijfer er is gewijzigd.
Hoe zie ik welke llama.cpp-build mijn server draait?
llama-server --version toont de versie- en buildinformatie. Voer dit uit op het binaire bestand dat de service gebruikt: /opt/llama.cpp/current/bin/llama-server --version. Sinds 21 oktober 2026 wordt de opstartregel met het buildnummer, de commit-hash en de compiler gelogd op trace-niveau; reken er dus niet op dat u deze terugvindt in journalctl -u llama-server bij het standaard logniveau. Bij een installatie vanuit broncode toont git describe --tags in de vastgezette checkout de tag, en readlink /opt/llama.cpp/current laat zien naar welke map de service daadwerkelijk verwijst.
Waarom laadt mijn model niet meer na het upgraden van llama.cpp?
Een laadfout direct na een upgrade wijst op een mismatch tussen de build en het GGUF-bestand. Het logboek bevat een failed to load model, '<path>'-regel met de bestandsnaam en eindigt met exiting due to model loading error; de regels daarboven tonen hoe ver de loader is gekomen. Bij een upgrade naar een nieuwere versie heeft een zeer nieuw modelbestand een build nodig die de architectuur ervan ondersteunt. Bij een downgrade naar een versie lager dan de tag waarvoor het bestand is gemaakt, kan een bestand dat gisteren nog werkte, defect raken. Laat de symlink naar de vorige build wijzen, herstart en bevestig welke build en welk bestand correct samenwerken voordat u besluit welke van de twee u aanpast.
Zijn er vooraf gebouwde Linux-binaries die ik kan vastzetten in plaats van zelf te compileren?
Ja. Elke build-tag bevat release-archieven die ernaar vernoemd zijn, zoals llama-b10502-bin-ubuntu-x64.tar.gz, waardoor de tag in de bestandsnaam staat en vastzetten eenvoudig is. Op 19 augustus 2026 bestond de Linux-set uit CPU, arm64, s390x, Vulkan, SYCL en OpenVINO, zonder CUDA-archief. Sinds 21 oktober 2026 bevat de nieuwere b11669 ook Ubuntu CUDA 12.8- en 13.4-archieven met bijbehorende cudart--runtime-bundels. Een NVIDIA-server op een recente tag hoeft dus niet langer vanuit broncode te compileren met -DGGML_CUDA=ON of een CUDA-container-image te draaien. Als u een versietag vastzet, download dan de archieven van de build-tag die in de bijbehorende release notes wordt genoemd.