SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor · Güncellendi 2026-11-15

llama.cpp Sürümlerini Sunucuda Sabitleme Rehberi

llama.cpp artık bNNNN derleme etiketlerinin yanında v0.6.0 gibi sürüm etiketleri yayımlıyor. GGUF ve quant bilgisiyle doğru etiketi kaydedip geri alınabilir yükseltmeler uygulayın.

llama.cpp sürüm numaralandırmasında neler değişti

llama.cpp sürümlerini sabitlemek, adlandırılmış tek bir etiketin derlenmesi ve bu adın model dosyasının yanında kaydedilmesi anlamına gelir. Etiket kendiliğinden değişmez. Bu nedenle sunucu bugün hangi çıktıyı üretiyorsa yarın da aynı çıktıyı üretmeye devam eder. Yıllar boyunca seçilebilecek yalnızca bir etiket türü vardı: master dalından otomatik olarak oluşturulan b10502 gibi bir derleme numarası. 2026'dan itibaren v0.6.0 gibi bir sürüm etiketi olan ikinci bir tür daha kullanılmaya başlandı. Bu iki hat aynı hızda ilerlemez. Derleme etiketleri master dalındaki neredeyse her commit sonrasında oluşturulur. Sürüm etiketleri ise bir maintainer tarafından elle ve daha seyrek oluşturulur. Her sürüm yayınında, o sürümle eşleşen derleme etiketi belirtilir.

Sürüm etiketleri başlangıçta kesinleşmemişti. 18 August 2026 tarihinde yayımlanan v0.1.2 sürüm notlarında bu durum tek satırla belirtilmişti:

Semantic versioning çalışmaları halen devam etmektedir. Daha fazla bilgi için https://github.com/ggml-org/ggml/discussions/1579 adresine bakılabilir.

Üç gün sonra v0.2.0 bu konuyu kesinleştirdi. Sürüm notlarında bu sürümün "llama.cpp için tutarlı semantic versioning uygulamasının başlangıcını işaret ettiği" belirtiliyor. Notlarda vX.Y.Z etiketleri, daha yavaş bir yayın takvimine sahip kararlı sürümler olarak tanımlanıyor. Bu etiketler downstream dağıtımlar ve gündelik kullanıcılar için öneriliyor. b[NUM] etiketleri ise en güncel işlevleri içeren nightly veya geliştirme derlemeleri olarak tanımlanıyor ve geliştiriciler ile teknik kullanıcılar için öneriliyor. 14 November 2026 itibarıyla en yeni sürüm etiketi v1.0.0'dir. Bu etiket 13 November tarihinde yayımlandı ve sürüm notlarında eşleşen derleme etiketi olarak b12359 belirtiliyor.

Bu bağlantının arkasındaki ggml tartışması, bu şemanın gerekçesini açıklamaya devam ediyor. 21 October 2026 itibarıyla tartışma hâlâ geri bildirime açık. Sürüm numaraları 1.x düzeyine ulaştı. Bu nedenle yükseltmeyi değişen basamağa göre değerlendirmek yerine her geçişten önce sürüm notları okunmalıdır.

Bir derleme etiketindeki sayı, sürüm anlamı taşımaz. Bu sayı commit sayısından gelir. Bu nedenle kurulumunuzla ilgili herhangi bir değişiklik olup olmadığına bakmaksızın kendiliğinden artar.

Canlı hizmet veren bir sunucuda asla master dalından derleme yapmayın

git pull komutunu bir yeniden derleme ile takip etmek, son birkaç saat içinde repoya eklenen her şeyi sisteminize dahil eder. Bu durum kişisel bilgisayarlar için kabul edilebilir olsa da, sunucularda davranış değişikliği yaşandığında kritik öneme sahip olan "şu an ne çalışıyor ve geçen hafta ne çalışıyordu" sorusunu yanıtlamanızı imkansız kılar. Modelin ürettiği metin ve üretim hızı, yapılan her derleme ile değişebilir. Salı günü alınan sonuçların kötüleştiğine dair bir şikayet, eğer o günkü commit kaydı tutulmadıysa yanıtsız kalır.

Bunun yerine bir etiket (tag) sabitleyin. Proje sizin için etiketleri oluşturur ve Windows CUDA runtime paketleri (cudart-llama-bin-win-...) haricinde, önceden derlenmiş sürüm arşivleri dosya isimlerinde bir derleme etiketi taşır.

llama.cpp sürümleri hangi etikete sabitlenmelidir?

Belirli ve bilinen bir durumu kullanmak istediğinizde bir build etiketini sabitleyin. Uzun geçmişe sahip iz budur. Sürüm arşivleri bu izin adını kullanır. Hata raporlarında en sık bu izden söz edilir. Bu nedenle bir build numarasını başka bir kişiyle karşılaştırmak en kolay yöntemdir.

Daha kısa ve bilinçli olarak belirlenmiş noktaları izlemek istiyorsanız bir version etiketini sabitleyin. Proje artık downstream dağıtımlar için bu izi önermektedir. Her version release, kendisine karşılık gelen build etiketini belirtir. Önceden oluşturulmuş binary dosyaları da bu build etiketi üzerinde bulunur. Bu nedenle build numarasını version bilgisinin yanında kaydedin. Numaralandırma 1.x düzeyine ulaşmış olsa da geçiş yapmadan önce notları okuyun.

Her iki durumda da operasyonel kural aynıdır. Tag dizesi bir dosyada tutulur. Bu dize değişmediği sürece sistem yeniden oluşturulmaz. Değişiklik, bir kişinin bilinçli olarak aldığı bir karardır.

Sabitlenmiş etiketi derleyin

sudo apt update
sudo apt install -y build-essential cmake git
git clone --depth 1 --branch b10502 https://github.com/ggml-org/llama.cpp.git ~/src/llama.cpp-b10502
cd ~/src/llama.cpp-b10502
git describe --tags

git describe --tags, b10502 çıktısını vermelidir. Bir etikette yapılan sığ (shallow) klonlama, yalnızca o commit'i tutar ve sonrasını içermez; böylece kimse dikkatsiz bir git pull ile etiketi daha sonra değiştiremez. Yapılandırma adımı eksik bir bağımlılık nedeniyle durursa, belirtilen paketi kurun ve işlemi tekrar çalıştırın.

Donanımınızın gerektirdiği seçeneklerle derleyin. Yalnızca CPU:

cmake -B build
cmake --build build --config Release -j $(nproc)

NVIDIA GPU (öncelikle CUDA toolkit kurulumu gerektirir):

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j $(nproc)

CPU tabanlı bir sistemde OpenBLAS:

cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j $(nproc)

İkili dosyalar, yükledikleri paylaşımlı kütüphanelerin (libllama.so ve libggml dosyaları) yanında, build/bin dizinine yerleşir. Kurulumdan önce derlemenin çalıştığını doğrulayın:

./build/bin/llama-server --version

Tüm dizini etiket adını taşıyan bir yolun altına kurun, ardından bir sembolik bağlantıyı (symlink) bu dizine yönlendirin:

sudo install -d /opt/llama.cpp/b10502
sudo cp -a build/bin /opt/llama.cpp/b10502/bin
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current

Tek bir dosyayı değil, dizinin tamamını kopyalayın. Tek başına bir llama-server, ihtiyaç duyduğu kütüphaneler o dizinde yanında bulunduğu için ilk çalıştırılmasında error while loading shared libraries: libllama.so: cannot open shared object file hatasıyla başarısız olur.

Servisi, etiket dizinine değil, her zaman sembolik bağlantıya yönlendirin:

[Service]
ExecStart=/opt/llama.cpp/current/bin/llama-server -m /srv/models/model-q4_k_m.gguf -c 8192 -ngl 99 --host 127.0.0.1 --port 8080

systemd, süreci başlattığında sembolik bağlantıyı çözer; bu nedenle derlemeler arasında geçiş yapmak, yeni bir sembolik bağlantı hedefi ve sudo systemctl restart llama-server komutu gerektirir. Unit dosyasının geri kalanı ve önündeki reverse proxy, VPS üzerinde llama.cpp sunucusu için tam kılavuz içerisinde ele alınmıştır.

GGUF dosyasının yanındaki etiketi ve nicemleme (quant) değerini kaydedin

Çıktıyı belirleyen unsurların yarısı derleme, diğer yarısı ise model dosyasıdır. GGUF (GGML universal file format), ağırlıkların içinde taşındığı kapsayıcıdır. Aynı model birçok farklı nicemleme seviyesinde yayınlanır. Bu nedenle aynı etikete sahip iki sunucu, biri Q4_K_M diğeri Q8_0 dosyası barındırdığı için farklı sonuçlar verebilir. Kurulumu tam olarak yeniden oluşturmak için gereken her şeyi içeren küçük bir dosyayı modelin yanında tutun:

tag: b10502
commit: 0adcc3b
model_file: model-q4_k_m.gguf
model_sha256: <output of sha256sum>
quant: Q4_K_M
cmake_args: -DGGML_CUDA=ON
cuda: <output of nvcc --version>
bench_cmd: llama-bench -p 512 -n 128 -r 5
bench_result: <fill in from the run on this box>

Sabitlenmiş checkout içindeki git rev-parse --short HEAD ile commit değerini alın. sha256sum model-q4_k_m.gguf ile sağlama toplamını (checksum) alın ve indirme sırasında yayıncının değeriyle karşılaştırın; çünkü bir indirmeyi yayınlanan sağlama toplamı ile doğrulamak, kesintiye uğramış bir dosyanın kafa karıştırıcı bir hataya dönüşmeden önce tespit edilmesini sağlar. Nicemleme seviyesinin cevapları ne kadar değiştirdiği ayrı bir konudur ve her nicemleme seviyesinin maliyeti bu konuyu açıklamaktadır.

Sunucuyu bozmadan yükseltme işlemi nasıl yapılır?

Yükseltme işlemini bir tatbikat gibi gerçekleştirin. Yeni etiketi eskisinin yanında derleyin, her ikisini de ölçümleyin ve yeni olan başarıyla çalışana kadar eskisini tutun.

  1. Yeni etiketi kendi dizinine kopyalayın. Eski checkout dizinini tekrar kullanmayın.
  2. Manifest dosyasında kayıtlı olan aynı cmake argümanlarını kullanarak derleyin.
  3. Her iki derleme üzerinde de aynı model dosyası, aynı istem uzunluğu ve aynı tekrarlama sayısı ile llama-bench komutunu çalıştırın.
  4. Cevabını iyi bildiğiniz bir istemi her iki sunucuya da gönderin ve iki yanıtı karşılaştırın.
  5. Sembolik bağı (symlink) taşıyın, servisi yeniden başlatın ve eski dizini diskte bırakın.
/opt/llama.cpp/b10502/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5
/opt/llama.cpp/<new tag>/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5

llama-bench, test başına bir satır yazdırır; bu satırda bir backend sütunu, bir ngl sütunu ve standart sapmayı içeren saniye başına token sayısı sütunu bulunur. Bir derlemenin istem satırını diğerinin üretim satırı ile değil, her iki derlemenin aynı satırlarını birbiriyle karşılaştırın. Farklı istem uzunluklarında alınan bir değer farklı bir ölçümdür; bu nedenle saniye başına token sayısını her seferinde aynı şekilde ölçmek sayının kendisinden daha önemlidir.

Geri alma işlemi iki komuttan oluşur ve yalnızca eski dizin hala orada olduğu için çalışır:

sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current
sudo systemctl restart llama-server

En azından bir önceki derlemeyi saklayın. Bu, yanında bulunan model dosyasının diskte kapladığı alanın çok küçük bir kısmını kaplar.

llama.cpp yükseltmelerinde neler bozulur

Bir model dosyası yüklenemez. Yeni yayımlanan bir model, sabitlenmiş derlemenin tanımadığı bir mimariyi kullanıyorsa model hiç yüklenmez. llama-server başlangıç sırasında sonlanır. 21 October 2026 itibarıyla sunucu kaynak kodu bu durumda failed to load model, '/srv/models/model-q4_k_m.gguf' kaydını, virgül ve tek tırnak içinde yol ile birlikte yazar. Yazdırdığı son satır exiting due to model loading error olur ve bu satırda yol bulunmaz. Günlükte tam satırı aramak yerine failed to load model ifadesini arayın. Yükleyicinin ne kadar ilerlediğini ve neden durduğunu gösteren, bu satırdan hemen önce yazdırılan satırları da okuyun. Bu satırlar arasında yükleyicinin kendi error loading model: satırı da bulunur. GGUF, üstbilgisinde bir biçim sürümü de taşır. Spesifikasyondaki geçerli değer 3'tür. Sürüm 2, uzunluk alanlarını 32 bitten 64 bite genişletmiştir. Ancak uygulamada bilinmeyen bir mimari adı, biçim sürümüne ulaşılmadan çok önce işlemi durdurur. Çözüm, seçilip kayda geçirilmiş daha yeni bir tag kullanmaktır.

Bir sunucu flag'i yeniden adlandırılır veya kullanımdan kaldırılır. Tanınmayan bir flag, yok sayılmak yerine başlangıçta llama-server işlemini durdurur. systemd altında bu durum, sürekli başlayıp sonlanan bir servis gibi görünür. Gerçek mesajı journalctl -u llama-server -n 50 gösterir. 19 August 2026 itibarıyla sunucu belgelerinde --mlock ve --mmap kullanım dışı olarak işaretlenmiş ve bunların yerine -lm, --load-mode önerilmiştir. 21 October 2026 itibarıyla bu iki flag artık sunucu belgelerinde veya master dalındaki bağımsız değişken listesinde yer almamaktadır. Bu nedenle davranışı, varsayılan değer olarak auto, ayrıca none, mmap, mlock, mmap+mlock ve dio değerlerini alan --load-mode ile taşıyın. GPU offload flag'i -ngl, --gpu-layers, --n-gpu-layers olarak belgelenmiştir. Bu nedenle eski kılavuzlardaki uzun yazım hâlâ kabul edilir. Varsayılan değerler de değişebilir. v0.7.0 tarihinden beri llama-server varsayılan olarak 8080 yerine 9931 portunu dinler. Docker image'ları container içinde 8080 portunu kullanmaya devam eder. Bu nedenle unit file içinde --port belirtilmezse servis, reverse proxy'nizin beklediği adreste yanıt vermeyi bırakır. v1.0.0 release'i, kullanımdan kaldırılmış --defrag-thold flag'ini de kaldırır. Symlink'i değiştirmeden önce /opt/llama.cpp/<new tag>/bin/llama-server --help komutunu çalıştırın ve unit file içindeki her flag'i bu çıktıyla karşılaştırın.

Bir build seçeneği yeniden adlandırılır. CMake seçenekleri LLAMA_ ön ekinden GGML_ ön ekine taşındı. Kök CMakeLists.txt dosyası eşlemeyi hâlâ içerir. LLAMA_CUBLAS artık GGML_CUDA seçeneğini replacement olarak gösteren kritik bir hata üretir. LLAMA_CUDA ve LLAMA_METAL ise uyarı üretir ve seçenekleri sizin için dönüştürür. Bir build script'inin configure adımında durması beklenen ve yararlı sonuçtur. Sessiz gerçekleşen hata daha kötüdür: Yanlışlıkla -DGGML_CUDA=ON seçeneğini dışarıda bırakırsanız build başarılı olur, sunucu başlar ve tüm işlemler CPU üzerinde çalışır. llama-bench bunu hemen gösterir; çünkü backend sütununda CPU değeri okunur.

Accelerator build taşınabilir değildir. 19 August 2026 itibarıyla bir build tag'ine eklenen Linux asset'leri x64, arm64 ve s390x için CPU, Vulkan, SYCL ve OpenVINO varyantlarıydı. Linux için CUDA arşivi yoktu. Bu durum daha sonra değişti. 21 October 2026 itibarıyla b11669, v0.7.0 arkasındaki build tag'i, x64 için CUDA 12.8 ve 13.4, arm64 için CUDA 13.4 Ubuntu CUDA arşivlerini de içerir. Her arşiv için eşleşen bir cudart- runtime arşivi ve ayrıca bir ROCm build'i bulunur. CUDA arşivleri Linux ve Windows'ta toolkit sürümüne göre ayrı yayımlanır. Bu önemli bir ipucudur: toolkit sürümü, binary'nizi tanımlayan unsurlardan biridir. Bu nedenle toolkit sürümünü cmake bağımsız değişkenleriyle birlikte kaydedin.

Bunun yerine container imajını sabitlemek

Aynı kural, farklı bir isim için geçerlidir. Yayınlanan imajlar (ghcr.io/ggml-org/llama.cpp:server ve hızlandırıcı varyantları) değişken isimlere sahiptir; bu nedenle gelecek ay :server çekildiğinde, aynı etiket altında farklı bir program elde edersiniz. Bir kez çekin ve digest değerini okuyun:

docker pull ghcr.io/ggml-org/llama.cpp:server

docker pull bir Digest: sha256:... satırı yazdırır. Bu digest değerini, etiket yerine compose dosyasına yerleştirin; böylece bir sonraki sefer birisi docker compose pull komutunu çalıştırdığında imaj sizin bilginiz dışında değişemez. Önceki digest değerini bir yorum satırında tutun; böylece geri alma işlemi tek bir düzenleme ile gerçekleşir. Bu yöntem, Compose yığını için yükseltme ve geri alma rutini içerisinde diğer tüm servisler için uygulanan yöntemle aynıdır.

Sabitlemenin amacı

Sabitleme (pinning), tam olarak hangi sürümün çalıştığını belirtmenize ve bir değişiklik işleri kötüleştirdiğinde önceki derlemeyi bir dakika içinde geri yüklemenize olanak tanır. llama.cpp, derleme etiketi ve model dosyası olmak üzere iki öğeyi ayrı ayrı sunduğu için bu işlemde bu iki öğeyi takip etmenizi ister. Bunları paket halinde sunan çalışma zamanları farklı davranır ve Ollama ile llama.cpp'nin sunucu olarak karşılaştırılması bu değiş tokuşu ele alır: tüm yapı için tek bir sürüm numarası, kaydedilmesi ve kontrol edilmesi gereken daha az veri anlamına gelir.

FAQ

bNNNN derleme etiketini mi, yoksa v0.x etiketini mi sabitlemeliyim?

Bir etiket sabitlendiği sürece her ikisi de kullanılabilir. b10502 gibi derleme etiketleri uzun süre korunan hattı ifade eder: Önceden derlenmiş release arşivlerinin dosya adlarında bu etiketlerden biri bulunur (Windows CUDA runtime paketleri hariç) ve hata raporlarının çoğunda bu etiketlerden biri belirtilir. Bu nedenle bir derleme numarası, başka bir operatörün kullandığı sürümle karşılaştırma yapmak için en kolay seçenektir. v0.6.0 gibi sürüm etiketleri ise projenin downstream dağıtım için önerdiği, bilinçli olarak belirlenmiş noktaların daha kısa bir listesidir. Bu yaklaşım, yılda birkaç kez müdahale edilen sunucular için uygundur. Her sürüm etiketi, karşılık gelen derleme etiketini belirtir; bu nedenle her ikisi de kaydedilmelidir. Seçimden daha önemli olan, etiket dizesinin model dosyasının yanında kaydedilmesi ve yükseltmenin git pull yan etkisi olarak değil, bilinçli bir karar olarak yapılmasıdır.

llama.cpp artık semantic versioning kullanıyor mu?

Evet, v0.2.0 tarihinden, 21 August 2026 tarihinden beri kullanıyor. Release notlarında bunun llama.cpp için tutarlı semantic versioning uygulamasının başlangıcı olduğu ve v0.1.2 ile taşınan work-in-progress uyarısının kaldırıldığı belirtiliyor. 14 November 2026 itibarıyla sürüm numaralandırması 1.x seviyesine ulaştı. En güncel sürüm, 13 November tarihinde yayımlanan v1.0.0 sürümüdür. Geçiş yapmadan önce release notları okunmalı ve hangi hane değişmiş olursa olsun, yeni etiket kendi model dosyanızla test edilmelidir.

Sunucumun hangi llama.cpp derlemesini çalıştırdığını nasıl öğrenebilirim?

llama-server --version sürüm ve derleme bilgilerini yazdırır. Bu nedenle komut, servisin kullandığı binary üzerinde çalıştırılmalıdır: /opt/llama.cpp/current/bin/llama-server --version. 21 October 2026 itibarıyla derleme numarasını, commit hash değerini ve derleyiciyi içeren başlangıç satırı trace seviyesinde günlüğe yazılıyor. Bu nedenle varsayılan log seviyesinde bu bilgiyi journalctl -u llama-server içinde bulacağınız varsayılmamalıdır. Kaynaktan yapılan kurulumda, sabitlenmiş checkout içindeki git describe --tags etiketi yazdırır. readlink /opt/llama.cpp/current ise servisin gerçekte hangi dizine yönlendirildiğini gösterir.

llama.cpp yükseltmesinden sonra modelim neden yüklenmemeye başladı?

Yükseltmenin hemen ardından oluşan yükleme hatası, derleme ile GGUF dosyası arasındaki uyumsuzluktan kaynaklanır. Log içinde dosya adını belirten bir failed to load model, '<path>' satırı bulunur ve çıktı exiting due to model loading error ile sona erer. Bu satırların üzerindeki satırlar, loader'ın dosyayı ne kadar okuyabildiğini gösterir. Daha yeni bir model dosyasına geçildiğinde, mimarisini tanıyan bir derleme gerekir. Daha eski bir derlemeye dönüldüğünde ise dosyanın oluşturulduğu etiketin altındaki bir sürüme rollback yapılması, önceki gün çalışan dosyayı bozabilir. Symlink önceki derlemeyi gösterecek şekilde ayarlanmalı, servis yeniden başlatılmalı ve hangi derleme ile hangi dosyanın doğru eşleştiği doğrulanmalıdır. Ardından bu ikisinden hangisinin değiştirileceğine karar verilmelidir.

Derleme yapmak yerine sabitleyebileceğim önceden derlenmiş Linux binary'leri var mı?

Evet. Her derleme etiketi, kendi adını taşıyan release arşivlerini içerir. Örneğin llama-b10502-bin-ubuntu-x64.tar.gz dosyasında etiket dosya adında yer alır ve sabitleme işlemi kolaylaşır. 19 August 2026 tarihinde Linux setinde CPU, arm64, s390x, Vulkan, SYCL ve OpenVINO bulunuyordu; CUDA arşivi yoktu. 21 October 2026 itibarıyla daha yeni b11669 sürümü, eşleşen cudart- runtime paketleriyle birlikte Ubuntu CUDA 12.8 ve 13.4 arşivlerini de içeriyor. Bu nedenle güncel bir etiket kullanan NVIDIA sunucusunda artık -DGGML_CUDA=ON ile kaynaktan derleme yapılması veya CUDA container image çalıştırılması gerekmiyor. Bir sürüm etiketini sabitliyorsanız arşivler, release notlarında belirtilen derleme etiketinden indirilmelidir.

Bu yazı işinize yaradı mı?