VPS üzerinde llama.cpp sunucusu nasıl kurulur?
VPS üzerinde llama.cpp sunucusunu çalıştırmak için GGUF modellerini OpenAI uyumlu API ile dağıtın. systemd yapılandırması ve bellek limitleri ile güvenli kurulum yapın.
Ne inşa ediyorsunuz
llama.cpp sunucusunu bir VPS üzerinde çalıştırmak, tek bir GGUF model dosyasını yükleyen ve OpenAI uyumlu bir API üzerinden HTTP isteklerine yanıt veren tek bir ikili dosya, llama-server, anlamına gelir. Uyumlu bir istemciyi http://127.0.0.1:8080/v1 adresine yönlendirin ve ardından uygulamanızın kullandığı özellikleri test edin: uyumluluk kısmi düzeydedir. Kurulum işin kolay kısmıdır.
Geriye kalan iş operasyonel süreçlerdir: bir sürümü sabitlemek, portu localhost üzerinde tutmak, bir systemd birimi yazmak ve sunucunun belleği tükendiğinde ne olacağına karar vermektir. Bu kılavuz bunları kapsamaktadır. Eğer iki bariz seçenek arasında henüz karar vermediyseniz, önce Ollama ve llama.cpp arasındaki farkları okuyun; çünkü bu kılavuz, bahsi geçen karşılaştırmanın bilerek dışarıda bıraktığı uygulama adımlarını içermektedir.
Bir sürüm etiketi seçin ve not edin
llama.cpp, nightly geliştirme sürümleri için b10488 gibi yapı numarası etiketlerini ve resmi sürümler için vX.Y.Z gibi anlamsal sürüm etiketlerini kullanır. b10488, burada kullanılan ve 18 Ağustos 2026 tarihinde yayınlanan sabitlenmiş yapıdır. "Latest" (en son) etiketi sürekli değişen bir hedef olduğundan, destekleyebileceğiniz tek sürüm test ettiğiniz sürümdür. Bir etiket seçin, kaydedin ve aynı dizgiyi klonlama işleminizde, ikili dosya adınızda ve notlarınızda kullanın.
b10488 etiketi ayrıca önceden derlenmiş arşivler de sunar. Yalnızca CPU kullanan bir x86 VPS için bu llama-b10488-bin-ubuntu-x64.tar.gz'dir; eğer x86 yerine bir ARM VPS üzerindeyseniz, yanında bir arm64 arşivi de bulunur.
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | headDosyaların nereye çıkarılacağını bilmek için arşiv içeriğini çıkarmadan önce listeleyin. Bu ikili dosyalar, onları oluşturan imajın C kütüphanesine bağlıdır; bu nedenle eski bir dağıtımda, yüklü olmayan bir GLIBC_ sürümünü belirten bir hata ile başlatma sırasında başarısız olurlar. Küçük bir VPS üzerinde kaynak koddan derleme yapmak birkaç dakika sürer ve bu tür sorunların tamamını ortadan kaldırır; bu nedenle aşağıdaki yöntem tercih edilmiştir.
Sabitlenmiş bir etiket kullanarak llama-server derleme
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2--branch b10488 üzerinde --depth 1 klonu, yalnızca o etiketi kontrol eder ve başka hiçbir şey yapmaz; böylece siz çalışırken derleme sürümü değişmez.
libssl-dev önemlidir çünkü LLAMA_OPENSSL seçeneği varsayılan olarak etkindir ve ikili dosyanın daha sonra HTTPS üzerinden model indirmesini sağlayan budur. OpenSSL geliştirme dosyaları olmadan, bu sabitlenmiş derleme yapılandırmanın başarısız olması yerine HTTPS desteğinin devre dışı bırakıldığına dair uyarı verir.
-DBUILD_SHARED_LIBS=OFF, llama.cpp ve GGML kütüphanelerini çalıştırılabilir dosyaya bağlar; sistem kütüphanesi bağımlılıkları ise olduğu gibi kalır. Varsayılan derleme, paylaşılan kütüphaneleri çalıştırılabilir dosyanın yanına yerleştirir; bu nedenle yalnızca çalıştırılabilir dosyayı /usr/local/bin dizinine kopyalamak error while loading shared libraries: libllama.so hatasıyla sonuçlanır.
-t llama-server yalnızca server hedefini derler. Varsayılan derleme diğer araçları ve testleri de derler; bu da iki çekirdekli bir VPS üzerinde, asla çalıştırmayacağınız dosyalar için fazladan birkaç dakika harcanması anlamına gelir.
-j 2 bilinçli bir tercihtir. Her paralel derleme işi kendi çalışma kümesini tutar; bu yüzden küçük bir planda -j $(nproc) kullanmak, derleyiciyi durduran çekirdek bellek yetersizliği (OOM killer) ile sonuçlanan c++: fatal error: Killed signal terminated program cc1plus hatasına yol açar. İş sayısını düşürün veya derleme için swap alanı ekleyin.
Değiştirmek isteyebileceğiniz bir bayrak: GGML_NATIVE varsayılan olarak etkindir, bu nedenle derleyici derlemeyi yapan CPU'yu tam olarak hedefler. Derlemeyi çalıştıracak makinede yapıyorsanız istediğiniz budur. Eğer bir kez derleyip ikili dosyayı farklı bir sunucuya kopyalayacaksanız -DGGML_NATIVE=OFF ekleyin; çünkü diğer CPU'nun sahip olmadığı komutları kullanan bir ikili dosya, ilk çıkarım (inference) sırasında Illegal instruction (core dumped) hatasıyla çöker.
Dosyayı etiketi içeren bir isimle kurun.
./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server--version derleme numarasını ve commit bilgisini yazdırır. Kontrol ettiğiniz etiketle eşleşmesi gerekir. Eşleşmiyorsa, başka bir şey derlemişsiniz demektir. Numarayı dosya adında tutmak ve bir sembolik bağlantıyı (symlink) ona yönlendirmek, yükseltmenin bir ln -sfn ve bir yeniden başlatma ile yapılabilmesini sağlar; geri alma işlemi de eski numarayla aynı komut kullanılarak gerçekleştirilir.
GGUF modeli edinin ve önce diski kontrol edin
GGUF, llama.cpp tarafından yüklenen tek dosya biçimidir. Tek bir dosya ağırlıkları, belirteçleyiciyi (tokeniser) ve meta verileri barındırır; bu nedenle kurulacak başka bir bileşen yoktur. Dosya adındaki sonek, ağırlıkların saklandığı hassasiyet düzeyi olan nicemlemeyi (quantisation) belirtir: Q4_K_M 4-bit bir karışımdır, Q8_0 8-bit'tir ve f16 nicemlenmemiş yarım hassasiyetli dosyadır.
Herhangi bir indirme işlemi yapmadan önce bir servis hesabı ve model dizini oluşturun.
sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srvSunucu, derlemenizin çalıştığını kanıtlamanın en hızlı yolu olan -hf ile modeli kendi başına çekebilir.
sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080LLAMA_CACHE indirme dizinini ayarlar. Bu parametre veya XDG_CACHE_HOME kullanılmazsa, dosya komutu çalıştıran hesabın altında ~/.cache/llama.cpp dizinine gider; aşağıdaki birim dosyası /srv/llama dizinini salt okunur yapar. Önbelleğe alınan dosya adı düz dosya adından ziyade depo adından türetildiği için, işlem sonrasında ls -lh /srv/models komutunu çalıştırın.
Bir servis için, birim dosyasının işaret edebileceği kararlı bir yol seçerek indirme işlemini gerçekleştirin.
sudo -u llama curl -L --output-dir /srv/models -O \
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.ggufDisk, kullanıcıların karşılaştığı ilk sınırlamadır. Bunlar, 18 Ağustos 2026 tarihinde kontrol edilen iki modele ait yayınlanmış dosya boyutlarıdır.
Bu grafiğin arkasındaki veriler
[
{
"label": "gemma-3-1b-it Q4_K_M",
"size_gb": 0.81
},
{
"label": "gemma-3-1b-it Q8_0",
"size_gb": 1.07
},
{
"label": "gemma-3-1b-it f16",
"size_gb": 2.01
},
{
"label": "gpt-oss-20b MXFP4",
"size_gb": 12.11
}
]1B model için 4-bit dosya 0.81 GB'tır. Aynı modelin nicemlenmemiş hali 2.01 GB'tır; dolayısıyla biçim seçimi rakamı iki kattan fazla değiştirir. MXFP4 formatındaki 20B bir model 12.11 GB'tır ve bu dosyanın ayrıca belleğe okunması gerekir. Belirli bir aileye odaklanıyorsanız, GLM için aynı boyutlandırma çalışması, daha küçük bir kardeş model bir VPS'e sığarken ana modelin nasıl hızla maliyet sınırlarını aştığını göstermektedir.
Her indirme işleminden önce df -h komutunu kontrol edin. 12 GB'lık bir aktarım sırasında dolan bir kök dosya sistemi, günlük kayıtları (journal) dahil olmak üzere yazma işlemi yapması gereken diğer her şeyi bozar.
Elle bir kez çalıştırın ve kontrol edin
sudo -u llama /usr/local/bin/llama-server \
--model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--ctx-size 4096 --parallel 1 --threads 2 --no-webuiİkinci bir oturumda, sunucuya hazır olup olmadığını sorun.
curl -s http://127.0.0.1:8080/healthDosya yüklenirken HTTP 503 hatası ve şu gövde içeriğini alırsınız:
{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}Sunucu hazır olduğunda gövde içeriği {"status": "ok" } olur. Ardından gerçek bir istek gönderin.
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'choices dizisine sahip bir JSON nesnesi, sunucunun çalıştığını gösterir. model alanı, OpenAI istemcileri tarafından her zaman gönderildiği için mevcuttur. Bu sunucuda tek bir model yüklüdür, bu nedenle değer herhangi bir seçim yapmak için kullanılmaz.
OpenAI uyumlu API ve port üzerindeki diğer öğeler
POST /v1/chat/completions, POST /v1/completions, POST /v1/responses ve POST /v1/embeddings OpenAI uyumlu rotalardır; GET /v1/models ise yüklü olan modeli raporlar. Gömme (embedding) işlemleri, none dışında bir havuzlama (pooling) yöntemine sahip model gerektirir. GET /health yukarıda belirtilen hazır olma kontrolüdür, GET /props sunucunun mevcut ayarlarını döndürür ve GET /metrics, --metrics ile başlatıldığında Prometheus sayaçlarını dışa aktarır.
Uyumlu OpenAI SDK çağrıları için temel URL'yi http://127.0.0.1:8080/v1 olarak ayarlayın ve SDK gerektiriyorsa boş olmayan bir API anahtarı dizisi sağlayın. Bu, her SDK özelliğiyle uyumluluğu garanti etmez. Siz --api-key veya --api-key-file ayarını yapana kadar hiçbir mekanizma bu anahtarı kontrol etmez.
Kimsenin verim iddiasını kendi planınız için bir referans olarak almayın. CPU çıkarım hızı; çekirdek sayısına, bellek bant genişliğine ve sunucuyu paylaştığınız komşularınıza bağlıdır; bu nedenle kendi makinenizde saniye başına üretilen token sayısını ölçün ve bu sonucu gerçek veri olarak kabul edin. Gürültülü bir komşudan kaynaklanan çalınan zaman (steal time), burada saatten saate değişen bir üretim hızı olarak kendini gösterir.
Servisi 127.0.0.1 üzerinde tutun ve önüne bir proxy yerleştirin
--host varsayılan olarak 127.0.0.1 değerini kullanır, bu nedenle siz değiştirene kadar sunucu dışarıdan erişilemez durumdadır. Bu ayarı değiştirmeyin. Kullanıcı hesapları, istek hız sınırlandırması ve denetim günlükleri için proxy kullanın; yerleşik API kimlik doğrulaması statik anahtarlar kullanır: --api-key tek bir anahtar veya virgülle ayrılmış bir liste kabul eder, --api-key-file ise her satırda bir anahtar okur. Açık bir çıkarım (inference) portu, onu bulan herkes için bedava işlem gücü demektir ve Ollama ile yapılan aynı hata burada da aynı sonucu doğurur: kendi kendine barındırılan model API'sini güvenli hale getirme rehberi burada satırı satırına uygulanabilir.
TLS (transport layer security) sonlandırma işlemini nginx üzerinde yapın ve trafiği loopback portuna yönlendirin.
server {
listen 443 ssl;
server_name llm.example.com;
location /v1/ {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off;
proxy_read_timeout 600s;
}
}proxy_buffering off, akış yanıtlarını nginx aldığı anda istemciye iletir. Tamponlama (buffering) açık olduğunda, nginx her olayı anında iletmek yerine upstream verisini tamponlar. proxy_read_timeout 600s, yavaş yanıtlar için alan sağlar. Bu değer, sunucudan yapılan iki okuma arasında nginx'in bekleyeceği en uzun süredir; tüm yanıt için bir üst sınır değildir. Bu nedenle, 60 saniyelik varsayılan değerde, bu aralık boyunca hiçbir veri göndermeyen akış dışı bir istek zaman aşımına uğrar. b10488 içinde, akış yanıtları varsayılan olarak her 30 saniyede bir SSE keepalive ping'leri gönderir; buna uzun istem işleme süreleri de dahildir. Sertifikayı almak için nginx üzerinde Certbot ve Let's Encrypt rehberine bakın.
systemd birimi
/etc/systemd/system/llama-server.service dosyasını oluşturun.
[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes
[Install]
WantedBy=multi-user.targetAyarlar Environment= satırlarında yer alır; çünkü llama-server çoğu bayrak için LLAMA_ARG_* değişkenlerini okur ve komut satırı argümanı, eşleşen değişkeni geçersiz kılar. Bu yapı, bağlam boyutunu değiştirmek için tek bir merkez sağlar ve ExecStart dosyasını bir bakışta okunabilecek kadar kısa tutar.
ProtectSystem=strict, özel geçici dizinler gibi istisnalar haricinde dosya sistemini bu birim için salt okunur hale getirir; sunucu yalnızca modeli okuduğu için bu durum bir sorun teşkil etmez. Servisin -hf ile model indirmesini istiyorsanız ReadWritePaths=/srv/models ve Environment=LLAMA_CACHE=/srv/models ayarlarını ekleyin. ProtectHome=yes; /home, /root ve /run/user dizinlerini gizler. Bu ayar, ilgili servis hesabının /srv/llama dizinindeki ev dizinini gizlemez ancak ProtectSystem=strict bu dizini salt okunur hale getirir.
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pagerenable --now, kullanıcıların genellikle atladığı kısımdır. enable olmadan, sunucu bir sonraki yeniden başlatma işleminden sonra çalışmayacaktır. Servis çevresinde, yeni bir sürüm için gece kontrolü gibi zamanlanmış işler yürütmek istiyorsanız, bunun için bir systemd servisi ve zamanlayıcı mekanizması kullanılır.
OOM durumu gerçekleşmeden önce ne olacağına karar verin
Bellek kullanımı iki kısımdan oluşur ve bir sınır altında farklı davranışlar sergilerler. Model dosyası varsayılan olarak bellek eşlemelidir (memory-mapped), bu nedenle sayfaları dosya desteklidir: çekirdek bunları bırakabilir ve diskten tekrar okuyabilir. Sunucunun her aktif konuşma için tuttuğu token başına durum olan KV cache ise anonim bellektir. Bu bellek bırakılamaz, bu yüzden sürecin sonlandırılmasına neden olan kısım budur.
Unit dosyasındaki iki sınırın farklı işlevleri olmasının nedeni budur. MemoryHigh=3G bir yumuşak sınırdır: bu sınırın üzerinde çekirdek cgroup üzerinde geri kazanım baskısı oluşturur, böylece eşlenmiş model sayfaları tahliye edilir ve bir sonraki token sırasında diskten tekrar okunur. Servis çalışmaya devam eder ancak yavaşlar. MemoryMax=3500M ise sert sınırdır: çekirdek önce yapabildiği kadar geri kazanım yapar, kullanım yine de sınırın altında tutulamazsa OOM killer unit içinde çalışır ve journal bunu açıkça belirtir.
llama-server.service: A process of this unit has been killed by the OOM killer.--ctx-size değerini kendiniz belirleyin. Varsayılan değer 0'dır; bu, modelin eğitildiği bağlam anlamına gelir ve modern, uzun bağlamlı bir modelde başlangıçta çok büyük bir KV cache ayırır. Servis, tek bir istek bile karşılayamadan sonlanır. --parallel bu maliyeti kendi başına katlamaz: --ctx-size, her slot tarafından paylaşılan toplam KV cache boyutunu belirler, bu nedenle --ctx-size 4096 --parallel 4 her konuşmaya dört kat bellek yerine yaklaşık 1.024 token sağlar. Her slota tam bağlamı vermek, --ctx-size değerini slot sayısıyla çarpmak anlamına gelir ve bellek bununla birlikte büyür, bu yüzden eşzamanlılığa ihtiyacınız olduğundan emin olana kadar --parallel değerini 1 olarak bırakın.
Restart=on-failure ile sonlandırılan bir servis geri gelir. Systemd, start request repeated too quickly ile yeniden başlatmayı yalnızca başlatmalar yapılandırılan hız sınırını aştığında durdurur; buradaki beş saniyelik yeniden başlatma gecikmesi, on saniyede beş başlatma olan varsayılan sınıra ulaşmaz. Kalıcı bir yeniden başlatma döngüsünü sudo systemctl stop llama-server ile durdurun, sınırı veya bağlam boyutunu düzeltin, ardından sudo systemctl reset-failed llama-server ile başarısız durumunu temizleyin ve servisi tekrar başlatın.
Bir istek çalışırken systemctl show llama-server -p MemoryCurrent ile gerçek sayıyı izleyin. systemd ile süreç belleğini ve CPU'sunu sınırlama bu yönergeleri daha ayrıntılı olarak ele almaktadır.
Bu iş yükü için swap kullanmaktan kaçının. Swap alanına taşınan bir model, her token'ı rastgele ofsetli disk okumalarına dönüştürür. Model dosyasını belleğe eşlemek, çekirdek ihtiyaç duyduğu sayfaları doğrudan dosyadan okuduğu için daha az zararla aynı etkiyi sağlar.
Ollama'nın daha iyi bir seçenek olduğu durumlar
Bu noktada bir yol ayrımındasınız. Belirlediğiniz flag'ler, sabitlediğiniz bir build ve seçtiğiniz bir dosya ile çalışan, arka planda başka hiçbir şey çalışmadığı için hiçbir ayarın değişmediği tek bir süreç istediğinizde llama-server seçeneğini tercih edin.
Model yönetimi istediğinizde ise Ollama'yı seçin: modelleri isimleriyle çekmek, diskte birden fazlasını tutmak, boşta olanı bellekten boşaltmak ve yeniden derleme yapmak yerine tek bir komutla yükseltme yapmak gibi. Bunlar, aksi takdirde kendinizin script yazarak yapması gereken gerçek işlerdir. Ollama'yı VPS üzerinde çalıştırmak, aynı işin farklı bir yaklaşımla yapılmasıdır. Her ikisi de OpenAI uyumlu bir API sunar; ancak herhangi bir yöne geçiş yapmadan önce istemcinizin kullandığı endpoint'leri ve özellikleri test edin.
Sabitlenmiş bir derlemeyi yükseltme
bNNNNN ifadesini geçiş yapacağınız nightly derleme etiketi ile değiştirin; resmi sürüm etiketleri bunun yerine vX.Y.Z kullanır.
cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-serverEski binary dosyası diskte kalmaya devam eder, bu nedenle geri alma işlemi ln -sfn ile llama-server-b10488 dosyasına dönüp bir kez yeniden başlatma yapmaktan ibarettir. Geçiş yapmadan önce sürüm notlarını okuyun. GGUF dosyaları sürümlüdür ancak geriye dönük uyumluluk evrensel değildir: mevcut yükleyici GGUFv1 dosyalarını reddeder. Bayraklar (flags) da yeniden adlandırılır: b10488 sürümünde --mlock ve --no-mmap, --load-mode lehine kullanımdan kaldırılmıştı ve 11 Ekim 2026 itibarıyla güncel sunucu belgelerinde artık listelenmemektedir; bu nedenle kaldırılmış bir bayrağı geçiren bir unit dosyası, tanınmayan argüman hatası ile başlatma sırasında başarısız olur. Varsayılan değerler de değişir: güncel derlemeler varsayılan olarak 9931 numaralı portu dinler, oysa b10488 sürümü 8080 kullanıyordu; bu yüzden buradaki her komut ve unit dosyası portu açıkça belirtmektedir.
Hata modları ve karşılaşacağınız dizgeler
error while loading shared libraries: libllama.so ikili dosyayı başka bir yere kopyaladıktan sonra oluşur. Varsayılan derleme işlemi, ikili dosyanın yanında paylaşılan kütüphaneler üretir. -DBUILD_SHARED_LIBS=OFF ile yeniden derleyin veya tüm build/bin dizinini kopyalayın.
Illegal instruction (core dumped) başlatma sırasında veya ilk istekte oluşur. İkili dosya, üzerinde çalıştığı CPU'dan farklı bir CPU için GGML_NATIVE açık şekilde derlenmiştir. Bu makinede yeniden derleyin veya -DGGML_NATIVE=OFF ile yapılandırın.
c++: fatal error: Killed signal terminated program cc1plus derleme sırasında oluşur. Derleyici, çok fazla bellek kullandığı için sonlandırılmıştır. -j değerini düşürün veya derleme süresince swap alanı ekleyip işlem bitiminde kaldırın.
curl: (7) Failed to connect ... Connection refused dizüstü bilgisayarınızdan oluşur. Bu beklenen bir durumdur: sunucu, VPS'in loopback adresi üzerinde dinleme yapmaktadır. VPS üzerinde test edin veya ssh -L 8080:127.0.0.1:8080 user@your-vps ile bir tünel açıp yerel olarak http://127.0.0.1:8080 kullanın.
"message":"Loading model" ile HTTP 503 yeniden başlatmadan sonraki ilk saniyeler veya dakikalar içinde oluşur. Çok gigabaytlık bir dosyayı okumak zaman alır; systemd, model henüz belleğe yüklenmeden, süreç başladığı anda birimi aktif olarak raporlar.
İstekler askıda kalıyor ve ardından 504 Gateway Time-out dönüyor. Sunucu, proxy_read_timeout süresinden daha uzun süre hiçbir veri göndermedi; bu durum akış (streaming) olmayan isteklerde gerçekleşebilir. b10488 içindeki akış istekleri, uzun istem işleme süreçlerinde varsayılan olarak her 30 saniyede bir keepalive ping'i gönderir. proxy_read_timeout değerini artırın ve token'ların üretildikçe istemciye ulaşması için proxy_buffering ayarını kapatın.
Birim kararsız çalışıyor ve ardından start request repeated too quickly ile duruyor. Başlatma denemeleri, yapılandırılmış hız sınırını aşmıştır. OOM killer satırı için journalctl -u llama-server dosyasını kontrol edin, ardından --ctx-size değerini düşürün veya MemoryMax değerini artırın.
FAQ
VPS üzerinde llama.cpp sunucusu mu yoksa Ollama mı çalıştırmalıyım?
Tam bir derleme sürümünü sabitlemek, kesin flag değerlerini geçmek ve hiçbir şeyin arka planda güncelleme yapmadığından emin olmak için llama-server çalıştırın. Model yönetimi ve tek komutla yükseltme kolaylığı istiyorsanız Ollama kullanın; çünkü modelleri isme göre çekmek, diskte birden fazla model tutmak ve boşta kalanları bellekten boşaltmak, aksi takdirde kendinizin betik yazması gereken işlerdir. Her ikisi de OpenAI uyumlu bir API sunar, ancak geçiş yapmak için istemcinizin kullandığı uç noktaları ve özellikleri kontrol etmeniz gerekir.
Hangi llama.cpp sürümünü sabitlemeliyim?
Gerçekten derlediğiniz ve test ettiğiniz herhangi bir etiketi kullanın. Günlük geliştirme sürümleri, 18 Ağustos 2026 tarihinde yayınlanan b10488 gibi derleme numarası etiketlerini kullanır; resmi sürümler ise vX.Y.Z gibi anlamsal sürüm etiketlerini kullanır. --branch <tag> ile klonlayın, ikili dosyayı bu etiketi içeren bir dosya adı altında kurun ve ona bir sembolik bağ (symlink) yönlendirin; böylece yükseltme ve geri alma işlemleri tek bir komutla yapılabilir.
llama-server ne kadar RAM'e ihtiyaç duyar?
GGUF dosyasının boyutundan başlayın ve üzerine --ctx-size ile büyüyen KV önbelleğini ekleyin. Bu rakam, tüm --parallel yuvaları tarafından paylaşılan toplam token bütçesidir; bu nedenle her yuvanın aynı bağlamı (context) koruması isteniyorsa, daha fazla yuva daha büyük bir --ctx-size gerektirir. Yayınlanan rakamlar kendi kurulumunuzu ölçmenin yerini tutmaz, çünkü toplam miktar modele, nicemlemeye (quantisation) ve izin verdiğiniz bağlama bağlıdır. Bir istek işlenirken systemctl show llama-server -p MemoryCurrent komutunu çalıştırın ve gördüğünüz değeri baz alın.
/health uç noktası neden "Loading model" mesajıyla 503 hatası döndürüyor?
Süreç başlamıştır ancak model dosyası henüz belleğe yüklenmemiştir, bu nedenle sunucu {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}} yanıtını verir. Bu durum her yeniden başlatmadan sonra normaldir ve dosyanın okunması sürdüğü sürece devam eder. Yalnızca bir istemci veya proxy, bu ilk 503 yanıtını kalıcı bir hata olarak değerlendirdiğinde sorun teşkil eder. {"status": "ok" } yanıtını alana kadar /health uç noktasını sorgulamaya devam edin.
llama-server'ı doğrudan internete açabilir miyim?
Sunucuyu 0.0.0.0 adresine bağlayıp portu dış dünyaya açmayın. Hesap yönetimi, istek hız sınırlamaları (rate limit) ve denetim günlükleri için bir proxy kullanın; yerleşik API kimlik doğrulaması, --api-key veya --api-key-file ile ayarlanan statik anahtarları kullanır. Varsayılan 127.0.0.1 bağlamasını koruyun, önüne TLS ile yapılandırılmış nginx koyun ve ayrıca --api-key ayarını yapın; böylece proxy yapılandırmasındaki bir hata, modeli herkese açık hale getirmez.