SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor

Ollama modelini bellekte tutma ve yeniden yüklemeyi önleme

Ollama, 5 dakika boşta kalınca modeli bellekten kaldırır. systemd override içinde OLLAMA_KEEP_ALIVE ayarlanır ve yeniden başlatma sonrası model önceden yüklenir.

Ollama modeli birkaç dakika sonra neden bellekten kaldırıyor?

Ollama, son isteğin ardından modeli beş dakika boyunca bellekte tutar, ardından model bellekteki yerini serbest bırakır. Sonraki istekte ağırlıkların RAM veya VRAM'e yeniden yüklenmesi gerekir. Bu nedenle ilk token gelmeden önce bekleme yaşanır. Bir sohbet arayüzü veya kodlama aracısı önce hızlı çalışır, bir süre işlem yapmaz, ardından sonraki mesajda yeniden yavaşlar. Sistem arızalı değildir. Boşta bekleme zamanlayıcısının süresi dolmuştur.

Zamanlayıcının adı keep_alive şeklindedir. Bu ayar model başınadır ve her istek tamamlandığında yeniden başlatılır. İsteği yanıtlamakta olan bir model bellekten kaldırılmaz. Çünkü sunucu yalnızca etkin isteği olmayan bir modelin zaman aşımına uğramasına izin verir. Ekim 2026 itibarıyla varsayılan değer beş dakikadır ve bu sunucunun yüklediği tüm modellere uygulanır.

Boşta bekleme zaman aşımının ayarlanabileceği iki yer vardır: tek bir istekteki keep_alive alanı veya sunucu varsayılanı olarak OLLAMA_KEEP_ALIVE. Sunucu varsayılanının yeniden başlatma sonrasında korunmasını systemd drop-in yapılandırması sağlar. Bu kılavuzda Ollama'nın zaten bir servis olarak çalıştığı varsayılır. Çalışmıyorsa bir VPS üzerinde Ollama kurulumu ile başlayıp buraya dönülmelidir.

Şu anda hangi modeller bellekte ve ne zaman sona erecek?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Çıktının boş olması, hiçbir modelin yüklenmediği anlamına gelir. Bu durumda sonraki isteğin önce modeli yüklemesi gerekir. PROCESSOR, ağırlıkların nereye yüklendiğini gösterir. 100% GPU ve 100% CPU, modelin tamamen GPU belleğinde veya işlemci belleğinde olduğunu açıkça gösterir. 25%/75% CPU/GPU gibi bir dağılım, modelin yalnızca bir bölümünün VRAM'de olduğunu belirtir. Bu durumda kalan bölüm işlemci üzerinde çalışır ve üretim daha yavaş olur. Bunun nedeni genellikle modelin VRAM'e sığmamasıdır. Ancak GPU'ya gönderilecek katman sayısını sınırlayan num_gpu ayarı da aynı türde bir dağılım oluşturur.

UNTIL geri sayımı gösterir ve 4 minutes from now gibi göreli bir zaman yazdırır. Model negatif bir keep_alive ile yüklenmişse Forever yazdırılır. Süre dolduktan sonra, etkin istekler kaldırma işlemini geciktirirken bile, Stopping... yazdırılır.

Sütun kümesi sürümler arasında değişmiştir. Bu nedenle bir betikte alanları saymak yerine başlığı okuyun. 2026-10-30 tarihinde denetlenen Ollama v0.40.5 sürümü, CONTEXT ile UNTIL arasına ayrıca RUNNER sütununu yazdırır. Bu sütun, modele hizmet veren runner bilgisini gösterir. Bu nedenle başlığınız yukarıdaki örneğe göre bir sütun daha geniş olabilir. Otomatik işlemler için API'yi sorgulayın:

curl -s http://localhost:11434/api/ps

Her kayıt expires_at, 2026-08-09T14:38:31.83753Z gibi mutlak bir zaman damgası ve modelin GPU belleğinde bulunan bölümünü gösteren size_vram bilgisini içerir. size_vram değerinin 0 olması, modelin CPU üzerinde çalıştığı anlamına gelir.

Gerçekte reload işleminin maliyeti

Tahmin yürütülmemelidir. Ollama, her yanıtta yükleme süresini load_duration olarak nanosaniye cinsinden bildirir.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

İki API çağrısını çalıştırmadan önce ollama stop sonrasında ollama ps model listesinden modeli kaldırana kadar beklenmelidir. İlk çağrı modeli yüklediği için load_duration değeri yüksektir. Süreyi saniye cinsinden okumak için 1000000000 değerine bölünmelidir. İkinci çağrı model bellekteyken çalışır ve çok daha küçük bir değer bildirir. Bu iki değer arasındaki fark, zamanlayıcı süresi dolduktan sonra her kullanıcının ödediği maliyettir ve keep_alive değerinin değiştirilmesinin temel nedeni budur. Bir unload işleminden sonra kernel'in page cache alanı çoğu zaman model dosyasını tutmaya devam eder. Bu nedenle, yeterli RAM bulunan bir sistemde reload işlemi boot sonrasındaki ilk yüklemeden daha hızlı olabilir. Bu cache geri alındığında ağırlıklar diskten okunur. Dolayısıyla model dizini ikinci bir volume üzerine taşındıysa, bu volume'un hızı her cold load işlemi için alt sınırı belirler. Bu duraklamanın öncesi ve sonrasındaki generation hızını ölçmek için kendi sisteminizde saniye başına token sayısını nasıl ölçeceğinize bakılmalıdır.

Bir istekte Ollama modelini bellekte yüklü tutma

İstekle birlikte keep_alive gönderilmelidir. Bu ayar, isteğin tamamlandığı andan itibaren ilgili model için geçerli olur.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Dört değer biçimi kabul edilir:

  • süre dizesi: "30m", "24h", "90s"
  • saniye cinsinden yorumlanan yalın sayı: 3600
  • -1 veya "-1m" gibi negatif değerler; hiçbir boşta kalma zaman aşımı uygulanmaması anlamına gelir
  • 0; modelin etkin isteği kalmadığında bellekten kaldırılması anlamına gelir

İstek üzerindeki değer, her iki yönde de sunucu varsayılanını geçersiz kılar. Bunun etkisi sanılandan daha önemlidir: kendi keep_alive değerini gönderen istemcinin ayarı, sunucuda yapılandırılan tüm ayarların önceliğini alır.

Herhangi bir çıktı üretmeden de model yüklenebilir. Yalnızca model adı gönderilmelidir. Sunucu modeli yükler ve "done": true içeren boş bir yanıt döndürür.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Yeniden başlatma işleminden sonra veya yeni bir model çekildikten sonra çalıştırılması gereken komut budur. Böylece ilk gerçek kullanıcı isteği modelin yüklenmesi için beklemez. CLI aynı işlemi bir flag ile gerçekleştirir:

ollama run --keepalive 30m qwen3:8b "hello"

OLLAMA_KEEP_ALIVE ile varsayılan olarak yüklü tutun

Sunucu, başlangıçta OLLAMA_KEEP_ALIVE değerini okur ve kendi değeri olmayan her model için bu değeri kullanır. İstek alanıyla aynı biçimleri kabul eder; bu nedenle 30m, 3600 ve -1 ifadelerinin tümü çalışır.

Buradaki kritik nokta, bu ortam değişkeninin hangi ortamda tanımlanması gerektiğidir. SSH oturumunuzda export OLLAMA_KEEP_ALIVE=30m komutunu çalıştırmak bir sonuç vermez; çünkü paket kurulumu, sunucuyu kendi kullanıcısı ve kendi ortam değişkenleriyle bir systemd servisi olarak çalıştırır. Giriş kabuğunuz ile bu servis hiçbir zaman etkileşime girmez. Ayarın yok sayılıyor gibi görünmesinin en yaygın nedeni budur.

Bir systemd drop-in dosyası ile yeniden başlatma sonrası kalıcılık sağlama

sudo systemctl edit ollama.service

Düzenleyici iki yorum işaretiyle açılır. Bu işaretlerin arasına yazın: systemd, ikinci işaretin altına yazdığınız her şeyi yok sayar.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Kaydetme işlemi /etc/systemd/system/ollama.service.d/override.conf dosyasını oluşturur. Bu, orijinal unit dosyasını düzenlemek yerine kullanılan bir drop-in dosyasıdır; dolayısıyla ollama.service dosyasını değiştiren bir Ollama paket güncellemesi, sizin ayarlarınıza dokunmaz. Drop-in dosyaları ve unit dosyaları sizin için yeniyse, systemd servis ve zamanlayıcı kılavuzu bu mekanizmanın detaylarını açıklar.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Son komut, servisin gerçekten çalışacağı ortam değişkenlerini yazdırır. Eğer OLLAMA_KEEP_ALIVE=30m bu satırda görünmüyorsa, drop-in dosyası devreye girmemiştir; bunun nedeni neredeyse her zaman eksik bir [Service] başlığı veya işaretin altına yazılmış satırlardır. Yeniden başlatma işlemi yüklü tüm modelleri bellekten atar, bu nedenle bir sonraki istek soğuk yükleme (cold load) olacaktır. Yukarıdaki preload çağrısı ile modeli önceden yükleyerek ısınmasını sağlayın. Drop-in dosyası ayarı yeniden başlatma sonrasında korur, ancak modeli korumaz: servis yeniden başladığında ollama serve hiçbir model yüklü olmadan açılır, bu yüzden her boot işleminden sonra aynı preload çağrısını çalıştırın.

Bir modeli bellekte tutmanın maliyeti

ollama ps içindeki SIZE sütunu, yalnızca istek sırasında değil, tüm boşta kalma süresi boyunca tutulan belleği ifade eder. 4-bit kuantizasyonlu bir 8B model yaklaşık 5 ila 6 GB yer kaplar. 27B bir model ise bambaşka bir konudur ve yalnızca CPU kullanan bir VPS üzerinde böyle bir modeli çalıştırmanın bellek hesabı, onu bellekte tutmaya karar vermeden önce üzerinde düşünmeye değer bir konudur. keep_alive değerini -1 olarak ayarlarsanız boşta kalma süresi dolumunu devre dışı bırakırsınız; aynı model için daha sonra gelen istekler, zaman aşımı süresini yenileyebilir veya çalıştırıcı seçenekleri değiştiğinde modelin yeniden yüklenmesini zorunlu kılabilir. Küçük bir VPS üzerinde bu, veritabanınız, web uygulamanız ve derleme işlerinizle doğrudan bir kaynak rekabeti anlamına gelir.

Tahminlere güvenmek yerine gerçek sayıları izleyin. Bir model yüklüyken bu komutu çalıştırın, ardından ollama stop sonrasında tekrar deneyin:

free -h

available sütunu, çekirdeğin yeni bir sürece hala verebileceği bellek miktarını gösterir. Bir NVIDIA GPU sunucusunda nvidia-smi aynı durumu VRAM üzerinde gösterir. Sunucunun belleği biterse, çekirdek alanı geri kazanmak için bir süreci sonlandırır:

sudo dmesg -T | grep -i "out of memory"

ollama adını içeren bir satır, model sunucusunun kurban olduğunu gösterir. Veritabanınızın adını içeren bir satır ise modelin kazandığını ve sizin için önemli olan bir şeyin kaybettiğini gösterir. Her iki sonuç da aynı karardan kaynaklanır: boş alanı olmayan bir sunucuda uzun bir keep-alive süresi tutmak.

Burada gözden kaçırılması kolay iki maliyet vardır. Daha uzun bir bağlam uzunluğu (context length), daha büyük bir KV önbelleği (key value cache; modelin üretim sırasında tuttuğu her belirteç için dikkat durumu) rezerve eder ve bu önbellek, bellekteki toplam boyutun bir parçasıdır. Bu boyutun ne kadar büyüyeceği num_ctx değerine bağlıdır, bu nedenle bağlam penceresini yükseltmek, bellekte tutulan modelin yalnızca yanıt verirken değil, tüm boşta kalma süresi boyunca kapladığı belleği artırır. 1'den büyük OLLAMA_NUM_PARALLEL değeri, model bu paralelliği desteklediğinde her paralel yuva için bir kez o önbelleği rezerve eder. Ollama v0.40.16, embedding modelleri dahil olmak üzere tamamlama yeteneği olmayan modeller için paralelliği 1'e zorlar; zamanlayıcısı artık mllama veya qwen3next modellerini ayrı tutmaz. Eğer tek bir model üzerinden birden fazla kişiye hizmet vermeyi planlıyorsanız, bellek boyutunu yalnızca ağırlıklar için değil, yuvalar için de hesaplayın.

Makul bir varsayılan değer: boş alanı olan bir sunucudaki tek bir model -1 kullanabilir. Paylaşımlı bir sunucuda ise, siz çalışmayı bıraktığınızda belleğin geri kazanılması için 30m gibi istekleriniz arasındaki boşlukları kapsayan bir pencere kullanılmalıdır.

Bir modeli hemen bellekten kaldırma

ollama stop qwen3:8b

Süre sonu isteği gönderildikten sonra komut çıktı üretmeden döner. Bellekten kaldırma işlemi, etkin isteklerin tamamlanmasını beklediği için bellek serbest bırakılmadan önce komut tamamlanabilir. Model sunucuya çekilmiş ancak şu anda yüklenmemişse de komut çıktı üretmeden döner. Komut, bellekte hangi modellerin bulunduğunu denetlemez. Yalnızca bellekten kaldırma isteği gönderir ve bellekte model bulunup bulunmadığına bakmadan sunucu başarılı yanıt verir. couldn't find model "qwen3:8b" to stop hatası yalnızca bu sunucuda ilgili ada sahip hiçbir model kurulu olmadığında görülür. Bu durum genellikle model adındaki veya etiketindeki yazım hatasından kaynaklanır. Bu nedenle sessiz bir ollama stop yanıtı, herhangi bir belleğin serbest bırakıldığını göstermez. Bunu gösteren değer ollama ps değeridir. API biçiminde istek, prompt içermeden ve keep_alive değeri 0 olarak ayarlanarak gönderilir:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Yanıt "done_reason": "unload" bilgisini içerir. Servisi yeniden başlatmak yerine bu yöntemi kullanın. systemctl restart ollama belleği de serbest bırakır, ancak yüklenmiş diğer tüm modelleri bellekten kaldırır ve çalışmakta olan tüm istekleri sonlandırır.

Bir sunucuda birden fazla model çalıştırma

OLLAMA_MAX_LOADED_MODELS aynı anda yüklü kalabilecek model sayısını sınırlar. Ekim 2026 itibarıyla varsayılan değer GPU başına üç modeldir. Yalnızca CPU kullanılan bir sistemde de varsayılan değer üçtür. Bu sınır model sayısını belirtir. Asıl sınır bellektir. Bu nedenle ikinci büyük model için, üç modele ulaşmadan çok önce yer ayrılamayabilir.

Yeni bir model istendiğinde model için yeterli bellek yoksa veya sınıra ulaşılmışsa scheduler yer açmak için yüklü modellerden birini kaldırır. Etkin isteği olmayan modeli tercih eder. Süresi dolmamış bir zamanlayıcıya sahip modeli de kaldırabilir. Buna -1 ile yüklenen modeller dahildir. Ancak önce daha kısa zaman penceresine sahip modelleri dener. Bu nedenle negatif keep_alive değeri, boşta kalma zaman aşımı olmadığı anlamına gelir. Bu ayar, başka bir modelin isteği için ağırlıkları sabitlemez.

Bu kararlar servis logunda görünür. Sınır durumuyla ilgili kayıt yalnızca debug düzeyinde tutulur. Aynı drop-in dosyasına ikinci bir Environment="OLLAMA_DEBUG=1" satırı ekleyin, servisi yeniden başlatın ve şu çıktıyı izleyin:

sudo journalctl -u ollama -f

Unload işlemini tetikleyen isteğin yanındaki nedeni okuyun. max runners achieved, unloading one to make room, OLLAMA_MAX_LOADED_MODELS sınırına ulaşıldığı anlamına gelir. Her iki model belleğe sığsa bile bu durum oluşabilir. Bu nedenle free -h yeterli boş alan olduğunu gösteriyorsa sınırı artırın. Yeni modelin kullanılabilir belleği aşmasının beklendiğini ve ardından bir modelin kaldırıldığını belirten satır, scheduler'ın bellek payını dikkate alan uygunluk denetiminin modelleri birlikte yüklemeyi reddettiği anlamına gelir. Bu durumda çözüm, bu sunucuda daha az model çalıştırmak veya hızlı yanıt vermesi gereken model için uzun bir pencere, seyrek çağrılan model için ise 0 kullanmaktır.

Gelecek sürümlerin ötesine geçen rehberlik

Ollama sık sık yeni sürümler yayınlar ve varsayılan ayarları değişebilir; bu nedenle sayıları ezberlemek yerine elinizdeki derlemeyi kontrol edin:

ollama --version
ollama serve --help

ollama serve --help, ilgili derlemenin gerçekten okuduğu ortam değişkenlerini listeler; OLLAMA_KEEP_ALIVE de bunlar arasındadır. Sürümler boyunca geçerliliğini koruyan ve üzerine yapı kurabileceğiniz iki kural vardır. İstek üzerindeki bir değer, sunucu varsayılanını geçersiz kılar. Ayrıca ollama ps, bir yapılandırma dosyasının ne olması gerektiğini söylediğinden bağımsız olarak, nelerin yüklü olduğuna dair kesin bilgiyi sunar.

Eğer sunucunuzu bir düzenleyici veya bir aracı (agent) yönetiyorsa, sunucuyu suçlamadan önce istemcinin ne gönderdiğini kontrol edin. Bir kodlama aracını kendi Ollama sunucunuza yönlendirme rehberi, bu istek ayarlarının nerede bulunduğunu açıklar.

FAQ

Ollama modelimi neden 5 dakika sonra bellekten çıkarıyor?

Beş dakika, bir istek tamamlandığında Ollama'nın başlattığı boşta kalma zamanlayıcısı olan varsayılan keep_alive değeridir. Süre dolduğunda sunucu model ağırlıklarını bellekten çıkarır. Bu nedenle sonraki istekte ağırlıkların yeniden yüklenmesi gerekir ve hissedilen bekleme bu yeniden yüklemeden kaynaklanır. Tek bir istek için bu süreyi JSON gövdesinde "keep_alive": "30m" göndererek, sunucunun tamamı için ise OLLAMA_KEEP_ALIVE environment variable'ını kullanarak artırılabilir.

Bir Ollama modelinin bellekte kalıcı olarak yüklü tutulması nasıl sağlanır?

Negatif bir değer kullanın: İstek için "keep_alive": -1, sunucu için OLLAMA_KEEP_ALIVE=-1. Ardından ollama ps çıktısındaki UNTIL sütununda Forever görüntülenir. Bu işlem yalnızca boşta kalma zamanlayıcısını kaldırır. Başka bir model istendiğinde bellek yetersizse scheduler, yer açmak için bu modeli yine bellekten çıkarır. Aynı model için yapılan sonraki istekler de zaman aşımı değerini değiştirebilir veya runner seçenekleri değiştiğinde yeniden yükleme başlatabilir. Yeniden başlatma veya reboot işlemi de bu durumu sıfırlar. Bu nedenle modelin ardından yeniden preload edilmesi gerekir.

OLLAMA_KEEP_ALIVE neden dikkate alınmıyor?

Değişkeni nereye ayarladığınızı kontrol edin. systemctl show ollama --property=Environment komutunu çalıştırın. Değişken bu çıktıda yoksa sunucu değişkeni hiç almamıştır. Bunun nedeni shell içinde export edilen bir değişkenin systemd servisine aktarılmamasıdır. Değişkeni sudo systemctl edit ollama.service ile ayarlayın. Ardından sudo systemctl daemon-reload ve sudo systemctl restart ollama komutlarını çalıştırın. Diğer neden, istekte kendi keep_alive değerini gönderen bir client kullanılmasıdır. Bu değer, sunucunun varsayılan ayarını geçersiz kılar.

Ollama'yı yeniden başlatmadan bellek nasıl boşaltılır?

ollama stop qwen3:8b yalnızca ilgili modelin süresinin dolmasını ister. Sunucu ve yüklü diğer tüm modeller çalışmaya devam eder. Model bellekten çıkarılmadan önce etkin isteklerin tamamlanması gerekir. API üzerinden prompt içermeyen ve "keep_alive": 0 değerini taşıyan bir istek gönderin. Yanıt "done_reason": "unload" ile döner. İşlemi ollama ps ile doğrulayın. Bellekten çıkarma tamamlandığında model artık listelenmemelidir.

Bu yazı işinize yaradı mı?