Ollama Eşzamanlılık Ayarları: NUM_PARALLEL ve MAX_QUEUE
Ollama sunucusunda OLLAMA_NUM_PARALLEL ve OLLAMA_MAX_QUEUE değişkenlerinin çalışma mantığını öğrenin. İsteklerin neden kuyrukta beklediğini ve her yuvanın bellek maliyetini inceleyin.
İlk Ollama isteği üretim yaparken ikinci isteğe ne olur
Ollama eşzamanlılığı üç ortam değişkeni ile belirlenir ve varsayılan ayarlarda yüklü bir model aynı anda tek bir isteğe hizmet verir. İkinci istek reddedilmez ve kısmi bir yanıt almaz. Bir yuva boşalana kadar kuyrukta bekler ve ardından normal hızında çalışır.
Gelen bir isteğin üç olası sonucu vardır. İstek, boş bir yuvada hemen başlar. Kuyrukta bekler. Veya kuyruk zaten doludur ve sunucu HTTP 503 hatasıyla isteği reddeder. Hangisiyle karşılaşacağınız OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE ve OLLAMA_MAX_LOADED_MODELS değişkenleri tarafından belirlenir. Ekim 2026 itibarıyla mevcut sürümlerde bir istisna bulunmaktadır. FAQ kuyruğu genel terimlerle tanımlar, ancak zamanlayıcı kaynak kodu daha spesifiktir. 503 hatası yalnızca, modelin henüz yüklenmesi gereken veya farklı ayarlarla yeniden yüklenmesi gereken durumlarda gelen istekler için geçerlidir. Ollama, halihazırda yüklü bir modelin olduğu gibi hizmet verebileceği bir isteği reddetmez. Bu istek, bir yuva boşalana kadar gereken süre boyunca bekler.
Varsayılan ayar güvenlidir ve bir şey bozulmadığı halde ikinci bir kullanıcının sunucunun "donduğunu" bildirmesinin nedeni de budur. Yuva eklemek iki satırlık bir değişikliktir. Sorun yaratan kısım bellektir. Her paralel yuva kendi anahtar/değer önbelleğine (KV cache) ihtiyaç duyar; bu, modelin halihazırda işlediği token'lar için tuttuğu bellek bloğudur. VRAM (GPU üzerindeki video belleği) eklemeden yuva eklerseniz, yavaş bir yanıtı başarısız bir yüklemeye dönüştürürsünüz. Yalnızca CPU kullanan bir sunucuda aynı önbellek sistem RAM'inden karşılanır.
OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE ve OLLAMA_MAX_LOADED_MODELS parametrelerinin işlevleri
Bunlar, Ekim 2026 itibarıyla güncel Ollama sürümlerindeki varsayılan değerlerdir. Buradaki sayılara güvenmek yerine, aşağıda gösterilen günlük kaydını kullanarak kendi değerlerinizi kontrol edin.
OLLAMA_NUM_PARALLEL, yüklenmiş bir modelin aynı anda kaç isteği işleyeceğini belirler. Varsayılan değer 1'dir; bu nedenle istekler sırayla karşılanır.OLLAMA_MAX_LOADED_MODELS, aynı anda bellekte kaç farklı modelin tutulacağını belirler. Varsayılan değer 0'dır; bu, Ollama'nın seçim yapacağı anlamına gelir: GPU başına üç model veya GPU olmayan bir makinede üç model.OLLAMA_MAX_QUEUE, FAQ bölümündeki ifadesiyle, Ollama'nın meşgul olduğu durumlarda ek istekleri reddetmeden önce kuyruğa alacağı maksimum istek sayısıdır. Varsayılan değer 512'dir. Kuyruk doluyken gelen istek doğrudan reddedilir. Ancak mevcut zamanlayıcı kodunda, yalnızca yüklenmesi veya yeniden yüklenmesi gereken modeller için gelen istekler bu kuyruğa girer. Hali hazırda yüklenmiş bir model için gelen istekler bu kuyruğu atlar ve boş bir yuva bekler; bu bekleme süresinin bir sınırı yoktur. Bir geliştirici bunu zamanlayıcının uygulanma biçiminden kaynaklanan bir yan etki olarak tanımlamıştır ve Ollama geliştiricileri bu durumu bir özellik isteği olarak takip etmektedir (issue #7758); bu konu Ekim 2026 itibarıyla hala açıktır.
En kötü durum bellek kullanımı, ilk iki değerin çarpımıdır. Dörder yuvalı iki yüklü model, aynı anda bellekte tutulan sekiz KV önbelleği yuvası tahsisatı anlamına gelir ve Ollama bunu karşılamaya çalışacaktır. Tek GPU'lu bir sistemde genellikle tek bir modeli bellekte tutmak ve yuvaları ona atamak daha iyidir; çünkü bu durumda hesaplama, zihinden yapılabilecek kadar basit kalır.
Her paralel slot neden VRAM tüketir
Ollama bir modeli yüklediğinde ayrı bir runner işlemi başlatır. Bu işleme ilettiği iki bağımsız değişken burada önemlidir: -c, runner'ın KV cache ayırdığı toplam context değeridir; -np ise paralel sequence sayısıdır. Ollama, -c değerini istek başına context uzunluğunuz ile slot sayısının çarpımı olarak ayarlar. Runner daha sonra bu toplam değeri slotlara eşit biçimde böler. Böylece her istek, belirlediğiniz context uzunluğunu almaya devam eder.
Temel kısıt budur. Paralelliğin neden ücretsiz olmadığı da buradan anlaşılır. İstek başına context değeri aynı kalırken slot sayısını birden dörde çıkarmak, dört kat KV cache ayrılmasını gerektirir. Slotlar arasında paylaşım yapılmaz. Boş bir slotun payı yoğun kullanılan slota aktarılmaz. Çünkü bölüştürme, runner başlatılırken sabitlenir. GPU üzerinde bu bellek VRAM'dir. Yalnızca CPU kullanılan sunucularda ise sistem RAM'idir ve aynı çarpan geçerlidir.
Ayarlamak istediğiniz değerler yerine gerçek değerleri okuyabilirsiniz:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"Bu satır, -c ve -np dahil olmak üzere runner'ın tam komut satırını içerir. Değişkeni ayarladıktan sonra -np değeri 1 ise önce model türünü kontrol edin. Ollama v0.40.15, recurrent ve vision GGUF modelleri için paralel istek desteği ekledi. Bu nedenle bu modellerdeki önceki tek slot kısıtlaması artık geçerli değildir. Embedding modelleri scheduler içinde hâlâ tek slot alır. Bir GGUF completion modeli için ayarın server'a ulaştığını kontrol edin. Bir sonraki bölüm bunu açıklar.
Model ağırlıkları ile bu KV cache VRAM'e sığmıyorsa Ollama bazı katmanları sistem RAM'ine taşır ve bu katmanları CPU üzerinde çalıştırır. CPU katmanları GPU katmanlarından çok daha yavaştır. Bu nedenle başlangıçta yalnızca tek bir istek göndermiş olsanız bile her istek yavaşlar. Dolayısıyla paralelliği artırmak throughput değerini yükseltmek yerine düşürebilir. Yeterince büyük bir modelde, slot hesabına geçilmeden önce yalnızca ağırlıklar belirleyici olur. Bu nedenle Kimi K3 boyutunda bir şeyi self-host etmek, kaç slot ayarladığınızdan çok kaç ekran kartınız olduğu ile ilgilidir.
ollama psPROCESSOR sütununda 100% GPU yazıyorsa modelin tamamı sığıyor demektir. 35%/65% CPU/GPU gibi bir ayrım, modelin bir bölümünün CPU üzerinde çalıştığı anlamına gelir. SIZE sütununa KV cache de dahildir. Bu nedenle slot sayısını artırıp modeli yeniden yüklediğinizde bu değer büyür. OLLAMA_NUM_PARALLEL değerini artırın, yeniden başlatın, tek bir istek gönderin ve ollama ps komutunu yeniden çalıştırın. Böylece değişikliğinizin bellek maliyetini tahmin etmek yerine ölçmüş olursunuz. Ölçüm modelin artık sığmadığını gösteriyorsa ağırlıkların aynı bütçenin diğer yarısı olduğunu unutmayın. fp16'dan q8 veya q4 derlemesine geçmek çoğu zaman eklemek istediğiniz slotun tükettiği miktardan daha fazla VRAM boşaltır.
Context uzunluğu ile slot sayısı çarpılır. Bu nedenle bu iki değer birlikte seçilmelidir. Dört slotla kullanılan büyük bir context, dört büyük context anlamına gelir. Ayrıca modeliniz için num_ctx context penceresini ayarlıyorsanız iki değerden yalnızca birini değiştirin. Aksi halde ekran kartını hangi değerin doldurduğunu anlayamazsınız.
Bu değişkenlerin yeniden başlatma sonrasında korunması nasıl sağlanır
Linux üzerinde Ollama, systemd servisi olarak çalışır. Shell içinde export OLLAMA_NUM_PARALLEL=4 çalıştırılması hiçbir şeyi değiştirmez; systemd servisi kendi ortamıyla başlatır ve shell ortamınızı hiç görmez. Bunun için bir drop-in dosyası kullanılmalıdır.
sudo systemctl edit ollama.serviceAçılan düzenleyicide aşağıdaki içeriği ekleyin:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"Ardından yapılandırmayı yeniden yükleyip servisi yeniden başlatın:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentsystemctl show, systemd'nin sürece aktaracağı değerleri yazdırır. Değişkeniniz burada eksikse drop-in dosyası kaydedilmemiştir veya daemon-reload adımı atlanmıştır. Sunucunun kendi tarafından da doğrulama yapın:
journalctl -u ollama --no-pager | grep "server config" | tail -1Ollama, başlangıçta sunucu yapılandırmasını server config mesajını içeren bir satırda loglar. Bu map, Ollama'nın bildirdiği yapılandırılmış ortam değerlerini gösterir. Bir değişkenin etkili olup olmadığı konusundaki belirsizliği gidermenin en hızlı yolu budur. Burada ayarladığınız değer gösterilir; belirli bir modelin gerçekte kullandığı slot sayısı gösterilmez. Bunun için yukarıdaki runner satırındaki -np değerini okuyun.
Hâlihazırda yüklenmiş bir model, başlatıldığı slot sayısını korur. Çünkü bu değer, başlatma sırasında runner sürecine sabitlenir. Yukarıdaki yeniden başlatma işlemi her şeyi kaldırır. Bu nedenle sonraki istek, modeli yeni ayarla yeniden yükler ve yükleme süresi yalnızca bir kez ödenir. Modelin bundan sonra bellekte ne kadar süre tutulacağı ayrı bir ayardır. Bu konu, istekler arasında bir Ollama modelini yüklü tutma bölümünde ele alınır.
İstemci açısından served, queued ve refused durumları
Aynı anda birden fazla istek gönderin ve sürelerini ölçün. Aşağıdaki komut, sekiz adet streaming isteğini paralel olarak çalıştırır ve her biri için durumu ve süreleri yazdırır:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb, akışın ilk baytına kadar geçen süredir; ilk akış parçası ilk token'ı taşıdığı için bu süre, ilk token'a kadar geçen süreye (TTFT) yakındır.
Paralel olarak sunulan (Served). Her istek benzer bir ttfb değeri bildirir ve total değeri hepsi için birlikte yükselir. GPU, çalışan yuvalar arasında paylaşıldığı için her bir yanıt tek başına olduğundan daha yavaştır, ancak dakika başına tamamlanan yanıt sayısı artar. OLLAMA_NUM_PARALLEL değerini yükselttiğinizde elde ettiğiniz çalışma rejimi budur.
Sırada bekleyen (Queued). İlk istekler hızlı yanıtlanır, sonrakiler ise büyük bir ttfb değerinin ardından normal bir üretim süreci gösterir. Bekleme süresi modelden değil, kuyruktan kaynaklanır. Sohbet penceresini izleyen bir kullanıcı, uzun bir boşluktan sonra metnin tam hızda aktığını görür. Yavaş başlayıp ardından hızlanan bu yapı, aşırı yüklenmiş bir GPU'dan ziyade bir kuyruğun işaretidir.
Reddedilen (Refused). İstemci neredeyse anında http=503 yanıtını alır ve gövde içeriği şöyledir:
{"error":"server busy, please try again. maximum pending requests exceeded"}Bu mesaj, istek ulaştığı sırada zamanlama kuyruğunun dolu olduğu anlamına gelir. VRAM veya model hakkında herhangi bir bilgi vermez. Mevcut sürümlerde bu kuyruk yalnızca modeli henüz yüklenmemiş veya farklı ayarlarla yeniden yüklenmesi gereken istekleri tutar. Yukarıdaki döngüyü çalıştırdığınızda model zaten bellekteyse, OLLAMA_MAX_QUEUE değerini ne kadar düşük ayarlarsanız ayarlayın her isteğin 200 dönmesini bekleyin. Taşma durumu, daha uzun bir ttfb süresi olarak kendini gösterir.
Dürüst bir sınırlama: Ollama, kuyruk derinliğini yayınlamaz. ollama ps ve /api/ps uç noktası, bekleyen istekleri değil, yüklenmiş olan modelleri raporlar. Bu nedenle kuyruğu, ilk bayta kadar geçen süreyi izleyerek veya ön tarafta bulunan herhangi bir katmandaki 503 yanıtlarını sayarak istemci tarafından ölçersiniz.
Neden daha küçük bir MAX_QUEUE ayarı genellikle daha iyidir
512 birimlik bir kuyruk kulağa cömert gelse de, tek bir slot üzerinde neredeyse işlevsizdir. 300 numaralı istek, 299 adet tamamlanmış üretimin arkasında bekler. Bu durum en iyi ihtimalle dakikalar sürer. Her HTTP istemcisi bu süreden çok önce bağlantıyı keser; dolayısıyla çağrıyı yapan taraf bir istemci tarafı zaman aşımı hatası alır. Bu hata, sorunun kaynağı hakkında hiçbir bilgi vermez ve izleme sisteminizin bir uyarı oluşturmasını sağlamaz.
Daha küçük bir kuyruk, bu taşmayı anında 503 hatasına dönüştürür. Ancak bu durum yalnızca, bir modelin yüklenmesini veya yeniden yüklenmesini bekleyen istekler için geçerlidir; örneğin yeniden başlatma sonrası veya modeller değiştirilirken gelen ani istek artışlarında olduğu gibi. Ekim 2026 itibarıyla, halihazırda yüklü olan bir modele yapılan istekler OLLAMA_MAX_QUEUE değerini atlar ve sınırsız bir şekilde boş slot bekler. Bu nedenle kuyruğu düşürmek, tek bir yerleşik modele sahip yoğun bir sunucudaki bekleme süresini kısaltmaz. Orada hızlı bir reddetme almak için, bir sonraki bölümde açıklandığı gibi Ollama önündeki eşzamanlılık (concurrency) değerini sınırlayın. 503 hatası kullanışlıdır: bir reverse proxy bu hatayı yeniden deneyebilir, bir istemci geri çekilebilir, bir panel bunu sayabilir ve bir kullanıcı bunu okuyabilir. Sınır değerini kendi ölçümlerinize göre belirleyin. Eğer bir üretim yaklaşık on saniye sürüyor ve istemciniz altmış saniye bekliyorsa, bu pencere içinde slot başına yaklaşık altı istek tamamlanabilir; bundan fazlasının beklemesine izin vermek yalnızca zaman aşımlarına yol açar.
Ollama önüne ne zaman kuyruk yapısı konulmalı
Ollama içerisindeki yerleşik kuyruk yapısı ilk giren ilk çıkar (FIFO) mantığıyla çalışır ve çağrıyı yapanın kim olduğu hakkında bilgi sahibi değildir. Tek bir sunucuyla iletişim kuran tek bir uygulama için bu yeterlidir; ek altyapı kurmak yalnızca hata noktalarını artırır. Aşağıdaki durumlardan biri geçerli olduğunda bir ara katman kullanılması gerekir:
- Önceliklendirme ihtiyacı. İnteraktif bir sohbet, toplu özetleme işinin bitmesini beklememelidir. Ollama kuyruğunun öncelik mekanizması yoktur; bu nedenle toplu işlerin dışarıda tutulması ve sisteme yavaşça beslenmesi gerekir.
- Adil kullanım ihtiyacı. Tek bir istemci tüm yuvaları işgal edebilir ve arkasında bekleyen isteklerin yığılmasına neden olabilir. Bu durumda diğer tüm kullanıcılar o istemcinin arkasında bekler veya istekleri model yüklenmesini gerektiriyorsa 503 hatası alır.
- Sınırlı bekleme süresi ihtiyacı. Ollama, halihazırda yüklü olan bir model için gelen istekleri süresiz olarak bekletir; bu nedenle güvenilir tek sınır, önüne koyduğunuz sınırdır.
- İşin yeniden başlatma sonrasında devam etmesi ihtiyacı. Kuyruk, sunucunun belleğinde tutulur. Ollama yeniden başlatıldığında bekleyen tüm istekler kaybolur.
- Geri çekilme (backoff) mekanizmasına sahip gerçek deneme (retry) süreçleri ve bu süreçlerin daha sonra incelenebilecek şekilde kaydedilmesi ihtiyacı.
Hafif çözüm bir reverse proxy kullanmaktır. Nginx içerisinde limit_conn eşzamanlı bağlantıları, limit_req ise istemci başına gelen istek hızını sınırlar; böylece kapasite aşımı proxy katmanında reddedilir ve Ollama'ya ulaşmaz. Ağır çözüm ise Ollama'yı çağıran bir worker'ın önünde veritabanı destekli bir iş kuyruğu kullanmaktır; isteklerin süreç yeniden başlatmalarından etkilenmemesi gerektiğinde bu yöntem tercih edilmelidir. Gerçek trafik için bu yapının boyutlandırılması ayrı bir konudur: eşzamanlı kullanıcılar için self-hosted LLM planlama rehberi gerekli hesaplamaları, VPS üzerinde Ollama çalıştırma rehberi ise bu değişkenlerin temel aldığı kurulumu açıklamaktadır.
Dürüst yanıt farklı bir sunucu olduğunda
Ayarlarınızla aşamayacağınız bir sınır mevcuttur. Ollama, model yüklendiğinde KV önbelleğini eşit ve sabit yuvalara böler. Boş bir yuvanın belleği meşgul bir yuva tarafından kullanılamaz ve yuva sayısı model kaldırılmadan değiştirilemez. Bu tasarım tek bir kişi, küçük bir ekip veya bir kodlama ajanı için uygundur.
Aynı anda birçok kullanıcıya hizmet vermek üzere tasarlanan sunucular farklı çalışır. KV önbelleğini talep üzerine küçük sayfalar halinde tahsis ederler ve gelen istekleri halihazırda çalışmakta olan bir gruba eklerler; böylece bellek, sabit bir bölümlendirme yerine gerçek talebi takip eder. Hedefiniz tek bir GPU üzerinde çok sayıda eşzamanlı kullanıcı ise, bu mimari fark herhangi bir OLLAMA_NUM_PARALLEL değerinden daha önemlidir. Ollama ve vLLM karşılaştırması bu kararı vermek için doğru yerdir. Ancak sadece prensip gereği değişiklik yapmayın: farklı bir sunucuyu işletmek daha fazla iş yükü getirir ve eğer trafiğiniz birkaç kişiden ibaretse, yerleşik davranış en doğru yanıttır. Asıl soru bir model sunucusunu kendinizin çalıştırıp çalıştırmaması gerektiği ise, sadece teklif veren özel bir yapay zeka sunucusu ile aynı yığını kiralanan bir GPU üzerinde kurmanın karşılaştırılması, bir API kullanmanın ne zaman daha mantıklı olduğu da dahil olmak üzere bu karar sürecini detaylandırır.
Kendi verimliliğinizi ve ilk belirtece ulaşma sürenizi ölçün
Yayınlanan saniye başına belirteç (token) değerleri; başkasına ait GPU, model, nicemleme (quantisation), bağlam uzunluğu ve istem (prompt) verilerine dayanır. Bunların hiçbiri sizin sisteminizle eşleşmez; bu nedenle okuduğunuz her sayıyı kaba bir ipucu olarak değerlendirin ve önünüzdeki makineyi bizzat ölçün.
Ollama, her yanıtın sonundaki JSON nesnesi içerisinde zamanlama verilerini döndürür. eval_count üretilen belirteç sayısını, eval_duration ise bunların üretilmesi için harcanan süreyi nanosaniye cinsinden gösterir.
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'Bu işlemi önce tek bir yuva (slot) ile, ardından gerçekte beklediğiniz eşzamanlılık değerinde çalıştırın. Kullanıcı memnuniyetini belirleyen iki temel değeri karşılaştırın: ilk belirtece ulaşma süresi ve istek başına saniye başına belirteç sayısı. Yuva sayısı arttıkça istek başına verimlilik her zaman düşer. Önemli olan, bu düşüşün kullanıcılarınızın kabul edilebilir bulduğu sınırın altına inip inmediğidir. Yerel bir LLM üzerinde saniye başına belirteç ölçümü başlıklı içerik, istemin çalıştırılmalar arasında nasıl sabit tutulacağı da dahil olmak üzere yöntemi daha ayrıntılı olarak ele almaktadır.
Geniş bir kuyruğa sahip herkese açık bir uç nokta, hizmet reddi saldırıları için bir hedeftir
OLLAMA_HOST=0.0.0.0:11434 ayarının kullanılması, API'yi tüm arayüzlerde erişilebilir kılar ve yerel API herhangi bir kimlik doğrulama gerektirmez. Ollama; bulut modelleri, yayınlama ve özel indirmeler için yerleşik bir oturum açma sistemine sahiptir. https://ollama.com/api ve https://ollama.com/v1 adreslerindeki doğrudan bulut çıkarımı (inference), bir API anahtarı gerektirir. Varsayılan kuyruk ayarlarıyla, korumasız bir uç nokta, bir modelin yüklenmesini bekleyen 512 adede kadar isteği, onu bulan herhangi birinden kabul edecektir. Zaten yüklenmiş bir model için ise, bağlanan her isteği, her istemci bağlı kaldığı sürece sınırsız bir şekilde bekletecektir. Sunucuyu bu şekilde meşgul etmenin saldırgana maliyeti neredeyse sıfırdır: uzun istemler (prompt), giriş yapma zorunluluğu yok, hız sınırlaması yok, fatura yok. Bu durumda kendi kullanıcılarınız 503 hataları alır veya uzun bekleme süreleriyle karşılaşır; makine ise tüm süre boyunca meşgul kalır.
Dinleyiciyi loopback üzerinde tutun ve ona bir SSH tüneli veya özel bir ağ üzerinden erişin ya da önüne kimlik doğrulama ve hız sınırlama katmanı ekleyin. Ollama API uç noktasının güvenliğini sağlama bölümü her iki yöntemi de kapsar. Kuyruğu ancak bu işlemler tamamlandıktan sonra yapılandırın; çünkü kuyruk uzunluğu bir kapasite ayarıdır ve herhangi bir koruma sağlamaz.
FAQ
İkinci Ollama isteğim neden birincisi tamamlanana kadar bekliyor?
Bunun nedeni OLLAMA_NUM_PARALLEL değerinin varsayılan olarak 1 olmasıdır. Bu nedenle yüklenmiş model aynı anda yalnızca bir isteği çalıştırır ve diğer istekler sırayla bekler. Bekleyen istek HTTP bağlantısını açık tutar ve bir slot boşalana kadar veri göndermez. İstemci tarafında bu durum, yavaş bir modelle aynı görünür. Zamanlama biçimi ayırt edici göstergedir: Uzun bir beklemenin ardından metnin tam hızda gelmesi kuyruk olduğunu gösterir. İlk token'dan itibaren metnin yavaş akması ise modelin yavaş olduğunu gösterir. systemd drop-in kullanarak slot sayısını artırın ve servisi yeniden başlatın. Ardından runner satırındaki -np değerini kontrol edin. Embedding modelleri zamanlayıcıda hâlâ tek slot kullanır.
"server busy, please try again. maximum pending requests exceeded" ne anlama gelir?
Bu, HTTP 503 durum koduyla döndürülen Ollama kuyruk taşması hatasıdır. Zamanlanmayı bekleyen, yani modelinin yüklenmesini veya yeniden yüklenmesini bekleyen isteklerin sayısı OLLAMA_MAX_QUEUE değerine ulaşmıştır. Bu değer varsayılan olarak 512'dir. Bu nedenle en yeni istek kuyruğa eklenmek yerine reddedilmiştir. Zaten yüklenmiş bir modele gönderilen istekler bu sınıra dahil edilmez. Bu hatayla çoğunlukla başlangıç sırasında oluşan ani yüklerde veya modeller değiştirilirken karşılaşılır. Bu bir bellek hatası değildir ve model hatası da değildir. Kuyruğu büyütmek, çağıranların aynı reddi daha geç almasını sağlar. Gerçek çözümler, VRAM yeterliyse daha fazla slot kullanmak, gelen yükü azaltmak veya önünde yeniden deneme ve önceliklendirme yapabilen bir kuyruk kullanmaktır.
OLLAMA_NUM_PARALLEL değerini artırmak Ollama'yı hızlandırır mı?
Hayır. Bu değişiklik aynı anda daha fazla isteğin çalışmasına izin verir. Ancak bu isteklerin her biri, tek başına çalışmasına kıyasla daha yavaş olur. Bunun nedeni GPU'nun istekler arasında paylaşılmasıdır. Ayrıca KV cache boyutu da çarpanla büyür. Ollama runner'ı, toplam context değerini context length ile slot sayısının çarpımı olarak başlatır. Sonuç VRAM'e sığmazsa Ollama katmanları CPU'ya taşır. Bu durumda rekabet etmeyen tek bir istek dahil olmak üzere tüm istekler yavaşlar. Değişiklikten sonra ollama ps değerini kontrol edin. Ardından PROCESSOR sütununda hâlâ 100% GPU değerinin yazdığını doğrulayın.
Bu değişkenleri değiştirdikten sonra Ollama'yı yeniden başlatmam gerekir mi?
Evet. Sunucu bu değişkenleri başlangıçta okur. Çalışan bir model, başlatıldığı sırada runner sürecine sabitlenen slot sayısını kullanmaya devam eder. Drop-in dosyasını sudo systemctl edit ollama.service ile düzenleyin. Ardından sudo systemctl daemon-reload ve sudo systemctl restart ollama komutlarını çalıştırın. systemctl show ollama --property=Environment ile doğrulama yapın. Sonra Ollama'nın bildirdiği yapılandırılmış environment değerlerini listeleyen journalctl -u ollama içindeki server config satırını kontrol edin.
Kaç paralel slot ayarlamalıyım?
1 ile başlayın ve değeri her seferinde bir adım artırın. Her adımdan sonra Ollama'yı yeniden başlatın, modeli yüklemek için bir istek gönderin ve ollama ps komutunu çalıştırın. PROCESSOR değerinin hâlâ 100% GPU okuduğu ve SIZE sütununda sunduğunuz en uzun context için yeterli pay kaldığı son değerde durun. Ardından gerçek eşzamanlılık düzeyiniz altında bu ayarda ilk token süresini ve saniye başına token sayısını ölçün. İstek başına hız, kullanıcılarınızın kabul ettiği düzeyin altına düşerse bir adım geri dönün.