SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor · Güncellendi 2026-10-26

Ollama num_predict ile çıktı uzunluğu nasıl sınırlanır

Ollama num_predict parametresi ile modelin üreteceği token sayısını nasıl kısıtlayacağınızı öğrenin. Ayarların hiyerarşisi, done_reason takibi ve hata çözüm yolları.

Ollama içerisinde num_predict ne işe yarar

num_predict, bir modelin tek bir yanıtta üretebileceği token sayısını sınırlayan Ollama seçeneğidir. Yalnızca çıktı tokenlarını sayar; bu nedenle istem (prompt), bu sınıra dahil edilmez. Model sınıra ulaştığında üretim olduğu yerde durur, bazen kelime ortasında kesilir ve yanıt done_reason değeri length olarak ayarlanmış şekilde döner.

Özelliğin tamamı bundan ibarettir. Zorluk, Ollama'nın bu değeri ayarlamanız için size üç ayrı yer sunması ve isteğe en yakın olan ayarın geçerli olmasıdır. "num_predict hiçbir işe yaramıyor" şeklindeki neredeyse tüm bildirimler, bir katmanın diğerini sessizce geçersiz kılması nedeniyle yaşanmaktadır.

num_predict, num_ctx ile aynı şey değildir

Bu iki seçenek, Ollama içerisinde diğer tüm çiftlerden daha fazla karıştırılmaktadır ve bu karışıklık ciddi hata ayıklama zamanı kaybettirir.

num_ctx, modelin ne kadar okuyabileceğini belirler. Bu, istemi ve şimdiye kadar üretilen her şeyi barındıran bağlam penceresinin (context window) boyutudur. Bu değeri artırmak bellek maliyeti doğurur; çünkü modelin bu belirteçler (tokens) için tuttuğu anahtar/değer önbelleği, pencere boyutuyla birlikte büyür. Donanımınız için num_ctx boyutlandırma kendi hata modlarına sahip ayrı bir iştir.

num_predict, modelin ne kadar yazacağını belirler. Bu bir tahsisat değil, bir durdurma kuralıdır. Bu değeri artırmak RAM yerine duvar saati süresi maliyeti doğurur ve önceden hiçbir şey rezerve edilmez.

Bu iki değer tek bir noktada kesişir. Üretilen belirteçler, oluşturuldukları anda bağlam penceresinin içine yerleşir. Ollama v0.40.11 sürümünde, çoğu model için bağlam kaydırma (context shift) varsayılan olarak etkindir; bu nedenle tam bir pencere eski belirteçleri atar ve üretim devam eder. Kaydırma kapalıyken, istek "shift": false değerini gönderdiği için veya model kaydırmayı desteklemediği için, bir yanıt sizin belirlediğiniz sınıra ulaşıldığı için değil, pencere dolduğu için de durabilir. Ollama her iki durumda da length raporlar, bu yüzden onları birbirinden ayıran sayı eval_count'tir ve bu konu aşağıda daha ayrıntılı ele alınmıştır.

Bir Modelfile ile tek seferde ayarlama

Bir Modelfile, değeri oluşturduğunuz bir modele kalıcı olarak işler. Dosyayı şu şekilde yazın:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Ardından modeli derleyin ve oluşturduğunuz içeriği kontrol edin:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters, depolanan her parametreyi değeriyle birlikte satır satır yazdırır. Eğer num_predict bu çıktıda yer almıyorsa, modelin içinde gömülü bir sınır yoktur ve Ollama'nın kendi varsayılan değeri geçerli olur. ollama show --modelfile qwen3-capped, tüm tanımı yazdırır; bu yöntem, mevcut bir modelin halihazırda sahip olduğu parametreleri kopyalamanın en hızlı yoludur. Bu şekilde sınırlı bir model oluşturmak neredeyse hiç ek disk alanı kaplamaz; çünkü yeni girdi, temel modelin zaten indirdiği ağırlık blob'larını kopyalamak yerine yeniden kullanır. Ollama'nın bu blob'ları nerede tuttuğunu bilmek, bir VPS root diski dolmadan önce faydalıdır.

Bu katman, her çağrıcının devralmasını istediğiniz bir değer için doğru yerdir. Eğer değerin nihai olmasını bekliyorsanız, bu katman yanlış seçimdir çünkü değer nihai değildir.

Seçenekler nesnesi içinde istek başına ayarlayın

Her üretim uç noktası bir options nesnesi alır ve num_predict bunun içine yerleştirilir:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat, aynı anlama gelen aynı options anahtarını kullanır. Buradaki bir değer, yalnızca o çağrı için geçerlidir ve başka hiçbir şeyi etkilemez. Bu, araçlarınızın kullandığı katmandır: bir sohbet arayüzü, bir betik, bir SDK sarmalayıcı veya bir kodlama ajanı. Bunların hepsi, size bunun için bir kutu gösterseler de göstermeseler de bir options nesnesi gönderir.

/set parametresi ile tek oturumluk ayar yapma

ollama run içerisinde, etkileşimli oturum, seçenekleri oturumun geri kalanı için belirler:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters, bir sonraki mesajınızla neyin gönderileceğini yazdırır; bu, bir değişikliğin etkili olduğunu doğrulamanın en hızlı yoludur. Değer, /bye yazana kadar geçerliliğini korur. Ayarı kalıcı hale getirmek için /save qwen3-capped, mevcut oturumu ve parametreleri yeni bir model olarak kaydeder. Burada /set yaptığınız hiçbir şey başka bir istemciye ulaşmaz.

Hangi ayar geçerli olur ve ayarlarınız neden yok sayılıyor gibi görünür

Sıralama kısadır. İstekle birlikte gönderilen seçenekler her şeyin önüne geçer. Modelfile içindeki bir PARAMETER num_predict satırı, istekte herhangi bir değer bulunmadığında kullanılan yedek ayardır. İkisi de yoksa, Ollama'nın yerleşik varsayılanı uygulanır.

/set parameter üçüncü bir kural değildir. Etkileşimli oturum bir API istemcisidir, bu nedenle orada ayarladığınız her şey o isteğin options değeri olarak gönderilir; işte bu yüzden oturum için Modelfile ayarını geçersiz kılar.

Şimdi bu durumun açıkladığı hataya bakalım. PARAMETER num_predict 512 ekleyip modeli yeniden oluşturuyorsunuz ancak yanıtlar hala binlerce token uzunluğunda oluyor. Ayarınız mevcut ve ollama show --parameters bunu kanıtlıyor. Ayar her istekte geçersiz kılınıyor çünkü istemci, kendi numarasını taşıyan kendi options nesnesini gönderiyor; bu genellikle aylar önce bir ayarlar ekranına yazdığınız ve unuttuğunuz bir sayıdır. ollama show kayıtlı modeli okur. HTTP üzerinden neyin geldiğini size gösteremez.

Sunucu tarafını tek bir komutla doğrulayın. Uzun bir yanıt üretecek bir istek gönderin, sınırı düşük tutmaya zorlayın ve iki alanı okuyun:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Ayrıntılı bir yanıt 32 token sınırını çok aşacaktır, bu nedenle "length" ve 32 bekleyin. Eksikse önce sudo apt install -y jq ile jq paketini yükleyin. 32 değeri garanti değildir çünkü eval_count, sunucunun aslında ürettiği çıktı token'larının sayısıdır. Model erken biterse "stop" ve daha küçük bir sayı alırsınız; bu durumda çözüm, daha fazlasını isteyen bir istemdir. "length" ve 32 değerlerini aldığınızda, isteğin kendi değeri qwen3-capped içinde saklanan 512'yi geçersiz kılmış demektir; bu da sunucunun istek bazlı seçeneklere uyduğunu gösterir. Bu size uygulamanızın ne gönderdiğini söylemez, bu yüzden arama istemci tarafına kayar. Sunucunun bir isteğe dair kendi kayıtları için, ortamda OLLAMA_DEBUG=1 ile sunucuyu yeniden başlatın ve uygulamanız sunucuyla konuşurken journalctl -u ollama -f günlüğünü izleyin.

Negatif değerler ve kopyalamamanız gereken sayılar

num_predict negatif değerleri de kabul eder; bunlar birer sayı değil, işaretçi (sentinel) değerleridir. Bir negatif değer "bunu sınırlama, üretmeye devam et" anlamına gelir. Bir diğeri ise "kalan bağlamı doldur" anlamında kullanılmıştır. Ekim 2026 itibarıyla Ollama Modelfile referansı varsayılan değeri -1, yani sonsuz üretim olarak belirtmektedir; aynı tablonun önceki sürümleri ise bağlamı doldurmak için -2 değerini listelemiştir.

Tüm bunları sürüme bağlı olarak değerlendirin, çünkü bu değerler değişmiştir. Referans dokümanı, giriş düzeltilmeden önce uzun bir süre varsayılan değeri 128 olarak göstermiştir, bu nedenle birçok kılavuz hala eski sayıyı tekrarlamaktadır. Davranış da değişmiştir. 25 Ekim 2026 itibarıyla güncel sürüm olan Ollama v0.40.11, GGUF modellerini sınırlı bir bütçeye ihtiyaç duyan bir üst seviye llama-server sürecine iletir. Bu nedenle, herhangi bir negatif değeri ve num_ctx değerinin on katının üzerindeki herhangi bir sınırı, num_ctx değerinin on katı ile değiştirir. Dolayısıyla "sonsuz", yukarıdaki qwen3-capped modeli için 81.920 token anlamına gelir ve -2 artık -1 değerinden farklı bir davranış sergilemez. Read the -1. Kullandığınız sürüm için Modelfile parametre referansını okuyun ve ardından davranışı yukarıdaki eval_count kontrolü ile doğrulayın. Kendi sisteminizde doğruladığınız bir değer, bu gönderi dahil olmak üzere herhangi bir yerde okuduğunuz bir değerden daha güvenilirdir.

CPU tabanlı bir VPS üzerinde çıktı uzunluğunun temel maliyet kalemi olmasının nedeni

Ollama, kendi kontrolünüzdeki bir makinede ücretsiz çalıştırılabilir, bu nedenle yerel üretim hiçbir zaman ücretlendirilmez ve uzun bir yanıtın maliyeti zaman olarak ödenir. Üretim süreci, iki farklı hızda gerçekleşen iki aşamadan oluşur. İstemi oluşturan token'lar gruplar halinde, aynı anda çok sayıda işlenir. Çıktı token'ları ise tek tek üretilir ve her biri, kullandığı ağırlıklar üzerinden bir geçiş gerektirir. Yalnızca CPU kullanılan bir VPS üzerinde bu geçiş, bellek bant genişliği ile sınırlıdır; bu nedenle üretilen bir token, okunan bir token'dan çok daha maliyetlidir. Bu geçiş, token'ın kullandığı her ağırlığı okumak zorunda olduğundan (yoğun bir modelde tüm ağırlıklar, Nemotron 3.5 Lightning gibi her token için 30B parametresinin yaklaşık 3B'sini etkinleştiren uzman karışımı modellerde ise yalnızca ilgili uzmanlar), her ağırlığın kapladığı bayt miktarı token hızınızın üst sınırını belirler. İşte bu yüzden q4 yapısı, aynı modelin q8 veya fp16 sürümlerinden daha hızlı kod çözümü yapar.

Yanıtı akış (streaming) olmadan talep ettiğinizde rakamlar net bir şekilde görülür:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Süreler nanosaniye cinsindendir. Ekim 2026 itibarıyla Ollama API dokümantasyonunda yayınlanan örnek yanıtta (herhangi bir sunucunun ölçümü değil), 11 istem token'ı yaklaşık 0,013 saniye sürerken, 18 çıktı token'ı yaklaşık 0,052 saniye sürmüştür. Bu, istem token'ı başına yaklaşık 1,2 milisaniye, çıktı token'ı başına ise 2,9 milisaniye demektir. Dolayısıyla tek satırlık bir yanıtta bile üretilen her token, okunan her token'dan iki kat daha maliyetlidir ve uzun bir yanıtta süreyi dolduran asıl kısım çıktı tarafıdır. Kendi üretim hızınız eval_count değerinin eval_duration değerine bölünmesi ve saniyeye çevrilmesiyle bulunur; kendi donanımınızda saniyedeki token sayısını ölçmek, başka herhangi bir ayar yapmadan önce mutlaka yapılmalıdır. Bu hız, makine kadar modele de bağlıdır; bu nedenle uzun yanıtlar gerçek maliyeti oluşturuyorsa, VPS üzerinde Nemotron 3.5 Lightning gibi hızlı kod çözümü için tasarlanmış bir model, düşük bir sınırın koruduğu zamanın bir kısmını geri kazandırır.

Geriye kalan hesaplamayı aritmetik yapar. Saniyede 8 token hızında, 2.000 token'lık bir yanıt makineyi dört dakikadan fazla meşgul eder ve model, sizin sadece bir paragraf istediğinizi bilmez. Bir akıl yürütme modeli, sizden gelen isteği yazmadan önce bu bütçenin bir kısmını düşünmeye harcar ve bu düşünme süreci de her şey gibi token token üretilir; bu nedenle talep ettiğiniz akıl yürütme çabası, aynı faturayı etkileyen bir diğer değişkendir. Bazı modeller döngüye girerek bir ifadeyi durdurulana kadar tekrarlayabilir. Bir sınır olmadığında, bu tek istek, bağlam kayması (context shift) tam bir pencerenin kapanmasını engellediği için num_ctx token değerinin on katına ulaşana kadar bir çekirdeği meşgul eder. num_predict, bu durumu sınırlayan ayardır ve tek bir uzun isteğin tüm makineyi kilitlediği küçük bir self-hosted Ollama VPS üzerinde en kritik öneme sahiptir.

Kırpılmış çıktı genellikle bir sınırdır, modelin bozulması değildir

Belirtiler model hatası gibi görünür. Cümlenin ortasında kesilen bir yanıt. Kapanış parantezi gelmediği için ayrıştırılamayan bir JSON. İlk refleks modeli veya kuantizasyonu suçlamaktır. Ancak önce yanıtı okuyun.

done_reason soruyu doğrudan yanıtlar. stop, üretimin herhangi bir sınırdan önce bittiği anlamına gelir; bunun nedeni ya modelin dizi sonu belirtecini (end-of-sequence token) yayınlaması ya da çıktının stop seçeneğinizdeki dizelerden biriyle eşleşmesidir; bu durum yanıtı eşleşmenin gerçekleştiği yerde sonlandırır. length, üretimin yer kalmadığı için kesildiği anlamına gelir. length değerini gördüğünüzde, eval_count ile sınırınızı karşılaştırın: tam eşleşme num_predict değerinin işlemi durdurduğunu gösterir, daha küçük bir sayı ise bağlam penceresinin (context window) dolduğunu belirtir; bu durum yalnızca bağlam kaydırma (context shift) kapalıyken gerçekleşebilir.

Akış (stream) sırasında bu alanlar, "done": true taşıyan son parçada gelir. Birçok istemci kütüphanesi bu parçayı atar ve kodunuza yalnızca metni iletir; bu nedenle aynı kırpılma bir uygulama içinde açıklanamaz görünürken curl altında bariz hale gelir. Eğer bir kütüphane bunu gizliyorsa, sunucunun gerçekte ne söylediğini öğrenmek için curl ile tek bir istek gönderin.

Bir nokta daha, boşa harcanan bir öğleden sonrayı kurtarır. num_predict değerini artırmak, modelin daha fazla yazmasını sağlamaz. Sadece bir tavanı kaldırır. Eğer bir yanıt stop değerinin done_reason kısmında bitiyorsa, ya model işinin bittiğine karar vermiştir ya da stop dizelerinizden biri eşleşmiştir; daha büyük bir sınır hiçbir şeyi değiştirmez. stop ile biten kısa yanıtlar bir istem (prompt) veya durdurma dizesi sorunudur. length ile biten kısa yanıtlar ise bir sınır sorunudur.

Bir değer seçimi

  • Etkileşimli sohbetler için sınırı kaldırıp, kontrolsüz bir yanıtı durdurmak için Ctrl+C tuşlarını kullanın. Zaten ekranı izliyor olacaksınız.
  • Betik ile çalıştırılan işlemler için mutlaka bir sınır belirleyin. Döngü içindeki sınırsız bir üretim, on dakika sürmesi gereken bir toplu işin ertesi sabah hala çalışıyor olmasına neden olur.
  • Yapılandırılmış çıktı için sınırı, beklediğiniz en büyük geçerli belgeden daha yüksek bir değere ayarlayın; ardından done_reason ile length durumunu bir hata olarak değerlendirip gelen veriyi ayrıştırmak yerine yeniden deneyin.
  • Kodlama aracısı için bu değer, aracının kendi yapılandırmasında yer almalıdır çünkü aracı her istekte kendi seçeneklerini gönderir. Bir kodlama aracısını Ollama'ya yönlendirme bölümü bu ayarların nerede bulunduğunu açıklar.

Sınır, kelimeleri veya karakterleri değil token'ları sayar; bu yüzden tahmin yürütmeyin. Sınır olmadan temsili bir yanıt oluşturun, eval_count değerini okuyun ve sınırı bunun rahatça üzerinde bir değere ayarlayın. Model aileleri farklı şekilde token'lama yapar; bu nedenle bir Llama modeline uygun olan değer, aynı VPS üzerindeki bir Qwen 3 modeli tarafından üretilen aynı yanıtı kesebilir.

FAQ

Ollama'da num_ctx ve num_predict arasındaki fark nedir?

num_ctx, bağlam penceresinin boyutudur; yani modelin ne kadar okuyabileceğini belirler: istem ve şimdiye kadar üretilen her şey. Bu değer bellek tüketir, çünkü anahtar/değer önbelleği bununla birlikte büyür. num_predict ise modelin tek bir yanıtta kaç token yazabileceğini belirler. Bu değer bellekten ziyade zaman tüketir ve önceden herhangi bir alan ayrılmaz. Üretilen token'lar her iki sınıra da dahil edilir; bu nedenle bağlam kaydırma (context shift) kapalıyken, bir yanıt her iki sınırdan biri nedeniyle yarıda kesilebilir.

num_predict ayarım neden yok sayılıyor gibi görünüyor?

Çünkü istek ile gönderilen bir değer, modelde kayıtlı olan değeri geçersiz kılar. Bir Modelfile içine PARAMETER num_predict 512 ekleyip ardından bu modeli bir sohbet arayüzü veya kodlama aracından çalıştırırsanız, istemci kendi options nesnesini gönderir ve bu değer geçerli olur. ollama show --parameters hala sizin değerinizi yazdırır, çünkü kayıtlı modeli okur ve HTTP üzerinden neyin geldiğini göremez. "options": {"num_predict": 32} kullanarak curl ile uzun bir yanıt gerektiren bir istem gönderin, ardından done_reason ve eval_count değerlerini okuyun. eval_count değeri 32 olan bir length, isteğin değerinin kayıtlı olanı geçersiz kıldığını gösterir; bu da sunucunun doğru çalıştığını doğrular ve sorunu uygulamanızın içinde aramanız gerektiğini belirtir. Daha küçük bir sayıya sahip bir stop, yalnızca modelin işini erken bitirdiği anlamına gelir; bu yüzden daha fazlasını isteyen bir istemle tekrar deneyin.

Çıktımın num_predict tarafından kesilip kesilmediğini nasıl anlarım?

İsteği "stream": false ile gönderin ve done_reason değerini okuyun. stop değeri, modelin kendi kendine bittiğini veya stop dizelerinizden birinin onu sonlandırdığını gösterir. length değeri ise modelin alanının tükendiği anlamına gelir. Ardından eval_count ile sınırınızı karşılaştırın: eğer tam olarak eşleşiyorlarsa num_predict onu durdurmuştur; eğer eval_count daha küçükse, bağlam penceresi önce dolmuştur. Akış (streaming) sırasında her iki alan da "done": true ile son parçada gelir; birçok istemci kütüphanesi kodunuz görmeden önce bunu atar.

num_predict varsayılan değeri nedir?

Bunu bir makaleden değil, kendi kurulumunuzdan okuyun. Ekim 2026 itibarıyla Ollama Modelfile referansı varsayılan değeri -1 olarak verir; bu, üretimin sınırsız olduğu anlamına gelir. Bu girdi, 128 değerini belgeleyen uzun bir sürenin ardından düzeltilmiştir. Ollama v0.40.11 sürümünde, negatif değerler gibi bu ucu açık varsayılan değer, aslında num_ctx değerinin on katında durur. Negatif değerler birer sayı değil, birer işaretçidir (sentinel); aynı tablonun eski sürümleri, kalan bağlamı doldurmak için -2 değerini de listelemiştir. Sürümünüz için Modelfile parametre referansını kontrol edin, ardından bunu ollama show --parameters ve bir curl isteği ile doğrulayın.

num_predict değerini artırmak modelin daha uzun yanıtlar yazmasını sağlar mı?

Hayır. Sadece bir tavanı kaldırır. Eğer bir yanıt stop üzerinden done_reason ile bitiyorsa, model işinin bittiğine karar vermiştir veya stop dizelerinizden biri eşleşmiştir; daha yüksek bir sınır hiçbir şeyi değiştirmez. Bu durumda uzunluk bir istem (prompt) konusudur: belirli bir yapı, bölüm sayısı veya belirtilen düzeyde ayrıntı isteyin. num_predict değerini yalnızca done_reason sonucu length olarak döndüğünde artırın.

Bu yazı işinize yaradı mı?