SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor · Güncellendi 2026-10-23

Ollama num_ctx ile bağlam uzunluğu nasıl ayarlanır?

Ollama uzun istemleri varsayılan bağlam penceresinde sessizce kesebilir. num_ctx değerini istek veya sunucu düzeyinde ayarlayın, KV cache RAM kullanımını önceden hesaplayın.

num_ctx ne işe yarar ve uzun isteminiz neden kesildi

Ollama bağlam uzunluğu, yüklenen bir modelin aynı anda bellekte tutabileceği belirteç sayısıdır ve num_ctx bunu belirleyen seçenektir. Ollama, modelin belirttiği maksimum değerin oldukça altında bir varsayılan seçer. Bu nedenle daha uzun bir istem, model onu okumadan önce kesilir. Yanıtın hiçbir bölümünde bunun gerçekleştiği belirtilmez.

Ollama model kitaplığında Llama 3.1 8B için 128k bağlam penceresi listelenir. Standart bir sunucu size bu değeri sağlamaz. Ollama'nın kendi belgelerinde farklı sayfalarda farklı varsayılan değerler yer alır: FAQ sayfasında 4096 belirteç, Modelfile başvurusunda varsayılan değer num_ctx olarak belirtilir ve bağlam uzunluğu sayfasında varsayılan değerin kullanılabilir VRAM'den (video RAM) seçildiği yazılıdır: 24 GiB altında 4k, 24 GiB ile 48 GiB arasında 32k ve 48 GiB ve üzerinde 256k. Bu değerlerin her biri bazı build sürümleri için geçerliydi. Buradaki önemli ders şudur: Bu sayfa dahil hiçbir sayfaya güvenmek yerine değeri kendi çalışan sunucunuzdan okuyun.

Kesme işlemi sessiz gerçekleşir; çünkü model yanıt vermeye devam eder ve yanıt hâlâ düzgün görünür. Yanıt, girdinizin son kısmından oluşturulmuştur. Bir belgenin ilk yarısını gözden kaçıran özet, modelin yetersiz olduğu izlenimini verir. Bunun nedeni genellikle küçük bir bağlam penceresidir.

Sunucunuzun fiilen uyguladığı Ollama bağlam uzunluğunu denetleyin

Her sürümde çalışan denetim prompt_eval_count komutudur; bu komut, sunucunun işlediğini bildirdiği istem belirteçlerinin (prompt tokens) sayısını verir. Bağlam kapasitesinden daha fazla veri gönderdiğinizde, bu sayı sınırda durur.

sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{prompt_eval_count, prompt_eval_duration}'

Bu istem yaklaşık 18.000 kelimedir, yani 4096 belirteçten çok daha fazladır. prompt_eval_count çıktısı, sunucu geri kalanını kırptığı için gerçek belirteç sayısı yerine 4096 değerine yakın bir sonuç döndürür. Komutu "num_ctx":16384 ile tekrar çalıştırdığınızda sayı yükselir. Eğer sürümünüz kırpma yerine hata döndürüyorsa, bu durum aynı bulgunun daha belirgin bir göstergesidir.

ollama ps

CONTEXT sütunu, bunu yazdıran sürümlerde, yüklü modelin o an hangi bağlam uzunluğuyla çalıştığını gösterir. Yanındaki PROCESSOR sütunu ise modelin nerede konumlandığını belirtir. 100% CPU, GPU bulunmayan bir VPS üzerinde normaldir. GPU içeren bir sunucuda 30%/70% CPU/GPU gibi bir bölünme, ağırlıkların ve önbelleğin artık VRAM'e sığmadığı anlamına gelir; bunun yaygın nedeni ise yükseltilmiş bir num_ctx değeridir.

journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5

Çıkarım çalıştırıcısı (inference runner), bağlam boyutunu n_ctx içeren bir satırda yazdırır. Tam ifade sürümler arasında değişiklik gösterebilir, bu nedenle satırın eksik olması durumunda bunu bir kanıt olarak değil, yeniden adlandırma olarak değerlendirin.

num_ctx ayarının yapılabileceği dört yer

İstek içerisinde. "options": {"num_ctx": 16384} değerini /api/generate veya /api/chat parametresine gönderin. Bu yöntem diğer tüm ayarları geçersiz kılar ve yalnızca ilgili çağrı için geçerli olur. Eğer değer, yüklü modelin mevcut çalışma değerinden farklıysa, sunucu önce modeli yeniden yükler; bunu yanıt içerisindeki load_duration değerinde görebilirsiniz: değer sıfıra yakınken aniden tam saniyelere çıkar. Aynı bekleme süresi, model boşta kalıp bellekten atıldığında da oluşur; bu nedenle bir bağlam boyutu belirlediğinizde keep_alive ile modeli bellekte tutmak faydalıdır.

Etkileşimli oturumda. ollama run içerisinde /set parameter num_ctx 16384 komutunu yazın. Bu ayar sadece o oturum süresince geçerli kalır.

Modelfile içerisinde. Bu yöntem, değeri isimlendirilmiş bir modele sabitler; böylece istemci tarafında herhangi bir değişiklik yapılmasına gerek kalmadan her istemci bu değeri kullanır.

FROM llama3.1:8b
PARAMETER num_ctx 16384
ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16k

Sunucu üzerinde. OLLAMA_CONTEXT_LENGTH, kendi num_ctx değerini taşımayan her istek için varsayılanı belirler. systemd altında, birim dosyasını (unit file) düzenlemek yerine bir drop-in dosyası ekleyin.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

Öncelik sırası, özellikle başka birinin istemcisinde hata ayıklarken önem kazanır. num_ctx içeren bir istek, sunucu varsayılanını geçersiz kılar; bu nedenle kendi küçük değerini gönderen bir sohbet arayüzü veya bir aracı, sizin systemd üzerinde yaptığınız değişikliği sessizce etkisiz hale getirebilir. Bir kodlama aracını Ollama sunucunuza yönlendirdiğinizde, sunucuyu suçlamadan önce istemcinin ne gönderdiğini kontrol edin.

num_ctx değerinin modelin maksimumuna ayarlanamamasının nedeni

Attention mekanizması her tokenın kendisinden önce gelen tüm tokenlara bakmasını gerektirir. Önceki tokenlar için hesaplanan key ve value değerleri yeniden hesaplanmamak üzere tutulur. Bu depolama alanına KV cache (key/value cache) denir. Model yüklendiğinde num_ctx değerinin tamamı için ayrılır; konuşma büyüdükçe kademeli olarak oluşturulmaz. Bu nedenle tek satırlık bir prompt için bile büyük bir context, ayrılan belleği tüketir.

Her layer, her token için her key/value head başına bir key vector ve bir value vector tutar. Hesap şu tek satırda gösterilebilir:

kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_value

2 sayısı key ve value değerlerinin ayrı ayrı sayıldığını belirtir. Diğer sayılar kendi modelinizden alınmalıdır.

curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
  jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'

Llama 3.1 8B, 32 layer ve 8 key/value head bildirir. Head dimension değeri embed değerinin heads değerine bölünmesiyle bulunur. Bu modelde 4096 / 32 = 128 olur. Bazı modeller bu değeri doğrudan llama.attention.key_length olarak yayımlar. Varsayılan cache f16 değerleri tutar; bu nedenle bytes_per_value değeri 2'dir. 2 32 8 128 2 işleminin sonucu 131,072 byte olur. Bu, context içindeki her bir token için 128 KiB cache anlamına gelir. Context uzunluğuyla çarpıldığında maliyet somut hale gelir.

GrafikLlama 3.1 8B at f16: KV cache and total RAM by context length, in GiB
Bu grafiğin arkasındaki veriler
[
  {
    "label": "4k",
    "kv_cache_gib": 0.5,
    "total_ram_gib": 5.1
  },
  {
    "label": "8k",
    "kv_cache_gib": 1,
    "total_ram_gib": 5.6
  },
  {
    "label": "16k",
    "kv_cache_gib": 2,
    "total_ram_gib": 6.6
  },
  {
    "label": "32k",
    "kv_cache_gib": 4,
    "total_ram_gib": 8.6
  },
  {
    "label": "64k",
    "kv_cache_gib": 8,
    "total_ram_gib": 12.6
  },
  {
    "label": "128k",
    "kv_cache_gib": 16,
    "total_ram_gib": 20.6
  }
]

6 satırı, ölçüm değil, yukarıdaki formülden elde edilen aritmetik sonuçtur. Total sütununa, Ollama library tarafından October 2026 tarihinde llama3.1:8b için listelenen 4.9 GB indirme boyutu da eklenmiştir. Bu değer 4.6 GiB'dir. Compute buffer'ları ve server process'in kendisi hesaba katılmamıştır. Bu değeri alt sınır olarak değerlendirin.

Buradaki amaç, değerlerin nasıl büyüdüğünü göstermektir. 8k seviyesinde cache maliyeti 1 GiB olur ve bu değer weights yanında önemsiz kalır. Modelin tam 128k context seviyesinde maliyet 16 GiB olur. Bu, weights değerinin üç katından fazladır ve toplam bellek kullanımı yaklaşık 20.6 GiB seviyesine çıkar. Bu nedenle 4 GB VPS, bu modeli kullanılabilir bir context seviyesinde yükleyemez. 8 GB VPS, 8k için yeterli alan sağlar. 16 GB VPS, sistemin geri kalanı için alan bırakarak 32k seviyesine ulaşabilir. Weights büyüdükçe bu eşikler de yükselir. Bu 8B model ile daha büyük bir model arasında seçim yapılıyorsa, yalnızca CPU kullanılan bir VPS üzerinde Qwen'in 27B tag'i için aynı hesaplamalar, 8 ile 64 GB arasındaki sistemlerde weights sonrasında context için ne kadar az alan kaldığını gösterir.

KV önbelleği sığmadığında ne olur

Yalnızca CPU kullanan bir VPS'de süreç büyümeye devam eder. Model yüklenirken ve uzun bir istek çalışırken süreci izleyin.

free -m
ps -eo rss,comm --sort=-rss | head -n 5

RSS (resident set size) kilobayt cinsinden yazdırılır. free -m içindeki kullanılan swap miktarı yükselmeye başlarsa bağlam boyutunu azaltın. Swap üzerinde tutulan bir KV önbelleği üretimi token başına saniyelerce duraklatır; çünkü her yeni token önbelleğin tamamını okur.

Makinenin belleği tamamen tükenirse kernel, genellikle en fazla bellek kullanan süreci sonlandırmak üzere bir süreç seçer.

sudo dmesg | grep -i "killed process"

Out of memory: Killed process 1234 (ollama) içeren bir satır, kernel'in seçtiği sürecin Ollama olduğu anlamına gelir. Belleği tüketen sürecin mutlaka Ollama olduğu anlamına gelmez. Ollama'nın büyük bellek kullanan tek süreç olduğu bir makinede, sığmayacak kadar büyük bir bağlam genellikle nedenidir. num_ctx değerini azaltmadan önce başka hangi süreçlerin çalıştığını kontrol edin. Ollama çoğu zaman bu noktaya gelmeden işlemi reddeder ve istek, ihtiyaç duyduğu bellek ile kullanılabilir bellek miktarını belirten bir mesajla başarısız olur.

GPU kullanan bir makinede hata daha sessiz gerçekleşir. Katmanlar sistem RAM'ine taşar, ollama ps CPU ve GPU arasındaki dağılımı gösterir ve throughput keskin biçimde düşer. Düşüşün ne kadar olacağı donanımınıza bağlıdır. Bu nedenle başka bir makineden alınan bir değere güvenmek yerine her bağlam ayarında kendi makinenizde saniye başına token sayısını ölçün.

Prefill süresi, istemden daha hızlı artar

Prefill, ilk çıktı token'ı görünmeden önce girdiğiniz üzerinde yapılan işlemdir. Her istem token'ı, kendisinden önceki tüm token'lara odaklandığından, toplam iş yükü girdi uzunluğunun karesiyle orantılı olarak artar. İstem uzunluğunu iki katına çıkarmak, ilk token için bekleme süresini iki kattan fazla artırır.

Yanıt ölçümü içerdiğinden, buna güvenmek zorunda kalmazsınız.

jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'

Bunu önce kısa bir istemle, ardından uzun bir istemle çalıştırın. Her iki durumda da token sayısını saniyeye bölün. Yalnızca CPU kullanan bir VPS'de prefill işlemi genellikle uzun bağlamlı bir isteğin en yavaş kısmıdır. Kısa bir istemden elde edilen saniye başına token değeri, uzun istemin performansını öngörmez. Önündeki herhangi bir zaman aşımını aşan bir prefill işlemi, uzun bir istemin yanıt yerine genellikle bağlam süresi aşıldı hatası döndürmesine neden olur. Bu nedenle bağlamı kısaltmadan önce hangi katmanın işlemi sonlandırdığını belirleyin.

Eşzamanlılık, bu durumun en çok hissedildiği alandır. Hizmet verilen her isteğin kendi önbelleğine ihtiyacı vardır; bu nedenle yukarıdaki grafikteki bellek sunucu başına değil, istek başınadır ve uzun bir istek, kısa istekler arkasında kuyrukta beklerken sunucuyu meşgul edebilir. OLLAMA_NUM_PARALLEL değerini bilinçli olarak ayarlayın ve her iki sayıyı birlikte artırmadan önce kendi kendine barındırılan bir LLM'in kaç eşzamanlı kullanıcıya hizmet verebileceği konusunu okuyun.

Daha küçük bir cache ile context alanı kazanın

Formüldeki bytes_per_value, kontrol edebileceğiniz bir ayardır. Ollama FAQ belgesinde OLLAMA_KV_CACHE_TYPE açıklanır; varsayılan değer f16, q8_0 ise f16 değerinin yaklaşık yarısı, q4_0 de yaklaşık dörtte biridir. q8_0 için kesin değer biraz daha yüksektir: llama.cpp, her 32 değerlik bloğu 32 adet tek baytlık değer ve iki baytlık bir ölçek olarak depolar. Bu nedenle 34 bayt kullanılırken f16 için 64 bayt gerekir. Dolayısıyla q8_0 değerine geçildiğinde 32k satırı, 4 GiB yerine yaklaşık 2.1 GiB olur. Ağırlıkları quantise etmek aynı bellek bütçesinin diğer tarafında alan açar. Bir VPS'e gerçekten sığan GLM etiketi de bu tercihi yapmak isterseniz quantisation seçenekleri tek tek ele alınarak incelenmiştir. Aynı FAQ, cache'in yalnızca Flash Attention etkin olduğunda quantise edildiğini belirtir ve zorunlu olarak etkinleştirmek için OLLAMA_FLASH_ATTENTION=1 seçeneğini belgeler.

[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

Varsayımda bulunmak yerine doğrulama yapılmalıdır: servisi yeniden başlatın, modeli öncekiyle aynı num_ctx değerinde yükleyin ve RSS değerlerini karşılaştırın. Destek, modele ve backend'e bağlıdır. Hiçbir değişiklik olmuyorsa kullandığınız kombinasyon desteklenmiyor demektir. Cache türü global bir seçenektir. Bu nedenle sunucudaki tüm modeller bu seçeneği kullanır. Kalite açısından FAQ, q8_0 seçeneğinin genellikle fark edilir bir etkisi olmadığını belirtir. q4_0 ise daha fazla hassasiyet kaybına yol açar. Bu kayıp özellikle daha büyük context boyutlarında belirginleşir. Bu nedenle q4_0 seçeneğini kendi istemlerinizle test etmeden kullanmayın. Bu ayarlar bu konuyu inceleme nedeninizse Ollama ve llama.cpp bu seçenekleri farklı biçimlerde sunar.

num_ctx değerini belirleme yöntemi

  1. Modelin maksimum bağlam (context) kapasitesini, katman sayısını ve anahtar/değer (key/value) başlık sayısını /api/show üzerinden okuyun.
  2. Token başına düşen bayt miktarını formülle hesaplayın ve hedeflediğiniz bağlam boyutuyla çarpın.
  3. Ağırlık boyutunu ekleyin, boş RAM miktarıyla karşılaştırın ve sistemin geri kalanı için en az 1 GiB boş alan bırakın.
  4. Değeri ayarlayın, modeli yükleyin ve ollama ps ile prompt_eval_count kullanarak uygulanan ayarı doğrulayın.
  5. Gerçek iş yükünüzü çalıştırırken free -m üzerinden izleme yapın; eğer swap kullanımı başlarsa bağlam boyutunu yarıya indirin.

Çoğu iş, insanların atadığından daha az bağlama ihtiyaç duyar. Uzun bir raporu özetlemek 16k içinde rahatlıkla sığar. Beş belge parçasını yapıştıran bir getirme (retrieval) arayüzü nadiren 8k değerini aşar. Tüm dosyaları okuyan bir kodlama ajanı, gerçekten 64k veya daha fazlasına ihtiyaç duyan durumdur; bu aynı zamanda makineyi bağlama göre boyutlandırmanız gereken durumdur. Sunucu henüz yeniyse, çalışan bir Ollama kurulumu ile başlayın ve modeller sorunsuz yüklendikten sonra bağlam ayarlarını optimize edin.

FAQ

Ollama'daki varsayılan context length nedir?

Build sürümüne ve donanıma bağlıdır; bu nedenle varsayım yapmak yerine kontrol edilmelidir. Ollama FAQ sayfasında 4096 token, Modelfile referansında num_ctx için varsayılan değer 2048 olarak belgelenir. Context length sayfasında ise kullanılabilir VRAM'e göre seçilen varsayılan değer belgelenir: 24 GiB altı için 4k, 24 GiB ile 48 GiB arası için 32k ve 48 GiB ve üzeri için 256k. Yalnızca CPU kullanan bir VPS, düşük değeri kullanır. ollama ps, bu sütunu içeren build sürümlerinde uygulanan context değerini yazdırır. API yanıtındaki prompt_eval_count ise bunu tüm build sürümlerinde doğrular.

Ollama uzun prompt'umun başlangıcını neden yok sayıyor?

Prompt context window'dan uzun olduğu için sunucu, model görmeden önce prompt'u kesti. Bu işlem herhangi bir hata döndürmedi. Aynı prompt'u daha büyük bir num_ctx değeriyle yeniden gönderin ve yanıttaki prompt_eval_count değerinin arttığını izleyin. Bu sayı değişmiyorsa istemci ile sunucu arasındaki bir bileşen num_ctx değerini kendisi belirliyor demektir. Bu durum chat front end'lerinde ve agent framework'lerinde yaygındır.

Daha büyük bir num_ctx ne kadar ek RAM gerektirir?

Context length değeri, token başına cache maliyetiyle çarpılmalıdır. Bu maliyet 2 * layers * kv_heads * head_dim * bytes_per_value değeridir. Llama 3.1 8B için f16 kullanımında token başına 128 KiB gerekir. Bu nedenle 32k token, ağırlıklara ek olarak 4 GiB; tam 128k ise 16 GiB bellek kullanır. Cache, model yüklenirken ayrılır. Bu nedenle prompt'larınız kısa kalsa bile büyük bir num_ctx bu belleği kullanır.

Daha büyük bir context window Ollama'yı yavaşlatır mı?

Evet, iki nedenle yavaşlatır. Prefill işlemi prompt uzunluğunun karesiyle büyür. Bu nedenle uzun bir giriş, ilk token'ın üretilmesini uzunluğunun düşündürdüğünden daha fazla geciktirir. Daha büyük cache de bellek için rekabet oluşturur: GPU kullanılan bir sistemde katmanları system RAM'e taşır, CPU kullanılan bir sistemde ise makineyi swap kullanımına yaklaştırır. Hiç doldurmadığınız büyük bir num_ctx yine de belleği kullanır; ancak prefill süresini artırmaz.

Bir model için num_ctx değerini kalıcı olarak ayarlayabilir miyim?

Evet. FROM llama3.1:8b ve PARAMETER num_ctx 16384 içeren bir Modelfile yazın, ardından ollama create llama3.1-16k -f ./Modelfile komutunu çalıştırın. llama3.1-16k isteyen her istemci, herhangi bir seçenek göndermeden bu context değerini kullanır. Kendi num_ctx değerini taşıyan bir istek yine önceliklidir. Bu nedenle ayarlanan değer bir varsayılandır, üst sınır değildir.

Bu yazı işinize yaradı mı?