SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor · Güncellendi 2026-10-15

Yerel LLM muhakeme çabası ayarları nasıl çalışır?

Yerel LLM modellerinde muhakeme çabası ayarının donanım üzerindeki etkisini öğrenin. Token üretim süresi ve bağlam penceresi maliyetlerini hesaplamanıza yardımcı oluyoruz.

Yerel bir LLM üzerinde muhakeme çabası neyi değiştirir

Muhakeme çabası (reasoning effort), bir modele yanıt vermeden önce ne kadar süre düşünmesi gerektiğini belirten bir ayardır. Bu ayar, yalnızca muhakeme bölümünün uzunluğunu değiştirir, başka hiçbir şeyi etkilemez. Diskteki ağırlıklar her seviyede aynıdır, kuantizasyon (quantisation) aynıdır ve yanıt aynı ileri beslemeli geçişten (forward pass) elde edilir. Değişen tek şey, modelin başlangıçta kendi çalışma alanına (scratchpad) kaç adet token harcadığıdır.

Bu ayrım, söz konusu tokenların nereye yerleştiği nedeniyle önemlidir. Barındırılan bir API üzerinde muhakeme tokenları faturaya yansır. Kendi VPS'inizde ise bu tokenların bedeli, kendi CPU veya GPU'nuzdaki üretim süresi ve bağlam penceresi (context window) içindeki alan olarak ödenir. En yüksek çaba seviyesine ayarlanmış bir model, yanıtın ilk kelimesi görünmeden önce çıktısının büyük bir kısmını muhakemeye harcayabilir; bu durum, kendi barındırdığınız donanımda iki saniyelik bir yanıt ile iki dakikalık bir yanıt arasındaki farkı oluşturur.

Seviyenin bulunduğu yer: ağırlıklar değil, sohbet şablonu

Düşünen bir model, nihai cevabından önce genellikle <think> ve </think> etiketleri arasına sarılmış bir muhakeme bölümü yaymak üzere eğitilir. Çaba seviyesi, modelin sohbet şablonunun isteme yazdığı bir talimattır. Bu şablon, modelle birlikte sunulan bir Jinja dosyasıdır. Dosya, reasoning_effort gibi bir değişkeni okur ve her değer için farklı bir sistem düzeyi satırı oluşturur; model, bu satıra yanıt olarak karalama defterini kısaltmak veya uzatmak üzere eğitilmiştir.

Buradan iki sonuç çıkar. Seviye isimleri çalışma zamanınıza değil modele aittir; dolayısıyla bir modelin kartındaki isim, diğeri için hiçbir anlam ifade etmeyebilir. Ayrıca, zincirdeki herhangi bir bileşen modelin sohbet şablonunu genel bir şablonla değiştirirse, değişken hiçbir zaman işlenmez ve ayar sessizce etkisiz kalır.

2026-10-12 tarihinde kontrol edildiği üzere, Qwen3.8-27B model kartı üç çaba seviyesini belgelemektedir: low, medium ve xhigh; varsayılan değer ise xhigh'tir. high diye bir seçenek yoktur. Düşünme süreci varsayılan olarak açık olan enable_thinking ile açılıp kapatılır; kart ayrıca varsayılan olarak açık olan ve önceki konuşma turlarındaki muhakemeyi geçmişte tutan preserve_thinking özelliğini de belgelemektedir. gpt-oss bunun yerine low, medium ve high kullanır. Diğer birçok aile ise yalnızca bir boolean değeri kabul eder. Çektiğiniz tam sürüm için kartı okuyun, çünkü bu isimler bir standart değildir. 27B modelini bir VPS üzerinde çalıştırmak ilk adımdır. Bu sayfa, model cevap vermeye başladıktan sonra nelerin ayarlanacağı hakkındadır.

VPS üzerinde yüksek işlem gücü neden daha maliyetlidir

Çıktı token'ları. Akıl yürütme token'ları, üretilen token'lardır. Bunlar, donanımınızın desteklediği saniye başına token hızıyla aynı kod çözme döngüsünden geçer. Bir görevin 200 token'lık bir yanıt ve 4.000 token'lık bir akıl yürütme ürettiğini varsayalım. Toplamda 4.200 token ürettiniz ancak kullanıcı bunların yalnızca 200'ünü gördü. Kod çözme hızınız bellek bant genişliği, seçtiğiniz kuantizasyon ve iş parçacığı sayınız tarafından belirlenir: llama.cpp'nin kendi ayar notları, fiziksel çekirdek sayınızın üzerindeki bir --threads değerinin CPU'yu aşırı yükleyebileceği ve üretimi yavaşlatabileceği konusunda uyarıda bulunur. Bu ayarlar yapıldıktan sonra geriye kalan tek değişken token sayısıdır.

Gerçek zaman. Kullanıcı, yanıtın ilk token'ı için bekler; çünkü bu ana kadar geçen süre boyunca ekran boştur veya bir yükleme simgesi döner. Akıl yürütme süreci önce gerçekleştiği için bekleme süresi, kabaca akıl yürütme token sayısının kod çözme hızınıza bölünmesi ve buna istem işleme süresinin eklenmesiyle hesaplanır. Akıl yürütme uzunluğunu iki katına çıkarmak, bekleme süresini de iki katına çıkarır.

Bağlam. Akıl yürütme token'ları, diğer tüm token'lar gibi bağlam penceresini işgal eder. preserve_thinking açıkken, ilk turdaki çalışma alanı beşinci turda hala istemin içindedir; bu nedenle pencere her iki uçtan dolarken istem işleme süreci her turda yavaşlar. num_ctx değerini artırmak, KV önbellek belleği tüketir; GPU'su olmayan bir VPS'de bu, elinizde boşta bulunmayabilecek sistem RAM'i anlamına gelir.

Düzeyin ne zaman yükseltileceği ve ne zaman düşük bırakılacağı

Yanlış bir ara adımın sonucu bozacağı işlerde düzeyi yükseltin: çok adımlı aritmetik ve birim dönüştürme, birden fazla dosya üzerinde düzenleme planlama, derlenmesi gereken kodlar ve bir cevabın aynı anda birkaç koşulu sağlaması gereken kısıtlı problemler. Bu durumlarda karalama defteri gerçek bir iş yapar ve daha uzun bir karalama defteri, modelin aksi takdirde yapacağı bir hatayı yakalamanın ucuz bir yoludur.

Cevap zaten girdinin içindeyse ve iş sadece onu taşımaksa düzeyi düşük bırakın. Çıkarma, sınıflandırma, etiketleme, çeviri, yeniden yazma, özetleme ve biçimlendirme işlemlerinin tümü bu kapsama girer. Akıl yürütme bölümü çoğunlukla görevi yeniden ifade eder ve modele, doğru olan ilk içgüdüsünden vazgeçmesi için alan tanır.

Etkileşimli her türlü işlem için de düzeyi düşük bırakın. Bir sohbet kutusunda veya düzenleyicide döngünün içindesinizdir; bu nedenle, düzeltebileceğiniz hızlı bir cevap, beklemek zorunda olduğunuz yavaş bir cevaptan daha iyidir. Bir kodlama aracını yerel bir modele yönlendirmenin arkasındaki gerçek ödünleşim budur: bir aracı birçok küçük çağrı yapar ve akıl yürütme maliyeti bunların her birinden tahsil edilir.

llama.cpp içinde seviye nasıl ayarlanır

llama.cpp, değişkeni doğrudan şablona yazar; bu da seviyenin ulaştığından emin olabileceğiniz çalışma zamanını oluşturur. -m işaretçisini halihazırda sahip olduğunuz GGUF dosyasına yönlendirin.

llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
  --jinja \
  --reasoning-effort medium \
  --reasoning-format deepseek \
  -c 32768 \
  --host 127.0.0.1 --port 8080

--jinja, modelin kendi sohbet şablonunu kullanır ve güncel sürümlerde varsayılan olarak etkindir. --reasoning-effort; default, minimal, low, medium, high, xhigh veya max değerlerini kabul eder; burada default, şablonun kendi varsayılan ayarının korunması anlamına gelir. Bu liste modelin değil, llama.cpp'nin sözlüğüdür; bu nedenle yalnızca kartın listelediği bir ismi geçirin: şablonun tanımlamadığı bir seviye, istek anında şablon hatasına yol açabilir. --reasoning-format deepseek, muhakeme sürecini message.content içinden çıkarıp message.reasoning_content içine taşır; bu da bölünmenin bir sonraki bölümde ölçülebilir olmasını sağlar.

Düşünme sürecini kısaltmak yerine tamamen kapatmak için şablon değişkenini kendiniz ayarlayın:

llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
  --chat-template-kwargs '{"enable_thinking": false}'

--reasoning-budget farklı bir mekanizmadır. Modeli daha kısa bir plan yapmaya zorlamak yerine, muhakeme bölümünü token bazında sınırlar; 0 bu süreci hemen sonlandırırken -1 kısıtlamasız bırakır. Her iki bayrak da sunucunun varsayılan değerini belirler. 2026-10-12 itibarıyla, llama-server'ın /v1/chat/completions parametresi istek gövdesinde reasoning_effort ve chat_template_kwargs değerlerini de kabul eder ve seviyeyi o tek çağrı için şablona iletir; none ise muhakeme sürecini kapatır. Bu sayede tek bir süreç, iki farklı çaba seviyesine hizmet verebilir.

vLLM, aynı değişkeni OpenAI uyumlu gövde içerisinde her istek için sunar:

{"model": "Qwen/Qwen3.8-27B",
 "messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
 "chat_template_kwargs": {"reasoning_effort": "medium"}}

Ollama üzerinde seviye ayarı nasıl yapılır

Ollama'nın think üzerinde, /api/chat ve /api/generate alanlarında kendine ait bir alanı bulunur. Bu alan true, false veya bir seviye adını kabul eder. 2026-10-12 tarihi itibarıyla, düşünme (thinking) meta verisi yayınlayan bir model için bu isimler modelin kendi isimleridir: /api/show, bu isimleri yanlarında varsayılan değerleriyle birlikte thinking.values altında listeler; modelin listelemediği bir isim girilirse hata vermeden varsayılan değere geri dönülür. Meta verisi olmayan modeller, Ollama'nın daha eski ve sabit olan low, medium, high ve max setini kullanır. think değerini boş bırakırsanız modelin kendi varsayılanı uygulanır; Qwen3.8 için bu varsayılan, düşünme özelliğinin açık olmasıdır.

ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"
{"model": "qwen3.8:27b",
 "messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
 "think": "low",
 "stream": false}

Akıl yürütme süreci message.thinking içinde, cevap ise message.content içinde döner; bu veriler sizin için halihazırda ayrıştırılmıştır. Etkileşimli bir ollama run oturumu içerisinde, /set think ve /set nothink komutları yeniden başlatmaya gerek kalmadan bu özelliği açıp kapatır, /set think low ise bir seviye seçmenizi sağlar.

Şimdi bu sürecin sessizce başarısız olabileceği duruma dikkat edin. Qwen3.8'in şablonu low, medium ve xhigh seviyelerini tanımlar. Bir Ollama modeli, orijinal depodaki Jinja dosyası yerine kendi etiketi içine paketlenmiş bir şablon taşır ve Ollama, bir seviyeyi yalnızca paketlenmiş model bunu listeliyorsa iletir. Öncelikle etiketinizin neyi desteklediğini kontrol edin:

curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinking

Bu model için high veya max gibi values içinde yer almayan bir isim, varsayılan değerle çalışır. İşlemin başarılı olduğunu varsaymayın. Ölçüm yapmak yaklaşık bir dakika sürer.

Seviyenin gerçekten uygulanıp uygulanmadığı nasıl ölçülür

Aynı istemi temperature değeri 0 olacak şekilde birden fazla seviyede gönderin ve ardından token sayılarını karşılaştırın. Aşağıdaki üç isim, Qwen3.8 kartının listelediği isimlerdir; eğer /api/show sizin etiketiniz için farklı isimler listeliyorsa, onları kullanın. Burada jq, tırnak işaretlerini manuel olarak kaçırmanıza gerek kalmaması için gövdeyi oluşturur.

for level in low medium xhigh; do
  body=$(jq -n --arg lvl "$level" '{
    model: "qwen3.8:27b",
    messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
    think: $lvl,
    stream: false,
    options: {temperature: 0, num_ctx: 8192}
  }')
  echo "== $level"
  curl -s http://localhost:11434/api/chat -d "$body" | jq '{
    thinking_chars: (.message.thinking // "" | length),
    answer_chars: (.message.content | length),
    eval_count: .eval_count,
    seconds: (.total_duration / 1e9),
    tok_per_sec: (.eval_count / (.eval_duration / 1e9))
  }'
done

eval_count, muhakeme dahil üretilen her token'dır; bu nedenle iki seviye arasındaki fark neredeyse tamamen muhakemeden kaynaklanır. thinking_chars size ayrımı doğrudan verir. İki durumun doğru olması gerekir: sayılar seviyeler arasında değişmeli ve cevap daha düşük seviyede doğru kalmalıdır. Eğer eval_count üç çalıştırma boyunca gürültü seviyesinde kalıyorsa, seviye göz ardı ediliyor demektir. İsimleri önce /api/show ile karşılaştırın, çünkü Ollama listelenmemiş bir ismi varsayılan olarak çalıştırır; eğer eşleşiyorlarsa, çözüm seviyeyi ileten bir çalışma zamanıdır.

Toplam süre hikayenin sadece yarısıdır, bu yüzden akışı başlatıp ilk boş olmayan content parçasında durarak ilk cevap token'ına kadar olan süreyi ölçün. Bu işlem jq ve bc gerektirir.

start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
  "model": "qwen3.8:27b",
  "messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
  "think": "low",
  "stream": true
}' |
while IFS= read -r line; do
  if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
    echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
    break
  fi
done

Bunu low ve tekrar xhigh seviyelerinde çalıştırın. Aradaki fark, satın aldığınız bekleme süresidir. llama.cpp üzerinde aynı sayılar, herhangi bir kabuk aritmetiğine gerek kalmadan yanıtın içinde geri döner:

curl -s http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "local", "temperature": 0,
       "messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
  reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
  answer_chars: (.choices[0].message.content | length),
  predicted_n: .timings.predicted_n,
  tok_per_sec: .timings.predicted_per_second
}'

Bunu kendi sunucunuzda gerçekleştirin. Yayınlanmış bir çaba karşılaması, size ait olmayan bir donanım üzerinde ölçülmüştür ve sizin decode hızınız, token sayısını saniyeye dönüştüren terimdir. Kendi sunucunuzda saniye başına token ölçümü size bu terimi verir: muhakeme token'larının decode hızınıza bölümü, yeni eklediğiniz bekleme süresidir.

Hatalar ve çözüm yolları

Yanıt kesiliyor veya content boşken thinking dolu görünüyor. Üretim sınırı, akıl yürütme süreci tarafından tüketiliyor. Ollama'nın num_predict parametresi, akıl yürütme dahil olmak üzere tüm üretimi sınırlar ve akıl yürütme süreci önce geldiği için, yüksek çaba seviyesinde 512 tokenlık bir sınır, yanıt başlamadan önce çıktının kesilmesine neden olabilir. Ollama bu durumda "done_reason": "length" hatası döndürür. Sınırı yükseltin veya çaba seviyesini düşürün. num_predict token sayısını nasıl hesaplar bölümü, bu etkileşimi ayrıntılı olarak açıklamaktadır.

Seviye değişikliği hiçbir şeyi değiştirmiyor. Token sayıları her seviyede aynıdır. Bu durum, çalışma zamanının değişkeni aktarmamasından, şablonun değişkeni okumamasından ya da Ollama üzerinde ismin etiket listesinde yer almayıp varsayılana dönmesinden kaynaklanıyor olabilir. Orijinal depodaki şablon yerine, çalışma zamanınızın fiilen kullandığı şablonu kontrol edin. --jinja ve --chat-template-kwargs kullanan llama.cpp, değişkeni manuel olarak yazdığı için iyi bir kontrol mekanizmasıdır: Eğer seviye orada çalışıyor ancak başka hiçbir yerde çalışmıyorsa, model düzgündür ve diğer çalışma zamanı değişkeni düşürüyordur.

Bir seviye ismi reddediliyor. İstek anında oluşan bir şablon hatası veya sağlıklı bir sunucuda ilk mesajda alınan bir hata, genellikle şablonda tanımlanmamış bir seviye gönderdiğiniz anlamına gelir; örneğin, kartında yalnızca low, medium ve xhigh seviyeleri listelenen bir modele high göndermek gibi. Ollama üzerinde, düşünme meta verisi içermeyen bir model yalnızca low, medium, high ve max değerlerini kabul eder; bunun dışındaki herhangi bir değer invalid think value hatası olarak döner.

Çok turlu sohbetler her turda yavaşlıyor. Eski akıl yürütme verileri geçmişte tutuluyor. Model destekliyorsa preserve_thinking değerini false olarak ayarlayın veya gönderdiğiniz mesajlardan thinking alanını temizleyin. Aksi takdirde, yanıtlar aynı uzunlukta kalsa bile istem işleme süresi her turda artar.

Basit olduğunu düşündüğünüz bir görevde düşük çaba seviyesinde kalite düşüyor. Bazı ayıklama işlemleri aslında ayıklama değildir. Eğer girdi bir birim dönüştürme veya belirli bir kuralın sırayla uygulanmasını gerektiriyorsa, bu kısa çıktılı bir akıl yürütme görevidir. Bu tür çağrılar için seviyeyi tüm sunucu genelinde değil, yalnızca ilgili çağrı için yükseltin.

Aynı anda iki seviyeyi çalıştırmak

llama.cpp, başlangıçta --reasoning-effort ile varsayılan bir seviye belirler ancak güncel sürümler her istek için reasoning_effort parametresini de kabul eder. Bu sayede tek bir süreç ve tek bir ağırlık kopyası, bir editöre düşük seviyede hizmet verirken aynı anda gece çalıştırılan bir toplu işe daha yüksek seviyede hizmet verebilir. Eğer her seviyeyi başlangıçta sabitlemeyi tercih ederseniz, iki farklı port üzerinde iki ayrı süreç çalıştırmak da mümkündür; ancak işleri zaman açısından ayırmadığınız sürece bu yöntem, bellekte iki kopya ağırlık tutulması maliyetini doğurur. Her iki durumda da işler, tek bir makinenin kod çözme kapasitesini paylaşır. Bu nedenle tek bir VPS üzerinde genellikle en ekonomik düzenleme, kullanıcının beklediği işlemler için düşük eforlu ayarların kullanılması ve kimsenin izlemediği işler için zamanlanmış yüksek eforlu çalıştırmalardır. Birden fazla kullanıcı tek bir yerel modeli paylaştığında ne olur konusu burada da geçerlidir: muhakeme belirteçleri (reasoning tokens) kod çözme işidir; dolayısıyla eforu artırmak, etkili eşzamanlılık kapasitenizi, belirteç sayısını artırdığı oranda düşürür.

FAQ

Varsayılan olarak hangi düşünme çabası seviyesini kullanmalıyım?

Modelin sunduğu en düşük seviyeden başlayın ve yalnızca başarısız olduğunu gözlemlediğiniz görevler için seviyeyi yükseltin. Birçok düşünme modeli yüksek bir varsayılan değerle gelir; Qwen3.8-27B, Ekim 2026 itibarıyla varsayılan olarak en üst seviye olan xhigh değerini kullanır. Bu varsayılan ayar, kıyaslama tablolarında iyi görünmek için seçilmiştir; kıyaslama tabloları süre için ücret talep etmez. Kendi donanımınızda ise saniye bazında maliyet ödersiniz, bu nedenle daha yüksek seviyeyi her isteğin miras aldığı bir ayar yerine, görev bazında tercih ettiğiniz bir seçenek haline getirin.

Düşünme token'ları bağlam penceremden düşülür mü?

Evet. Bunlar çıktıdaki sıradan token'lardır ve diğer her şeyle birlikte bağlam penceresinde yer alırlar. Bir sonraki turda orada kalıp kalmayacakları, çalışma zamanına ve modele bağlıdır. Qwen3.8'in kartı, varsayılan olarak açık olan preserve_thinking özelliğini belgeler; bu özellik önceki düşünme süreçlerini geçmişte tutar, dolayısıyla uzun bir konuşma ürettiği her karalama defterini beraberinde taşır. Bunu false olarak ayarlayın veya yeniden oynattığınız mesajlardan thinking alanını çıkarın; böylece istem işleme süreci büyümeyi durduracaktır.

Düşünme seviyesini değiştirmek neden token sayılarımda bir fark yaratmıyor?

Ayar, sohbet şablonuna ulaşmıyor. Seviye bir şablon değişkenidir, bu nedenle yalnızca çalışma zamanı bunu iletir ve paketlenmiş şablon bunu okursa çalışır. Bazı çalışma zamanları, orijinal depodaki Jinja dosyası yerine modelle birlikte kendi şablonlarını sunar ve bu durumda değişken, hiçbir hata mesajı verilmeden devre dışı bırakılır. Ollama ayrıca, modelin varsayılan değerinde listelenmeyen bir seviye ismini yine hata vermeden çalıştırır. Bunu kanıtlamak için aynı istemi en düşük ve en yüksek seviyede, temperature değeri 0 iken gönderin ve eval_count değerlerini karşılaştırın. Sayılar gürültü payı içinde eşleşiyorsa, seviye dikkate alınmıyor demektir.

Daha düşük düşünme çabası modeli daha az doğru hale getirir mi?

Bu göreve bağlıdır ve varsayımda bulunmak yerine bunu ölçmek gerekir. Cevabın veri çıkarma veya yeniden yazma gibi işlemlerde olduğu gibi girdide zaten mevcut olduğu durumlarda, daha kısa bir karalama defteri genellikle hiçbir şeyi değiştirmez. Çok adımlı aritmetik veya derlenmesi gereken kod gibi, nihai adımdan önce ara bir adımın doğru olması gereken durumlarda, daha kısa bir karalama defteri ile doğruluk oranı düşer. Gerçek iş yükünüzden yirmi istemlik bir set oluşturun, bunları temperature değeri 0 iken iki farklı seviyede çalıştırın ve yanlış cevapları sayın. Bu sayı iş yükünüze özeldir ve hiçbir yayınlanmış tablo size bunu veremez.

Bu yazı işinize yaradı mı?