SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor

Kodlama aracılarında Ollama kullanımı ve yapılandırma

Ollama ile kodlama aracılarını yerel modelinize bağlayın. Temel URL ayarı, dummy API anahtarı kullanımı ve bağlam uzunluğu hatalarını aşarak yerel modellerden verim alın.

Bağlantı kurduğunuz yapı

Ollama'yı kodlama aracınızla kullanabilirsiniz; bağlantı süreci beklenenden çok daha basittir. Yalnızca bir temel URL değiştirir ve bir model adı seçersiniz. API anahtarı alanı hala bir değer bekler, ancak yerel sunucu bunu dikkate almadığı için herhangi bir metin dizisi girebilirsiniz.

Ollama, 11434 numaralı portu dinler ve aynı anda üç farklı API arayüzü sunar. /api, Ollama'nın yerel API'sidir. /v1, kendi içinde çeşitli biçimleri kapsayan OpenAI uyumlu katmandır: /v1/chat/completions, /v1/responses, /v1/completions, /v1/models ve /v1/embeddings. Ollama belgeleri, buradaki anahtarın gerekli olduğunu ancak dikkate alınmadığını belirtir. Üçüncü arayüz Anthropic uyumludur: istemci, temel URL olarak http://localhost:11434 adresini alır ve sonuna /v1/messages ekler; Claude Code'un kullandığı yöntem budur. Çoğu araç /v1/chat/completions kullanırken, Codex /v1/responses ve Claude Code /v1/messages kullanır. Aracınız bu protokollerden birini zaten desteklediği için başka bir ayar değişikliğine gerek kalmaz.

Bu kısım beş dakika sürer. Sonucun kullanılabilir olup olmadığı, neredeyse hiç kimsenin değiştirmediği iki ayara (bağlam uzunluğu ve keep-alive) ve modele uygun iş yükünün verilmesine bağlıdır. Her iki konu da kendi bölümlerinde ele alınmış olup, gerçekçi sınırlar ise en sonda belirtilmiştir.

Hangi kodlama aracı yerel bir base URL kabul eder

Test tek bir sorudan ibarettir: araç bir base URL ayarı sunuyor mu? Eğer sunuyorsa, sunucunuzla iletişim kurabilir.

Ollama; Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDE'leri ve VS Code için entegrasyon sayfaları yayınlar. Aider, kendi Ollama desteğini ayrı olarak belgeler. Bu, Ekim 2026 itibarıyla insanların kodlama aracı denildiğinde kastettiği şeylerin çoğunu kapsar. Hepsi aynı formatta iletişim kurmaz ve kurulumların başarısız olduğu nokta da bu farklılıktır.

  • Çoğu araç, OpenAI uyumlu bir uç nokta ister. Onlara http://localhost:11434/v1 base URL'sini ve boş olmayan herhangi bir API anahtarı dizisini verin.
  • Claude Code, OpenAI base URL'sini hiçbir şekilde kabul etmez. Anthropic Messages API ile iletişim kurar, bu nedenle ANTHROPIC_BASE_URL değişkeninin http://localhost:11434 olarak ayarlanması gerekir; Ollama burada /v1/messages üzerinden hizmet verir.
  • Codex, OpenAI Responses API'sini kullanır. Ollama, 0.13.3 sürümüyle eklenen /v1/responses üzerinden de hizmet verir.
  • Base URL ayarı olmayan bir araç yeniden yönlendirilemez, çünkü uç nokta istemcinin içine gömülüdür. Eğer araç özel bir URL kabul ediyor ancak farklı bir API formatı gerektiriyorsa, önüne kendi kendine barındırılan bir LiteLLM ağ geçidi gibi bir çeviri katmanı koyun ve modelinizi istemcinin talep ettiği formatta yeniden sunun.

Ollama bu yapılandırmaları sizin için yazabilir. ollama launch opencode, seçtiğiniz model için satır içi yapılandırmayla OpenCode'u başlatır, ollama launch claude aynı işlemi Claude Code için yapar ve ollama launch droid --config aracı başlatmadan yapılandırmayı dosyaya yazar.

Ollama kurulumu ve araç çağırma yeteneğine sahip bir modelin indirilmesi

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama ls

Yükleyici bir systemd birimi ekler ve bunu başlatır; bu nedenle systemctl status ollama komutu active (running) çıktısını vermelidir. Eğer vermezse, journalctl -e -u ollama komutu hatanın nedenini gösterir.

Modelin araç çağırma (tool calling) özelliğini desteklemesi gerekir, çünkü bir ajan bu şekilde çalışır. Ajan bir dosyayı okur, bir yama yazar, testi çalıştırır, ardından hatayı okur ve tekrar dener. Araç çağrısı yapamayan bir model, düzenlemeyi yapmak yerine düz metin olarak tarif eder; bu durumda ajan döngüye girer veya durur. Modeli indirmeden önce ollama.com üzerindeki sayfasında tools etiketini arayın. qwen3-coder:30b bu özelliği destekler ve Ekim 2026 itibarıyla bu etiket 19 GB boyutunda bir indirme olup 256K bağlam penceresine sahiptir. Eğer sunucunuz yalnızca CPU kullanıyorsa veya RAM kapasiteniz düşükse, Qwen 27B etiketi için bellek hesaplamaları rehberi, indirme işlemine başlamadan önce 8 ile 64 GB RAM arasında nelerin çalışabileceğini gösterir. İndirme tamamlandığında bu gigabaytlar sunucunun root diskine yazılır; bu alan genellikle bir VPS üzerinde en kısıtlı alandır. Bu nedenle, Ollama model dosyalarını nerede tutar ve başka bir yere nasıl taşınır başlıklı yazı, disk dolmadan önce okunmalıdır.

Şimdi sunucunun hangi modelleri sunduğunu doğrulayın:

curl http://localhost:11434/v1/models

Bu yanıttaki dizeler, ajan yapılandırmanızda karakteri karakterine yer alması gereken değerlerdir. Bunu önceden kontrol etmek, "model bulunamadı" hatalarının çoğunu engeller. Eğer Ollama henüz kurulu değilse, daha kapsamlı kurulum rehberi VPS üzerinde Ollama ile LLM self-hosting başlığında mevcuttur.

OpenCode'u Ollama'ya Yönlendirme

~/.config/opencode/opencode.json dosyasını düzenleyin:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ollama": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Ollama",
      "options": {
        "baseURL": "http://localhost:11434/v1"
      },
      "models": {
        "qwen3-coder:30b": {
          "name": "qwen3-coder 30b"
        }
      }
    }
  }
}

models altındaki anahtar, Ollama'ya gönderilen model adıdır; bu nedenle ollama ls ile tam olarak eşleşmelidir. name alanı ise yalnızca model seçicideki etikettir. opencode'ü başlatın, Ollama sağlayıcısına geçin ve isteğin başka bir yere değil, kendi sunucunuza ulaştığını doğrulamak için journalctl -e -u ollama'i izleyin. Ajanın kurulumu OpenCode'u bir VPS üzerinde çalıştırma bölümünde ele alınmıştır.

Claude Code'u Ollama'ya yönlendirme

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30b

ANTHROPIC_API_KEY, kasıtlı olarak boş bir dizgeye ayarlanmıştır. Temel URL, isteklerin nereye gideceğini belirler; bu anahtarın temizlenmesi, barındırılan kimlik bilgilerinin bu yerel kurulumdan uzak tutulmasını sağlar. ollama launch claude, tüm bu ayarları sizin yerinize yapılandırır.

Uyumluluk katmanının neleri dışarıda bıraktığını bilmek önemlidir. Bu katman tool_choice veya istem önbelleğe alma (prompt caching) özelliklerini uygulamaz ve bir token sayma uç noktasına sahip değildir; bu nedenle gördüğünüz token sayıları, modelin kendi tokenlaştırıcısından elde edilen yaklaşık değerlerdir. Claude Code ayrıca büyük bir sistem istemi ve geniş bir araç setiyle birlikte gelir, bu yüzden standart bir sohbet istemcisinden daha fazla bağlama ihtiyaç duyar. Nelerin aktarılıp nelerin aktarılmadığına dair daha geniş kapsamlı soru, Claude'un kendi kendine barındırılıp barındırılamayacağı konusunda ele alınmıştır.

Aider'i Ollama'ya Yönlendirme

export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30b

Aider dokümantasyonu, ollama/ yerine ollama_chat/ önekinin kullanılmasını önermektedir. Aider, varsayılan olarak her istek için yeterli bağlamın yanı sıra yanıt için 8k token talep eder. Ayrıca, .aider.model.settings.yml içerisinde her model için bağlam penceresini sabitlemenize olanak tanır; bu, bir modelin sunucu varsayılanından farklı bir pencereye ihtiyaç duyduğu durumlarda kullanışlıdır:

- name: ollama_chat/qwen3-coder:30b
  extra_params:
    num_ctx: 65536

Çalışan bir kurulum neden yine de anlamsız çıktılar üretir

Önemli olan bölüm budur. Ollama, görebildiği toplam VRAM'den (GPU'ların video belleği) her algılanan GPU için OLLAMA_GPU_OVERHEAD çıkararak varsayılan context length değerini belirler. Uygulamada şu eşikler kullanılır:

GrafikOllama default context length by aggregate VRAM, checked 2026-10-26
Bu grafiğin arkasındaki veriler
[
  {
    "label": "Under 23 GiB aggregate VRAM",
    "default_context_tokens": "4,096"
  },
  {
    "label": "23 to under 47 GiB aggregate VRAM",
    "default_context_tokens": "32,768"
  },
  {
    "label": "47 GiB aggregate VRAM or more",
    "default_context_tokens": "262,144"
  }
]

Çoğu VPS planı ve yalnızca CPU kullanan tüm sunucular ilk satıra girer: 4,096 token. Birden fazla küçük GPU'nun toplam belleği, son satırdaki 262,144 token için gereken 47 GiB eşiğine ulaşabilir.

Bir agent, herhangi bir işlem yapmadan önce 4096 token gönderir. System prompt, tool tanımları, repository listelemesi ve açtığı ilk dosya zaten bu değerden büyüktür. Ardından asıl sorun ortaya çıkar: hiçbir hata oluşmaz. Aider belgelerinde, Ollama'nın pencereyi aşan context içeriğini sessizce attığı belirtilir. En eski token'lar düşer. Bunun sonucunda model artık göremediği bir dosya hakkında kendinden emin biçimde yanıt verir veya iki adım önce verilen bir talimatı unutur. Yerel bir modelin kod yazamayacak kadar yetersiz olduğu yönündeki raporların çoğunda bu mekanizma rol oynar. Sayının kendisini seçmek ayrı bir karardır; karar vermeden önce her boyutta num_ctx değerinin KV cache belleğinde ne kadar yer kapladığını okumakta fayda vardır.

Ollama belgelerinde agent'lar ve kodlama araçları gibi görevler için en az 64000 token kullanılması önerilir. Bu değeri sunucuda ayarlayın:

sudo systemctl edit ollama.service

Override dosyasına şu satırları ekleyin:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"

Ardından yapılandırmayı yeniden yükleyin ve servisi yeniden başlatın:

sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

Yeniden başlatma sonrasında agent'ınızdan bir istek gönderin. Ardından incelenecek yüklü bir model bulunması için ollama ps komutunu tekrar çalıştırın. Kontrol için ollama ps kullanılır. Çıktıda bir CONTEXT sütunu bulunur. Bu sütundaki değer, modelin gerçekte aldığı context uzunluğudur. ID ve SIZE değerleriniz farklı olacaktır:

NAME               ID              SIZE     PROCESSOR    CONTEXT    RUNNER    UNTIL
qwen3-coder:30b    a1b2c3d4e5f6    24 GB    100% GPU     64000      ggml      4 minutes from now

Bu değeri agent içinde değil, sunucuda ayarlayın. Bunun iki nedeni vardır. OpenAI chat completions şemasında context length için bir alan yoktur. Bu nedenle OpenAI uyumlu bir istemci böyle bir değer isteyemez. Ayrıca sunucu varsayılanı, bir model veya istek tarafından geçersiz kılınmadığı sürece tüm agent'lar için geçerlidir. Çıktı tarafının kendine ait bir üst sınırı vardır. Context length değerinin aksine bu sınır uyumluluk endpoint'i üzerinden iletilebilir. Bu nedenle bir yanıt patch'in ortasında kesildiğinde başvurulması gereken ayarlar num_predict ve buna karşılık gelen max_tokens alanıdır. Bir model için farklı bir pencere gerekiyorsa, bunu bir Modelfile ile kopyaya yerleştirin:

FROM qwen3-coder:30b
PARAMETER num_ctx 65536
ollama create qwen3-coder-64k -f Modelfile

Context ücretsiz değildir. Daha uzun bir pencere daha fazla bellek kullanır; bu nedenle PROCESSOR sütununu izleyin. İstenen değer 100% GPU'tür. Modelin bir bölümü CPU'ya taşındığında token üretim hızı agent döngüsünü kullanılamaz hale getirecek kadar düşer. Donanımınız için gerçek üst sınırı bulmanın yolu yerel bir LLM'de saniye başına token sayısını ölçmektir. Sunucuyu satın almadan önce boyutlandırma konusu bir kodlama agent'ı VPS'inin ne kadar RAM ve CPU gerektirdiği bölümünde ele alınır.

Modeli istekler arasında bellekte tutma

Ollama, varsayılan olarak bir modeli son isteğinden 5 dakika sonra bellekten boşaltır. Bu davranış bir sohbet arayüzü için uygun olsa da, aracı (agent) tabanlı işlemler için yanlıştır. Bir kod farkını (diff) incelemek için durduğunuzda zamanlayıcı dolar; bir sonraki istekte, ilk token görünmeden önce onlarca gigabaytlık ağırlıklar diskten tekrar yüklenir. Bu durum sistemin donduğu izlenimini verir.

OLLAMA_KEEP_ALIVE, 10m veya 24h gibi bir süre dizisi, saniye cinsinden düz bir sayı, modeli süresiz olarak bellekte tutmak için -1 veya hemen boşaltmak için 0 değerini alır. Bu ayarı bağlam uzunluğunun (context length) yanına ekleyin:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"

keep_alive istek alanı, Ollama'nın yerel /api/generate ve /api/chat uç noktalarında ve /v1/chat/completions üzerinde bir Ollama uzantısı olarak mevcuttur. Ek istek alanlarını destekleyen bir aracı, bu değeri ilgili uç noktaya gönderebilir; aksi takdirde ortam değişkenini kullanın. Belleğe tekrar ihtiyaç duyduğunuzda, ollama stop qwen3-coder:30b komutu sunucuyu durdurmadan modeli bellekten boşaltır. Ayarın yeniden başlatma sonrasında da geçerli kalmasını istiyorsanız veya ağırlıkları tüm gün bellekte tutmanın maliyeti ile belleği geri kazanma ihtiyacını değerlendirmek istiyorsanız, bir Ollama modelini bellekte tutma rehberi her iki yöntemi de açıklar.

Ollama'yı ayrı bir sunucuda çalıştırma

Ollama, localhost üzerinde dinleme yapar. Başka bir makineden erişmek için aynı systemd override dosyası içerisinde OLLAMA_HOST=0.0.0.0:11434 ayarını yapılandırın ve servisi yeniden başlatın.

Bunu yalnızca özel bir ağ üzerinde gerçekleştirin. Ollama belgeleri, yerel API için herhangi bir kimlik doğrulamanın gerekmediğini belirtir; bu nedenle 11434 numaralı portun internete açık olması, herkesin donanımınızı kullanabileceği anlamına gelir. İki güvenli seçenek mevcuttur. Dinleme adresini localhost üzerinde tutun ve portu dizüstü bilgisayarınızdan SSH üzerinden yönlendirin:

ssh -N -L 11434:localhost:11434 you@your-vps

Ajanınız http://localhost:11434/v1 adresine işaret etmeye devam eder ve aradaki farkı anlamaz. Diğer seçenek ise bir VPN kullanmaktır; bu durumda Ollama, 0.0.0.0 yerine VPN adresi üzerinde dinleme yapar. Birden fazla kişi veya birden fazla ajan tek bir sunucuyu paylaşacaksa, bellek kapasitesi elverdiği sürece Ollama eşzamanlı istekleri destekler ve Ollama ile vLLM karşılaştırması, verimlilik farkının nerede sorun yaratmaya başladığını göstermektedir.

Yerel bir kodlama modelinin avantajlı olduğu ve olmadığı durumlar

Kendi barındırdığınız bir model tarafından yönetilen bir ajan, her görevde bir sınır (frontier) API'sinin yerini almaz. Dört tür iş yükünde belirgin şekilde daha avantajlıdır:

  • Her değişikliğin küçük olduğu ve kontrol edebildiğiniz toplu mekanik düzenlemeler. Bir depo genelinde yeniden adlandırma, tip ipuçları ekleme, docstring yazma, yorumları çevirme. Model saatlerce çalışsa bile maliyet artmaz.
  • Donanımınızdan çıkmaması gereken işler. Gizlilik sözleşmesi kapsamındaki istemci kodu veya üçüncü bir tarafa gönderilmesine izin verilmeyen dahili bir depo.
  • Hiçbir barındırılan API'ye erişimin olmadığı çevrimdışı ve hava boşluklu (air-gapped) makineler.
  • Öngörülebilir maliyet. Sunucu ücreti ödendikten sonra, döngü içinde token tüketen bir ajanın ek maliyeti yoktur; bu durum, ücretlendirmeli bir API'nin tam tersidir. GPU VPS maliyetinin API token'ları ile başa baş noktası bu konudaki hesaplamaları içerir.

Uzun ve çok adımlı görevlerde ise başarısız olur. "Bu testin neden başarısız olduğunu bul, nedenini düzelt, çağrı yapanları güncelle" gibi görevler, tüm geçmişin bağlamda tutulduğu ve arka arkaya birçok doğru araç çağrısının yapıldığı süreçler gerektirir. Mütevazı bir sunucuda 8B ile 14B aralığındaki bir model, hatalı bir araç çağrısı üretecek veya birkaç adımdan sonra planı kaybedecektir; bu durumda modeli yönlendirmek için harcadığınız süre, görevin kendisinden daha uzun sürecektir. Bu, prompt yazarak çözebileceğiniz bir sorun değildir. Bu bir kapasite sorunudur.

Ayrıca, hatalı olmanın maliyetli olduğu ve her satırı okumayacağınız durumlarda da başarısız olur. Yerel modele çıktısını doğrulayabileceğiniz dar kapsamlı işler verin; adım adım kontrol etmeyeceğiniz işler için ise barındırılan bir model kullanmaya devam edin.

Hata türleri ve görülecek dizeler

curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. Sunucu çalışmıyor veya agent farklı bir hosta yönlendirilmiş. Önce systemctl status ollama, ardından journalctl -e -u ollama çalıştırılmalıdır.

Agent modelin mevcut olmadığını bildiriyor. Yapılandırmadaki ad, sunucunun sunduğu bir adla eşleşmiyor. Adı curl http://localhost:11434/v1/models ile karşılaştırın ve ilgili dizeyi buradan kopyalayın. Tag, adın bir parçasıdır. Bu nedenle hiç çekilmemiş bir tag'i belirten yapılandırma, benzer bir model kurulu olsa bile başarısız olur.

Agent düzyazı yanıtı veriyor ve hiçbir dosyayı düzenlemiyor. Modelde tool desteği olmayabilir veya istek ile tool tanımları context window'u zaten doldurmuş olabilir. Model sayfasındaki tools etiketini, ardından ollama ps içindeki CONTEXT sütununu kontrol edin.

İlk token gelmeden önce uzun bir sessizlik yaşanıyor, ardından hız normale dönüyor. Keep-alive süresi dolmuştur ve ağırlıklar yeniden diskten okunuyordur. OLLAMA_KEEP_ALIVE ayarlanmalıdır.

Model, az önce okuduğu bir dosyayla çelişiyor. Bunun nedeni context truncation'dır. ollama ps genellikle beklediğinizden daha küçük bir CONTEXT değeri gösterir. Bunun nedeni environment variable'ın systemd unit yerine shell'inize aktarılmış olmasıdır.

Her şey çalışıyor, ancak yavaş; ayrıca PROCESSOR, 100% CPU veya CPU/GPU bölüşümü gösteriyor. Genellikle model ile context birlikte VRAM'e sığmıyordur. GPU bulunan bir makinede PROCESSOR değeri 100% CPU olarak görünüyorsa önce diğer olasılık elenmelidir: Ollama GPU'yu hiç bulamamış olabilir. Ollama belgelerine göre Linux'ta suspend/resume döngüsünden sonra NVIDIA GPU bazen algılanamaz ve sistem CPU'ya geri döner; sürücünün sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm ile yeniden yüklenmesi bu sorunu aşabilir. GPU bulunuyor ve bölüşüm devam ediyorsa context length azaltılmalı veya daha küçük bir modele ya da daha küçük bir quantisation değerine geçilmelidir. Yeniden pull etmeden önce q4_K_M, q8_0 ve fp16 değerlerinin bellekteki maliyetini ve kalite kaybının gerçekte nerede başladığını açıklayan bölüm, bir alt seviyeye geçmenin ne kadar alan kazandırdığını ve bunun karşılığında nelerden vazgeçileceğini gösterir. Unknown değeri de olası bir PROCESSOR değeridir; ancak bu durum CPU offloading yapıldığını kanıtlamaz.

FAQ

Claude Code'u Ollama'ya yönlendirebilir miyim?

Evet, ancak OpenAI uyumlu bir URL ile değil. Claude Code, Anthropic Messages API'yi kullanır. Ollama bu API biçimini aynı 11434 portunda /v1/messages üzerinden sunar. ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama ve boş bir ANTHROPIC_API_KEY dışa aktarılmalı, ardından claude --model qwen3-coder:30b ile başlatılmalıdır. ollama launch claude aynı ayarları sizin için yazar. Uyumluluk katmanı tool_choice ve prompt önbelleğe almayı uygulamaz. Ayrıca token sayımı için bir uç noktası yoktur. Bu nedenle bildirilen token sayıları yaklaşık değerlerdir.

Yerel modelim neden göremediği kod hakkında yanıt veriyor?

İstek artık context window'a sığmadığı için. İsteğin en eski bölümü hata verilmeden çıkarılmıştır. Ollama, yapılandırılmış GPU başına ek yükü çıkardıktan sonra algılanan toplam VRAM miktarına göre varsayılan context değerini belirler: 23 GiB altındaki değerlerde varsayılan değer 4,096 token'dır; 23 ile 47 GiB arasındaki değerlerde 32,768 token'dır; 47 GiB ve üzerindeki değerlerde ise 262,144 token'dır. OLLAMA_CONTEXT_LENGTH=64000 değerini systemd unit içinde ayarlayın, Ollama'yı yeniden başlatın ve ollama ps içindeki CONTEXT sütununda yeni değerin göründüğünü doğrulayın.

VPS üzerinde coding agent için hangi model çalıştırılmalı?

tools etiketi taşıyan ve 64k context window ile belleğe hâlâ sığan en büyük model seçilmeli, ayrıca kod için ayarlanmış bir model tercih edilmelidir. Yeterli VRAM'e sahip bir GPU sunucusunda yaygın tercih qwen3-coder:30b olur. Bu etiket sunucunuz için fazla büyükse indirmeye karar vermeden önce Nemotron 3.5 Lightning için RAM değerleri ve yalnızca CPU kullanım hızları yararlı bir karşılaştırma sağlar. Yaklaşık 14B parametrenin altındaki bir model kodla ilgili soruları hâlâ iyi yanıtlayabilir, ancak çok adımlı düzenlemelerde başarısız olabilir. Bunun nedeni, agent işlemlerinde tool call'larındaki küçük biçimlendirme hatalarının sorun yaratmasıdır. Örnek bir prompt yerine kendi repository'nizden gerçek bir görevle test yapılmalıdır.

Kendi modelimde coding agent çalıştırmak için GPU gerekir mi?

Pratikte evet. Yalnızca CPU kullanan inference çalışır ve tekil sorular için yeterlidir. Ancak bir agent her görev için çok sayıda istek gönderir ve her istekte uzun bir geçmişi yeniden okur. Bu nedenle düşük token üretim hızı, iki dakikalık bir görevi bir saate dönüştürebilir. ollama ps içindeki PROCESSOR sütunu kontrol edilmelidir: 100% CPU veya CPU/GPU bölünmesi CPU kullanımını gösterir ve inference işlemini yavaşlatır. Unknown, CPU offloading yapıldığını göstermez.

Bu yazı işinize yaradı mı?

#ollama#coding-agent#openai-compatible#local-llm#self-hosted-ai