Paano Gamitin ang Ollama sa Coding Agent
Alamin ang base URL na http://localhost:11434, dummy API key, context length na karaniwang sumisira sa workflow, at mga task na mahusay sa local model.
Ang Iyong Kinokonektahan
Magagamit mo ang Ollama kasama ng iyong coding agent, at mas maliit ang kailangang baguhin kaysa sa inaasahan ng marami. Papalitan mo ang isang base URL at pipili ka ng isang model name. Kailangan pa ring may value ang API key field, pero hindi ito ginagamit ng local server, kaya anumang string ang puwedeng ilagay.
Nakikinig ang Ollama sa port 11434 at sabay-sabay na naghahatid ng tatlong API surface. Ang /api ay native API ng Ollama. Ang /v1 ay OpenAI-compatible layer, na sumusuporta mismo sa ilang format: /v1/chat/completions, /v1/responses, /v1/completions, /v1/models at /v1/embeddings. Ayon sa documentation ng Ollama, required ang key doon pero hindi ito ginagamit. Ang ikatlong surface ay Anthropic-compatible: ginagamit ng client ang http://localhost:11434 bilang base URL nito at idinadagdag ang /v1/messages, na siyang ginagamit ng Claude Code. Karamihan ng agent ay gumagamit ng /v1/chat/completions, ang Codex ay gumagamit ng /v1/responses, at ang Claude Code ay gumagamit ng /v1/messages. Nakakapagsalita na ang agent mo gamit ang isa sa mga ito, kaya walang ibang kailangang baguhin dito.
Limang minuto lang ang bahaging ito. Ang pagiging usable ng resulta ay nakasalalay sa dalawang setting na halos walang nagbabago: ang context length at ang keep-alive. Nakasalalay din ito sa pagbibigay sa model ng uri ng trabahong mahusay nitong gawin. May sariling section ang bawat isa, at nasa dulo ang tapat na paglalarawan ng mga limitasyon.
Aling coding agent ang tumatanggap ng local base URL
Isang tanong lang ang kailangang sagutin: may setting ba para sa base URL ang tool? Kung mayroon, maaari itong kumonekta sa server mo.
May mga integration page ang Ollama para sa Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDEs, at VS Code. Hiwalay namang nagdodokumento ang Aider ng sarili nitong suporta para sa Ollama. Saklaw nito ang karamihan sa tinutukoy ng mga tao bilang coding agent noong October 2026. Hindi pare-pareho ang API shape na ginagamit ng mga ito, at dito kadalasang pumapalya ang setup.
- Karamihan sa mga agent ay nangangailangan ng OpenAI-compatible endpoint. Ibigay sa kanila ang base URL na
http://localhost:11434/v1at anumang non-empty na API key string. - Hindi tumatanggap ang Claude Code ng OpenAI base URL. Anthropic Messages API ang ginagamit nito, kaya kailangang itakda ang
ANTHROPIC_BASE_URLsahttp://localhost:11434, kung saan nagse-serve ang Ollama ng/v1/messages. - OpenAI Responses API ang ginagamit ng Codex. Nagsa-serve rin ang Ollama ng
/v1/responses, na idinagdag sa version 0.13.3. - Hindi maaaring i-redirect ang agent na walang base URL setting dahil built-in sa client ang endpoint. Kung tumatanggap ang agent ng custom URL pero nangangailangan ito ng ibang API shape, maglagay na lang ng translation layer sa harap nito, gaya ng self-hosted LiteLLM gateway, at i-re-expose ang model sa API shape na kailangan ng client.
Maaaring isulat ng Ollama ang mga config na ito para sa iyo. Sinisimulan ng ollama launch opencode ang OpenCode gamit ang inline config para sa pinili mong model, ganoon din ang ginagawa ng ollama launch claude para sa Claude Code, at isinusulat ng ollama launch droid --config ang config nang hindi inilulunsad ang tool.
Mag-install ng Ollama at mag-pull ng model na kayang tumawag ng tools
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsNagdaragdag ang installer ng systemd unit at sinisimulan ito, kaya dapat mag-print ang systemctl status ollama ng active (running). Kung hindi, ipinapakita ng journalctl -e -u ollama ang dahilan.
Dapat suportado ng model ang tool calling dahil ito ang paraan ng paggana ng isang agent. Nagbabasa ito ng file, nagsusulat ng patch, nagpapatakbo ng test, pagkatapos ay binabasa ang failure at muling sumusubok. Ang model na hindi makapaglabas ng tool call ay naglalarawan ng edit sa prose sa halip na aktuwal na gawin ito, kaya maglo-loop o hihinto ang agent. Hanapin ang label na tools sa page ng model sa ollama.com bago mo itong i-pull. Taglay ito ng qwen3-coder:30b, at noong October 2026, ang tag na iyon ay may 19 GB na download at 256K na context window. Kung CPU-only ang box mo o kapos sa RAM, ipinapakita ng memory arithmetic para sa Qwen 27B tag sa isang VPS kung ano ang aktuwal na kasya sa 8 hanggang 64 GB bago mo gastusin ang download. Pagkatapos mong i-pull ito, mapupunta ang mga gigabyte na iyon sa root disk ng server, na siyang may pinakamaliit na natitirang espasyo sa isang VPS. Kaya sulit basahin ang kung saan iniimbak ng Ollama ang mga model file nito at kung paano ilipat ang mga ito sa ibang lokasyon bago mapuno ang disk.
Ngayon, kumpirmahin kung aling mga pangalan ang aktuwal na inihahain ng server:
curl http://localhost:11434/v1/modelsAng mga string sa response na iyon ang dapat ilagay ng agent config mo, character for character. Ang pagsuri muna rito ang nakalulutas sa karamihan ng model-not-found error. Kung hindi pa naka-install ang Ollama, nasa self-hosting ng LLM gamit ang Ollama sa isang VPS ang mas mahabang walkthrough.
Ituro ang OpenCode sa Ollama
I-edit ang ~/.config/opencode/opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}Ang key sa ilalim ng models ay pangalan ng model na ipinapadala sa Ollama, kaya dapat eksaktong tumugma ito sa ollama ls. Label lamang sa model picker ang field na name. Simulan ang opencode, lumipat sa Ollama provider, at i-monitor ang journalctl -e -u ollama upang kumpirmahing nakarating ang request sa server mo at hindi sa ibang lokasyon. Saklaw ng pagpapatakbo ng OpenCode sa isang VPS ang pag-set up mismo ng agent.
Ituro ang Claude Code sa Ollama
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bAng ANTHROPIC_API_KEY ay sadyang itinatakda sa isang empty string. Kinokontrol ng base URL kung saan ipinapadala ang mga request; sa pamamagitan ng pag-clear sa key, hindi isinasama ang hosted credentials sa local setup na ito. Awtomatikong itinatakda ng ollama launch claude ang lahat ng ito.
Alamin kung ano ang hindi sinusuportahan ng compatibility layer. Hindi nito ini-implement ang tool_choice o prompt caching, at wala itong token counting endpoint. Dahil dito, approximation lamang ang mga token number na nakikita mo, batay sa sariling tokenizer ng model. Nagpapadala rin ang Claude Code ng malaking system prompt at malaking tool set, kaya mas marami itong kailangan na context kaysa sa isang chat client. Tinalakay sa kung maaari mong i-self-host ang Claude ang mas malawak na tanong kung ano ang naililipat at kung ano ang hindi.
Ituro ang Aider sa Ollama
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bInirerekomenda ng documentation ng Aider ang prefix na ollama_chat/ sa halip na ollama/. Bilang default, humihingi ang Aider ng sapat na context para sa bawat request, kasama ang 8k token para sa reply. Maaari mo ring i-pin ang context window para sa bawat model sa .aider.model.settings.yml. Kapaki-pakinabang ito kapag nangangailangan ang isang model ng ibang window kaysa sa server default:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536Bakit naglalabas pa rin ng walang-kabuluhang output ang gumaganang setup
Ito ang seksyong mahalaga. Pinipili ng Ollama ang default na context length mula sa kabuuang VRAM (video memory ng mga GPU) na nakikita nito. Ibinabawas nito ang OLLAMA_GPU_OVERHEAD para sa bawat natukoy na GPU. Ginagamit ng implementation ang mga threshold na ito:
Ang datos sa likod ng tsart na ito
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]Karamihan sa mga VPS plan, pati ang lahat ng CPU-only server, ay napapabilang sa unang row: 4,096 tokens. Maaaring maabot ng ilang mas maliliit na GPU nang magkakasama ang 47 GiB threshold para sa 262,144 tokens sa huling row.
Nagpapasa ang isang agent ng 4096 tokens bago pa ito magsimulang magtrabaho. Mas malaki na rito ang system prompt, mga tool definition, listahan ng repository, at unang file na binubuksan nito. Ito ang buong problema: walang error na lumalabas. Ayon sa documentation ng Aider, tahimik na itinatapon ng Ollama ang context na lumalampas sa window. Nawawala ang pinakamatandang tokens, kaya may kumpiyansang sumasagot ang model tungkol sa file na hindi na nito nakikita, o nakakalimutan nito ang instruction na ibinigay mo dalawang hakbang ang nakalipas. Ito ang dahilan ng karamihan sa mga ulat na masyadong mahina ang isang local model para magsulat ng code. Hiwalay na desisyon ang pagpili ng mismong numero, at makatutulong basahin ang gastos sa KV cache memory ng bawat laki ng num_ctx bago ka pumili.
Sinasabi sa documentation ng Ollama na ang mga task gaya ng agents at coding tools ay dapat itakda sa hindi bababa sa 64000 tokens. Itakda ito sa server:
sudo systemctl edit ollama.serviceIdagdag ang mga linyang ito sa override file:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"Pagkatapos, mag-reload at mag-restart:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psMagpadala ng request mula sa iyong agent pagkatapos ng restart. Pagkatapos, patakbuhin muli ang ollama ps upang magkaroon ng loaded model na susuriin. Ang ollama ps ang pagsusuri. Nagpi-print ito ng CONTEXT column, at ang numerong iyon ang aktuwal na natanggap ng model. Magkakaiba ang iyong ID at SIZE:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowItakda ito sa server sa halip na sa agent sa dalawang dahilan. Walang field para sa context length ang OpenAI chat completions schema, kaya hindi makakahingi nito ang isang OpenAI-compatible client. Nalalapat din ang server default sa bawat agent maliban kung ino-override ito ng model o request. May sarili namang limit ang output, at hindi tulad ng context length, ipinapadala ito sa compatibility endpoint. Kaya ang num_predict at ang max_tokens field na tumutukoy rito ang dapat gamitin kapag humihinto sa kalagitnaan ng patch ang reply. Kung kailangan ng isang model ng ibang window, isama ito sa isang kopya gamit ang Modelfile:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f ModelfileHindi libre ang context. Mas maraming memory ang kailangan ng mas mahabang window, kaya bantayan ang PROCESSOR column. Ang 100% GPU ang gusto mo. Kapag napunta sa CPU ang bahagi ng model dahil hindi na kasya sa GPU, sapat na babagal ang token rate upang maging hindi na magamit ang agent loop. Basahin ang pagsukat ng tokens per second sa isang local LLM upang mahanap ang tunay na limitasyon ng iyong machine. Saklaw naman sa kung gaano karaming RAM at CPU ang kailangan ng coding agent VPS ang pag-size ng machine bago ito bilhin.
Panatilihing naka-load ang model sa pagitan ng mga request
Bilang default, inaalis ng Ollama sa memory ang isang model 5 minuto matapos ang huling request nito. Angkop ito para sa isang chat box pero hindi para sa agent work. Hihinto ka para basahin ang diff, mauubos ang timer, at ire-reload ng susunod na request ang sampu-sampung gigabyte ng weights mula sa disk bago lumabas ang unang token. Magmumukha itong nag-hang.
OLLAMA_KEEP_ALIVE tumatanggap ng duration string gaya ng 10m o 24h, isang plain number ng seconds, -1 upang panatilihing naka-load ang model nang walang takdang oras, o 0 upang agad itong i-unload. Itakda ito katabi ng context length:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"Umiiral ang keep_alive request field sa native na /api/generate at /api/chat endpoints ng Ollama, at bilang Ollama extension sa /v1/chat/completions. Maaaring ipadala ito roon ng agent na naglalantad ng mga karagdagang request field; kung hindi, gamitin ang environment variable. Kapag kailangan mong mabawi ang memory, inaalis ng ollama stop qwen3-coder:30b ang model sa memory nang hindi pinahihinto ang server. Kung gusto mong manatili ang setting pagkatapos ng reboot, o gusto mong timbangin kung pananatilihin ang weights sa memory buong araw o babawiin ang memory na iyon, gumagana sa parehong paraan ang pagpapanatiling naka-load ng Ollama model sa memory.
Pagpapatakbo ng Ollama sa hiwalay na server
Naka-bind ang Ollama sa localhost. Para ma-access ito mula sa ibang machine, itakda ang OLLAMA_HOST=0.0.0.0:11434 sa parehong systemd override at i-restart ang service.
Gawin lamang ito sa private network. Nakasaad sa documentation ng Ollama na walang kinakailangang authentication para sa local API. Kaya kung bukas sa internet ang port 11434, maaaring gamitin ng kahit sino ang hardware mo. May dalawang ligtas na option. Panatilihing naka-bind sa localhost at i-forward ang port gamit ang SSH mula sa laptop mo:
ssh -N -L 11434:localhost:11434 you@your-vpsPatuloy na tumuturo ang agent mo sa http://localhost:11434/v1 at hindi nito mapapansin ang kaibahan. Ang isa pang option ay VPN, kung saan naka-bind ang Ollama sa address ng VPN sa halip na sa 0.0.0.0. Kung maraming tao o maraming agent ang gagamit ng iisang box, sinusuportahan ng Ollama ang mga parallel request kapag sapat ang memory. Ipinapakita naman ng paghahambing ng Ollama at vLLM kung kailan nagsisimulang makaapekto nang malaki ang pagkakaiba sa throughput.
Kung saan mas mahusay ang local coding model, at kung saan hindi
Hindi napapalitan ng agent na gumagamit ng model na ikaw ang nagho-host ng frontier API para sa lahat ng task. Malinaw itong mas mahusay sa apat na uri ng trabaho.
- Mga bulk mechanical edit, kung saan maliit ang bawat pagbabago at maaari mo itong suriin. Pagpapalit ng pangalan sa buong repository, pagdaragdag ng type hints, pagsulat ng docstrings, at pagsasalin ng comments. Tumatakbo ang model nang maraming oras, pero hindi nadaragdagan ang bill.
- Mga trabahong hindi dapat lumabas sa hardware mo. Halimbawa, client code na saklaw ng confidentiality agreement, o internal repository na hindi mo pinapayagang ipadala sa third party.
- Mga offline at air-gapped machine, kung saan wala talagang hosted API na maaaring tawagan.
- Predictable na gastos. Kapag bayad na ang server, walang dagdag na gastos ang agent na patuloy na gumagamit ng tokens sa isang loop. Kabaligtaran ito ng metered API. Nasa Kailan nagiging sulit ang GPU VPS kumpara sa API tokens ang kalkulasyon.
Mas mahina ito sa mahahabang multi-step task. Ang “Alamin kung bakit nagfa-fail ang test na ito, ayusin ang sanhi, at i-update ang mga caller” ay nangangailangan ng maraming magkakasunod na tamang tool call, habang nasa context pa rin ang buong history. Ang model na nasa 8B hanggang 14B range at tumatakbo sa katamtamang server ay maaaring gumawa ng malformed tool call o makalimot sa plano pagkalipas ng ilang turn. Dahil dito, mas matagal mo itong ginagabayan kaysa sa oras na gugugulin sana sa task. Hindi ito prompt problem na maaayos sa pamamagitan lamang ng mas mahusay na pagsulat. Limitasyon ito ng capacity.
Mahina rin ito kapag mahal ang kapalit ng pagkakamali at hindi mo mababasa ang bawat linya. Bigyan ang local model ng makikitid na task na mabe-verify mo ang output, at gumamit ng hosted model para sa trabahong hindi mo susuriin nang paisa-isa.
Mga failure mode at mga string na makikita mo
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. Hindi tumatakbo ang server, o nakaturo ang agent sa ibang host. Patakbuhin ang systemctl status ollama, pagkatapos ay ang journalctl -e -u ollama.
Iniuulat ng agent na hindi umiiral ang model. Hindi tugma ang pangalan sa config sa alinmang pangalan na sine-serve ng server. Ihambing ito sa curl http://localhost:11434/v1/models at kopyahin ang string mula roon. Bahagi ng pangalan ang tag, kaya magfa-fail ang config na tumutukoy sa tag na hindi mo kailanman na-pull kahit may naka-install na katulad na model.
Sumasagot ang agent sa prose at hindi kailanman nag-e-edit ng file. Maaaring walang tool support ang model, o maaaring napupuno na ng request at mga tool definition nito ang context window. Suriin ang tools label sa model page, pagkatapos ay suriin ang CONTEXT column sa ollama ps.
Mahabang paghihintay bago lumabas ang unang token, pagkatapos ay normal ang bilis. Nag-expire ang keep-alive at muling binabasa mula sa disk ang weights. Itakda ang OLLAMA_KEEP_ALIVE.
Sinasalungat ng model ang file na kababasa lamang nito. Naputol ang context. Karaniwang ipinapakita ng ollama ps ang CONTEXT value na mas maliit kaysa sa itinakda mo, dahil napunta ang environment variable sa shell mo sa halip na sa systemd unit.
Gumagana ang lahat ngunit mabagal, at ipinapakita ng PROCESSOR ang 100% CPU o isang CPU/GPU split. Karaniwan, hindi kasya sa VRAM ang model kasama ang context nito. Kung binabasa ng PROCESSOR ang 100% CPU sa isang machine na may GPU, unahin munang alisin ang ibang posibleng sanhi: maaaring hindi talaga nahanap ni Ollama ang GPU. Ayon sa documentation ng Ollama, sa Linux, pagkatapos ng suspend/resume cycle, minsan ay hindi nito nadidiskubre ang NVIDIA GPU at bumabalik ito sa CPU; nalulutas ito sa ilang kaso sa pag-reload ng driver gamit ang sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm. Kung nahanap ang GPU ngunit nananatili ang split, babaan ang context length, o gumamit ng mas maliit na model o mas maliit na quantisation. Bago ka muling mag-pull, ipinapaliwanag ng kung magkano ang memory cost ng q4_K_M, q8_0 at fp16, at kung saan talaga bumababa ang quality kung gaano kalaking espasyo ang makukuha sa pagbaba ng isang antas at kung ano ang isinasakripisyo. Posible ring Unknown ang PROCESSOR value; hindi nito pinatutunayan na may CPU offloading.
FAQ
Maaari ko bang ituro ang Claude Code sa Ollama?
Oo, ngunit hindi gamit ang OpenAI-compatible URL. Ginagamit ng Claude Code ang Anthropic Messages API, at inihahatid ng Ollama ang format na iyon sa /v1/messages gamit ang parehong port na 11434. I-export ang ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama, at isang walang-lamang ANTHROPIC_API_KEY, pagkatapos ay simulan ito gamit ang claude --model qwen3-coder:30b. Awtomatikong isinusulat ng ollama launch claude ang parehong mga setting para sa iyo. Hindi ipinapatupad ng compatibility layer ang tool_choice o prompt caching, at wala itong endpoint para sa token counting, kaya pagtatantiya lamang ang mga iniulat na bilang ng token.
Bakit sumasagot ang local model ko tungkol sa code na hindi nito nakikita?
Dahil hindi na kasya ang request sa context window, at inalis ang pinakamatandang bahagi nito nang walang error. Itinatakda ng Ollama ang default context batay sa pinagsama-samang natukoy na VRAM matapos ibawas ang naka-configure na overhead sa bawat GPU: kung mas mababa sa 23 GiB, ang default ay 4,096 tokens; mula 23 hanggang mas mababa sa 47 GiB, ito ay 32,768 tokens; at kapag 47 GiB o higit pa, ito ay 262,144 tokens. Itakda ang OLLAMA_CONTEXT_LENGTH=64000 sa systemd unit, i-restart ang Ollama, at kumpirmahin ang bagong value sa column na CONTEXT ng ollama ps.
Aling model ang dapat kong patakbuhin para sa coding agent sa isang VPS?
Piliin ang pinakamalaking model na may label na tools at kasya pa rin sa memory kapag 64k ang context window. Mas piliin ang model na naka-tune para sa code. Karaniwang sagot ang qwen3-coder:30b sa GPU server na may sapat na VRAM. Kung masyadong malaki ang tag na iyon para sa server mo, kapaki-pakinabang na paghahambing bago ka mag-download ang mga RAM figure at CPU-only speed para sa Nemotron 3.5 Lightning. Sa humigit-kumulang 14B parameters pababa, maaari pa ring mahusay sumagot ang isang model sa mga tanong tungkol sa code, ngunit maaari pa rin itong mabigo sa mga multi-step edit dahil hindi pinapalampas ng agent work ang maliliit na pagkakamali sa formatting ng tool calls. Mag-test gamit ang isang totoong task mula sa sarili mong repository sa halip na sample prompt.
Kailangan ko ba ng GPU para magpatakbo ng coding agent gamit ang sarili kong model?
Sa aktuwal na paggamit, oo. Gumagana ang CPU-only inference at sapat ito para sa mga hiwa-hiwalay na tanong, ngunit maraming request ang ipinapadala ng isang agent para sa bawat task at binabasa nitong muli ang mahabang history sa bawat isa. Dahil dito, maaaring maging isang oras ang dalawang-minutong task kapag mabagal ang token rate. Suriin ang column na PROCESSOR sa ollama ps: ang 100% CPU o CPU/GPU split ay nagpapahiwatig ng paggamit ng CPU, na nagpapabagal sa inference. Hindi pinatutunayan ng Unknown ang CPU offloading.