Jinsi ya kutumia Ollama na coding agent wako
Unganisha coding agent na Ollama kwa kutumia base URL ya localhost:11434. Jifunze jinsi ya kuweka dummy API key, kurekebisha context length, na kuchagua kazi zinazofaa.
Unachounganisha
Unaweza kutumia Ollama pamoja na wakala wako wa uandishi wa programu (coding agent), na muunganisho wake ni mdogo kuliko watu wanavyodhani. Unabadilisha URL moja ya msingi na kuchagua jina moja la model. Sehemu ya API key bado inahitaji thamani, lakini seva ya ndani (local server) huipuuza, kwa hivyo kamba yoyote ya herufi (string) inafanya kazi.
Ollama husikiliza kwenye port 11434 na kuhudumia nyuso tatu za API kwa wakati mmoja. /api ni API asilia ya Ollama. /v1 ni safu inayooana na OpenAI, ambayo yenyewe inashughulikia maumbo kadhaa: /v1/chat/completions, /v1/responses, /v1/completions, /v1/models na /v1/embeddings. Nyaraka za Ollama zinaelezea ufunguo (key) hapo kama kitu kinachohitajika lakini kinachopuuzwa. Uso wa tatu unaoana na Anthropic: mteja huchukua http://localhost:11434 kama URL yake ya msingi na kuongeza /v1/messages, ambayo ndiyo lugha inayozungumzwa na Claude Code. Mawakala wengi hutumia /v1/chat/completions, Codex hutumia /v1/responses, na Claude Code hutumia /v1/messages. Wakala wako tayari anazungumza moja ya hizi, kwa hivyo hakuna kingine kinachobadilika.
Sehemu hiyo inachukua dakika tano. Ikiwa matokeo yanafaa kutumika inategemea mipangilio miwili ambayo karibu hakuna mtu anayebadilisha, urefu wa muktadha (context length) na keep-alive, na kumpa model aina ya kazi ambayo ni nzuri kwake. Zote mbili zina sehemu yake, na mipaka ya kweli iko mwishoni.
Ni mawakala gani wa uandishi wa msimbo wanaokubali base URL ya ndani
Jaribio ni swali moja: je, zana hiyo inatoa mpangilio wa base URL? Ikiwa inatoa, inaweza kuwasiliana na seva yako.
Ollama huchapisha kurasa za ushirikiano kwa ajili ya Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDEs na VS Code. Aider huandika nyaraka zake za usaidizi wa Ollama kando. Hiyo inashughulikia sehemu kubwa ya kile watu wanachomaanisha kwa wakala wa uandishi wa msimbo mnamo Oktoba 2026. Hawazungumzi lugha moja ya kiufundi, na tofauti hiyo ndipo usanidi unapofeli.
- Mawakala wengi wanataka endpoint inayooana na OpenAI. Wape base URL
http://localhost:11434/v1na kamba yoyote ya API key isiyo tupu. - Claude Code haikubali base URL ya OpenAI hata kidogo. Inazungumza Anthropic Messages API, kwa hivyo inahitaji
ANTHROPIC_BASE_URLkuwekwa kuwahttp://localhost:11434, ambapo Ollama hutumikia/v1/messages. - Codex hutumia OpenAI Responses API. Ollama hutumikia
/v1/responsespia, iliyoongezwa katika toleo la 0.13.3. - Wakala asiye na mpangilio wa base URL hawezi kuelekezwa kwingine, kwa sababu endpoint imejengwa ndani ya mteja. Ikiwa wakala anakubali URL maalum lakini anahitaji umbo tofauti la API, weka safu ya utafsiri mbele yake, kama vile gateway ya LiteLLM inayojiendesha, na uweke upya modeli yako katika umbo lolote analohitaji mteja.
Ollama inaweza kukuandikia usanidi huu. ollama launch opencode huanzisha OpenCode na usanidi wa ndani kwa ajili ya modeli unayochagua, ollama launch claude hufanya vivyo hivyo kwa Claude Code, na ollama launch droid --config huandika usanidi bila kuzindua zana hiyo.
Sakinisha Ollama na upakue modeli inayoweza kutumia zana
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsKisakinishi huongeza unit ya systemd na kuianzisha, kwa hivyo systemctl status ollama inapaswa kutoa active (running). Ikiwa haifanyi hivyo, journalctl -e -u ollama itaonyesha sababu.
Modeli lazima iunge mkono utumiaji wa zana (tool calling), kwa sababu utumiaji wa zana ndio jinsi wakala (agent) anavyofanya kazi. Husoma faili, huandika patch, huendesha jaribio, kisha husoma hitilafu na kujaribu tena. Modeli isiyoweza kutoa wito wa zana itaelezea marekebisho kwa lugha ya kawaida badala ya kuyafanya, na wakala atazunguka bila mwisho au kusimama. Tafuta lebo ya tools kwenye ukurasa wa modeli katika ollama.com kabla ya kuipakua. qwen3-coder:30b inayo, na kufikia Oktoba 2026 tag hiyo ni download ya 19 GB yenye context window ya 256K. Ikiwa seva yako inatumia CPU pekee au ina RAM ndogo, hesabu za kumbukumbu kwa ajili ya tag ya Qwen 27B kwenye VPS zinaonyesha kile kinachotoshea katika 8 hadi 64 GB kabla ya kutumia data ya download. Mara tu unapopakua, gigabytes hizo huwekwa kwenye root disk ya seva, ambayo ni sehemu ya VPS yenye nafasi ndogo zaidi, kwa hivyo mahali ambapo Ollama huhifadhi faili zake za modeli na jinsi ya kuzihamisha kwingine inafaa kusomwa kabla ya diski kujaa.
Sasa thibitisha ni majina yapi ambayo seva inatoa:
curl http://localhost:11434/v1/modelsVipande vya maandishi katika jibu hilo ndivyo ambavyo usanidi wa wakala wako lazima uwe navyo, herufi kwa herufi. Kukagua hili kwanza hutatua hitilafu nyingi za "model not found". Ikiwa Ollama haijasakinishwa bado, mwongozo mrefu zaidi uko katika kujihifadhia LLM kwa kutumia Ollama kwenye VPS.
Elekeza OpenCode kwenye Ollama
Hariri ~/.config/opencode/opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}Ufunguo ulio chini ya models ni jina la model linalotumwa kwa Ollama, kwa hivyo lazima lilingane na ollama ls kikamilifu. Sehemu ya name ni lebo tu inayotumika kwenye kiteuzi cha model. Anzisha opencode, badilisha hadi kwa mtoa huduma wa Ollama, na ufuatilie journalctl -e -u ollama ili kuthibitisha kuwa ombi limefika kwenye seva yako badala ya mahali pengine. Usanidi wa agent wenyewe umeelezwa katika kuendesha OpenCode kwenye VPS.
Elekeza Claude Code kwenye Ollama
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bANTHROPIC_API_KEY imewekwa kuwa kamba tupu kwa makusudi. Base URL hudhibiti mahali maombi yanapoelekezwa; kufuta ufunguo huu huzuia vitambulisho vya huduma za mtandaoni (hosted credentials) kuingia kwenye usanidi huu wa ndani. ollama launch claude hukuwekea haya yote kiotomatiki.
Elewa kile ambacho safu ya utangamano (compatibility layer) inakosa. Haitekelezi tool_choice au prompt caching, na haina endpoint ya kuhesabu token, kwa hivyo namba za token unazoziona ni makadirio kutoka kwa tokenizer ya modeli yenyewe. Claude Code pia husafirisha system prompt kubwa na seti kubwa ya zana, kwa hivyo inahitaji muktadha (context) zaidi kuliko mteja wa gumzo (chat client). Swali pana zaidi la kile kinachohamishika na kile kisichohamishika limefafanuliwa katika kama unaweza kujiendeshea Claude mwenyewe.
Kuelekeza Aider kwenye Ollama
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bNyaraka za Aider zinapendekeza kutumia prefix ya ollama_chat/ badala ya ollama/. Kwa chaguomsingi, Aider huomba muktadha wa kutosha kwa kila ombi pamoja na token 8k kwa ajili ya jibu. Pia inaruhusu kubandika (pin) ukubwa wa dirisha la muktadha kwa kila model ndani ya .aider.model.settings.yml, jambo ambalo ni muhimu wakati model moja inahitaji dirisha tofauti na lile la chaguomsingi la seva:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536Kwa nini usanidi unaofanya kazi bado unatoa majibu yasiyo na maana
Hii ndiyo sehemu muhimu. Ollama huchagua urefu wa muktadha (context length) wa awali kulingana na jumla ya VRAM (kumbukumbu ya video kwenye GPU) inayoiona, ikitoa OLLAMA_GPU_OVERHEAD kwa kila GPU iliyogunduliwa. Utekelezaji huu hutumia vizingiti hivi:
Data iliyo nyuma ya chati hii
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]Mipango mingi ya VPS, na kila seva inayotumia CPU pekee, huangukia kwenye safu ya kwanza: 4,096 tokens. GPU nyingi ndogo zinaweza kufikia kizingiti cha 47 GiB kwa ajili ya 262,144 tokens katika safu ya mwisho.
Wakala (agent) hupitisha 4096 tokens kabla ya kuanza kazi yoyote. Prompt ya mfumo, ufafanuzi wa zana, orodha ya hazina (repository) na faili ya kwanza inayofunguliwa tayari ni kubwa kuliko hiyo. Kinachotokea baadaye ndilo tatizo zima: hakuna kosa linalotokea. Nyaraka za Aider zinaeleza kuwa Ollama huondoa kimya kimya muktadha unaozidi dirisha hilo. Tokens za zamani zaidi hupotea, kwa hivyo modeli hujibu kwa ujasiri kuhusu faili ambayo haiwezi tena kuiona, au husahau maagizo uliyotoa hatua mbili zilizopita. Utaratibu huo ndio chanzo cha ripoti nyingi zinazosema kuwa modeli ya ndani ni "mjinga" sana kuandika msimbo. Kuchagua namba hiyo yenyewe ni uamuzi wa kipekee, na gharama ya num_ctx katika kumbukumbu ya KV cache kwa kila ukubwa inafaa kusomwa kabla ya kuamua moja.
Nyaraka za Ollama zinasema kazi kama mawakala na zana za kuandika msimbo zinapaswa kuwekwa angalau 64000 tokens. Iweke kwenye seva:
sudo systemctl edit ollama.serviceOngeza mistari hii kwenye faili ya override:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"Kisha pakia upya na uanzishe upya:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psTuma ombi kutoka kwa wakala wako baada ya kuanzisha upya, kisha endesha ollama ps tena ili kuwe na modeli iliyopakiwa ya kukaguliwa. ollama ps ndiyo ukaguzi. Inachapisha safu ya CONTEXT, na namba hiyo ndiyo ambayo modeli imepokea kihalisi. ID na SIZE yako yatatofautiana:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowIweke kwenye seva badala ya wakala, kwa sababu mbili. Schema ya OpenAI chat completions haina sehemu ya urefu wa muktadha, kwa hivyo mteja anayefuata viwango vya OpenAI hawezi kuomba moja. Na chaguo-msingi la seva hutumika kwa kila wakala isipokuwa modeli au ombi libadilishe hilo. Upande wa matokeo una kikomo chake, na tofauti na urefu wa muktadha, hiyo husafiri kupitia endpoint ya utangamano, kwa hivyo num_predict na sehemu ya max_tokens inayoiwakilisha ndiyo unayopaswa kuitumia wakati jibu linapoishia katikati ya patch. Ikiwa modeli moja inahitaji dirisha tofauti, iweke kwenye nakala kwa kutumia Modelfile:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f ModelfileMuktadha si bure. Dirisha refu hugharimu kumbukumbu zaidi, kwa hivyo fuatilia safu ya PROCESSOR. 100% GPU ndiyo unayotaka. Mara sehemu ya modeli inapomwagika kwenye CPU, kasi ya token hushuka kiasi kwamba mzunguko wa wakala hauwezi kutumika tena, na kupima tokens kwa sekunde kwenye LLM ya ndani ndiyo njia ya kupata kikomo halisi cha mashine yako. Ukubwa wa mashine kabla ya kuinunua umeelezwa katika kiasi cha RAM na CPU kinachohitajika na VPS ya wakala wa kuandika msimbo.
Kuweka model ikiwa imepakiwa kati ya maombi
Kwa chaguomsingi, Ollama huondoa model kwenye kumbukumbu dakika 5 baada ya ombi lake la mwisho. Hii inafaa kwa kisanduku cha mazungumzo lakini haifai kwa kazi za wakala (agent). Unaposita kusoma diff, kipima muda huisha, na ombi linalofuata hupakia upya makumi ya gigabytes ya weights kutoka kwenye diski kabla ya token ya kwanza kuonekana. Hii huonekana kama mfumo umekwama.
OLLAMA_KEEP_ALIVE huchukua kamba ya muda kama 10m au 24h, namba ya sekunde, -1 ili kuweka model ikiwa imepakiwa bila kikomo, au 0 ili kuondoa mara moja. Iweke kando ya urefu wa muktadha (context length):
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"Sehemu ya ombi ya keep_alive ipo kwenye endpoints asilia za Ollama za /api/generate na /api/chat na kama kiendelezi cha Ollama kwenye /v1/chat/completions. Wakala anayefichua sehemu za ziada za ombi anaweza kuituma huko; vinginevyo tumia environment variable. Unapohitaji kumbukumbu hiyo irudi, ollama stop qwen3-coder:30b huondoa model bila kusimamisha seva. Ikiwa unataka mpangilio huu udumu baada ya reboot, au unataka kupima kati ya kuweka weights kwenye kumbukumbu siku nzima dhidi ya kurudisha kumbukumbu hiyo, kuweka model ya Ollama ikiwa imepakiwa kwenye kumbukumbu hufanya kazi kwa njia zote mbili.
Kukimbiza Ollama kwenye seva tofauti
Ollama hufungwa kwenye localhost. Ili kuifikia kutoka mashine nyingine, weka OLLAMA_HOST=0.0.0.0:11434 katika override ileile ya systemd na uanzishe upya huduma hiyo.
Fanya hivyo kwenye mtandao wa ndani pekee. Nyaraka za Ollama zinaeleza kuwa hakuna uthibitishaji unaohitajika kwa API ya ndani, kwa hivyo port 11434 ikiwa wazi kwenye Internet inamaanisha mtu yeyote anaweza kutumia vifaa vyako. Kuna chaguo mbili salama. Acha bind kwenye localhost na upeleke (forward) port hiyo kupitia SSH kutoka kwenye laptop yako:
ssh -N -L 11434:localhost:11434 you@your-vpsWakala (agent) wako ataendelea kuelekeza kwenye http://localhost:11434/v1 na hatatambua tofauti yoyote. Chaguo jingine ni VPN, huku Ollama ikiwa imefungwa kwenye anwani ya VPN badala ya 0.0.0.0. Ikiwa watu kadhaa au mawakala kadhaa watashiriki seva moja, Ollama inasaidia maombi sambamba (parallel requests) pale kumbukumbu inapotosha, na ulinganisho kati ya Ollama na vLLM unaonyesha mahali ambapo tofauti ya throughput inapoanza kuleta athari.
Wakati modeli ya kodi ya ndani inaposhinda, na wakati haishindi
Wakala anayeendeshwa na modeli unayoiendesha mwenyewe haichukui nafasi ya API ya kiwango cha juu (frontier API) katika kila kazi. Inashinda wazi katika aina nne za kazi.
- Marekebisho ya jumla ya kiufundi, ambapo kila mabadiliko ni madogo na unaweza kuyakagua. Kubadilisha majina katika repository nzima, kuongeza type hints, kuandika docstrings, na kutafsiri maoni. Modeli inaweza kufanya kazi kwa saa nyingi bila gharama kuongezeka.
- Kazi ambazo hazipaswi kutoka kwenye maunzi (hardware) yako. Kodi ya mteja iliyo chini ya mkataba wa usiri, au repository ya ndani ambayo huna ruhusa ya kuituma kwa wahusika wengine.
- Mashine zilizotengwa na mtandao (offline na air-gapped), ambapo hakuna API ya mtandaoni inayoweza kupatikana.
- Gharama inayotabirika. Mara tu seva inapolipwa, wakala anayetumia token nyingi katika mzunguko haongezi gharama yoyote, tofauti na API inayotoza kwa matumizi. Wakati GPU VPS inapofikia uwiano wa gharama dhidi ya token za API ina maelezo ya hesabu hizo.
Inashindwa katika kazi ndefu zenye hatua nyingi. "Tafuta kwa nini jaribio hili linashindwa, rekebisha chanzo, sasisha wanaoliita" inahitaji mfululizo wa wito wa zana (tool calls) sahihi, huku historia nzima ikiwa bado kwenye muktadha. Modeli iliyo katika kiwango cha 8B hadi 14B kwenye seva ya kawaida itatoa wito wa zana usio sahihi, au itapoteza mpango baada ya hatua chache, na utatumia muda mwingi kuiongoza kuliko kazi yenyewe ingechukua. Hilo si tatizo la prompt unaloweza kulitatua kwa kuandika maelekezo zaidi. Ni suala la uwezo wa modeli.
Pia inashindwa wakati wowote ambapo kukosea ni ghali na hutaweza kusoma kila mstari. Ipe modeli ya ndani kazi ndogo ambazo unaweza kuzikagua matokeo yake, na utumie modeli ya mtandaoni kwa kazi ambazo huwezi kuzikagua hatua kwa hatua.
Njia za hitilafu, na ujumbe utakaouona
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. Seva haifanyi kazi, au wakala (agent) imeelekezwa kwenye host nyingine. Tekeleza systemctl status ollama, kisha journalctl -e -u ollama.
Wakala anaripoti kuwa model haipo. Jina lililo kwenye configuration yako halilingani na jina linalotolewa na seva. Lilinganishe na curl http://localhost:11434/v1/models na unakili jina hilo kutoka hapo. Tag ni sehemu ya jina, kwa hivyo configuration inayotaja tag ambayo hujawahi kuipakua itafeli hata kama model inayofanana imewekwa.
Wakala anajibu kwa maelezo marefu na hahariri faili. Aidha model haina uwezo wa kutumia zana (tool support), au ombi pamoja na ufafanuzi wa zana zake tayari zimejaza nafasi ya context window. Angalia lebo ya tools kwenye ukurasa wa model, kisha angalia safu ya CONTEXT katika ollama ps.
Kimya kirefu kabla ya token ya kwanza, kisha kasi ya kawaida. Muda wa keep-alive umekwisha na weights zinasomwa kutoka kwenye diski tena. Weka OLLAMA_KEEP_ALIVE.
Model inapingana na faili iliyosoma punde. Context imekatwa (truncation). ollama ps kwa kawaida huonyesha thamani ya CONTEXT ndogo kuliko unavyodhani umeweka, kwa sababu variable ya mazingira ilienda kwenye shell yako badala ya kwenda kwenye unit ya systemd.
Kila kitu kinafanya kazi, lakini kwa polepole, na PROCESSOR inaonyesha 100% CPU au mgawanyo wa CPU/GPU. Kwa kawaida model pamoja na context yake haitoshi kwenye VRAM. Ikiwa PROCESSOR inasoma 100% CPU kwenye mashine yenye GPU, ondoa uwezekano wa sababu nyingine kwanza: Ollama inaweza kuwa haijapata GPU kabisa. Nyaraka za Ollama zinaeleza kuwa kwenye Linux, baada ya mzunguko wa suspend/resume, wakati mwingine inashindwa kutambua NVIDIA GPU na kurejea kwenye CPU, na kwamba kupakia upya driver kwa kutumia sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm hutatua tatizo hilo. Ikiwa GPU imepatikana na mgawanyo bado upo, punguza urefu wa context, au hamia kwenye model ndogo zaidi au quantisation ndogo zaidi. Kabla ya kupakua upya, gharama ya kumbukumbu ya q4_K_M, q8_0 na fp16, na mahali ambapo ubora hupungua inakuambia ni nafasi kiasi gani utapata kwa kupunguza hatua moja na nini unachopoteza kwa kufanya hivyo. Unknown pia ni thamani inayowezekana ya PROCESSOR; haianzishi CPU offloading.
FAQ
Je, ninaweza kuelekeza Claude Code kwenye Ollama?
Ndiyo, lakini si kwa kutumia URL inayooana na OpenAI. Claude Code hutumia Anthropic Messages API, na Ollama hutoa umbo hilo kwenye /v1/messages katika port ile ile ya 11434. Hamisha ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama na ANTHROPIC_API_KEY tupu, kisha uianzishe kwa claude --model qwen3-coder:30b. ollama launch claude huandika mipangilio hiyo hiyo kwa ajili yako. Safu ya uoanifu haitekelezi tool_choice au prompt caching, na haina endpoint ya kuhesabu token, kwa hivyo idadi ya token inayoonyeshwa ni makadirio tu.
Kwa nini modeli yangu ya ndani inajibu kuhusu msimbo (code) ambao haiwezi kuona?
Kwa sababu ombi halitoshei tena kwenye context window, na sehemu ya zamani zaidi iliondolewa bila kutoa error. Ollama huweka context yake ya msingi kulingana na jumla ya VRAM iliyogunduliwa baada ya kutoa overhead iliyosanidiwa kwa kila GPU: chini ya 23 GiB chaguo-msingi ni 4,096 token, kuanzia 23 hadi chini ya 47 GiB ni 32,768 token, na kwa 47 GiB au zaidi ni 262,144 token. Weka OLLAMA_CONTEXT_LENGTH=64000 katika unit ya systemd, anzisha upya Ollama, na uthibitishe kuwa safu ya CONTEXT katika ollama ps inaonyesha thamani mpya.
Ni modeli ipi ninayopaswa kuendesha kwa ajili ya wakala wa msimbo (coding agent) kwenye VPS?
Chagua modeli kubwa zaidi yenye lebo ya tools ambayo bado inatoshea kwenye kumbukumbu (memory) ikiwa na 64k context window, na upendelee ile iliyosanifiwa kwa ajili ya msimbo. qwen3-coder:30b ndilo jibu la kawaida kwenye seva ya GPU yenye VRAM ya kutosha. Ikiwa tag hiyo ni kubwa mno kwa seva yako, takwimu za RAM na kasi ya CPU pekee kwa ajili ya Nemotron 3.5 Lightning ni kulinganisha muhimu kabla ya kuamua kupakua. Chini ya takriban vigezo 14B, modeli bado inaweza kujibu maswali kuhusu msimbo vizuri lakini ikashindwa kufanya marekebisho ya hatua nyingi, kwa sababu kazi ya wakala huadhibu makosa madogo ya uumbizaji (formatting) katika tool calls. Jaribu kwa kutumia kazi moja halisi kutoka kwenye repository yako badala ya mfano wa prompt.
Je, ninahitaji GPU ili kuendesha wakala wa msimbo kwenye modeli yangu mwenyewe?
Kiutendaji, ndiyo. Inference ya CPU pekee hufanya kazi na inafaa kwa maswali ya mara moja, lakini wakala hutuma maombi mengi kwa kila kazi na kila moja husoma tena historia ndefu, kwa hivyo kasi ndogo ya token hugeuza kazi ya dakika mbili kuwa ya saa moja. Angalia safu ya PROCESSOR katika ollama ps: 100% CPU au mgawanyo wa CPU/GPU huashiria matumizi ya CPU, jambo ambalo hupunguza kasi ya inference. Unknown haianzishi CPU offloading.