SSD Nodes Learn Hosting plans →
Mwongozo Matt ConnorNa Matt Connor

Jinsi ya kuzuia Ollama kuondoa model kwenye RAM

Ollama huondoa model baada ya dakika tano za kutofanya kazi. Jifunze kusanidi OLLAMA_KEEP_ALIVE kupitia systemd ili kuweka model kwenye kumbukumbu na kuzuia kuchelewa.

Kwa nini Ollama huondoa model kwenye kumbukumbu baada ya dakika chache?

Ollama huweka model kwenye kumbukumbu kwa dakika tano baada ya ombi la mwisho, kisha huiondoa. Ombi linalofuata hulazimika kupakia uzito (weights) kwenye RAM au VRAM tena, hivyo hupata kizuizi kabla ya token ya kwanza kufika. Hii ndiyo sababu UI ya chat au wakala wa programu huonekana kuwa ya haraka, hutulia kwa muda, kisha huonekana kuwa ya polepole kwenye ujumbe unaofuata. Hakuna kilichoharibika. Kipima muda cha kutofanya kazi (idle timer) kimeisha.

Kipima muda hiki kinaitwa keep_alive. Ni kwa kila model, na huanza upya kila ombi linapokamilika. Model inayojibu ombi kwa sasa haiondolewi kamwe, kwa sababu seva huondoa tu model isiyo na ombi linaloendelea. Kufikia Oktoba 2026, chaguo-msingi ni dakika tano, na hutumika kwa kila model inayopakiwa na seva hii.

Kuna sehemu mbili za kuweka muda wa kusubiri (idle timeout): sehemu ya keep_alive kwenye ombi binafsi, au OLLAMA_KEEP_ALIVE kama chaguo-msingi la seva. Faili ya drop-in ya systemd ndiyo inayofanya chaguo-msingi la seva kudumu baada ya kuanzishwa upya (restart). Mwongozo huu unadhani kuwa Ollama tayari inaendeshwa kama huduma. Ikiwa sivyo, anza na kusakinisha Ollama kwenye VPS kisha urudi hapa.

Ni mifano ipi inayokaa kwenye kumbukumbu sasa hivi, na inaisha muda wake lini?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Pato tupu linamaanisha hakuna kitu kilichopakiwa, kwa hivyo ombi linalofuata lazima lipakie mfano huo kwanza. PROCESSOR inakuambia uzito wa faili ulienda wapi. 100% GPU na 100% CPU ni hali zilizo wazi. Mgawanyo kama 25%/75% CPU/GPU unamaanisha sehemu tu ya mfano iko kwenye VRAM, kwa hivyo iliyobaki inaendeshwa kwenye processor na utengenezaji wa majibu huwa polepole. Kwa kawaida hii hutokea kwa sababu mfano haukutosha, lakini mpangilio wa num_gpu unaopunguza idadi ya matabaka (layers) yanayoenda kwenye GPU hutoa aina hiyo hiyo ya mgawanyo.

UNTIL ni kipima muda cha kurudi nyuma, na huchapisha muda wa kulinganisha kama 4 minutes from now. Huchapisha Forever wakati mfano ulipakiwa na keep_alive hasi. Huchapisha Stopping... baada ya muda kuisha, ikijumuisha wakati maombi yanayoendelea yanachelewesha uondoaji wa mfano kwenye kumbukumbu.

Seti ya safu wima imebadilika kati ya matoleo, kwa hivyo soma kichwa cha habari badala ya kuhesabu sehemu kwenye hati (script). Ollama v0.40.5, iliyokaguliwa tarehe 2026-10-30, pia huchapisha safu wima ya RUNNER kati ya CONTEXT na UNTIL, ikitaja kimbiaji (runner) kinachohudumia mfano huo, kwa hivyo kichwa chako cha habari kinaweza kuwa na safu wima moja zaidi kuliko mfano hapo juu. Kwa chochote kinachojiendesha chenyewe, uliza API:

curl -s http://localhost:11434/api/ps

Kila ingizo hubeba expires_at, muhuri wa muda kamili (absolute timestamp) kama 2026-08-09T14:38:31.83753Z, na size_vram, sehemu ya mfano huo iliyokaa kwenye kumbukumbu ya GPU. size_vram ya 0 inamaanisha mfano unaendeshwa kwenye CPU.

Gharama halisi ya kupakia upya (reload)

Usikisie gharama hiyo. Ollama huripoti muda wa kupakia katika kila jibu, kama load_duration, kwa nanoseconds.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Subiri hadi ollama ps isionyeshe tena modeli hiyo baada ya ollama stop kabla ya kuendesha maombi mawili ya API. Ombi la kwanza hupakia modeli, kwa hivyo load_duration yake huwa kubwa. Gawanya kwa 1000000000 ili kusoma muda huo kwa sekunde. Ombi la pili huendeshwa wakati modeli tayari ipo kwenye kumbukumbu na huripoti namba ndogo zaidi. Tofauti kati ya namba hizo mbili ndiyo gharama ambayo kila mtumiaji hulipa pindi kipima muda kinapomalizika, na ndiyo sababu kuu ya kubadilisha keep_alive. Baada ya kuondoa modeli (unload), page cache ya kernel mara nyingi bado hushikilia faili ya modeli, kwa hivyo kwenye seva yenye RAM ya ziada, kupakia upya kunaweza kuwa haraka kuliko upakiaji wa kwanza baada ya boot. Cache hiyo ikishafutwa, uzito (weights) hutoka kwenye diski, kwa hivyo ikiwa umehamisha saraka ya modeli kwenye volume ya pili, kasi ya volume hiyo ndiyo huamua kasi ya chini kabisa ya upakiaji wa baridi (cold load). Kwa kasi ya uzalishaji (generation speed) kabla na baada ya pause hiyo, angalia jinsi ya kupima tokens kwa sekunde kwenye seva yako.

Kuweka model ya Ollama kwenye kumbukumbu baada ya ombi moja

Tuma keep_alive pamoja na ombi hilo. Hii inahusu model hiyo kuanzia wakati ombi linapokamilika.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Aina nne za thamani zinakubalika:

  • kamba ya muda (duration string): "30m", "24h", "90s"
  • namba ya kawaida, inayosomeka kama sekunde: 3600
  • thamani hasi, -1 au "-1m", ikimaanisha hakuna muda wa kusubiri (idle timeout) kabisa
  • 0, ikimaanisha ondoa model kwenye kumbukumbu pindi inapokosa maombi yanayoendelea

Thamani iliyo kwenye ombi inabatilisha mipangilio chaguo-msingi ya seva, katika pande zote mbili. Hili ni muhimu zaidi kuliko linavyosikika: mteja anayetuma keep_alive yake mwenyewe anashinda chochote ulichokisanidi kwenye seva.

Unaweza pia kupakia model bila kuzalisha chochote. Tuma jina la model pekee. Seva huipakia na kurejesha jibu tupu lenye "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Hiyo ndiyo amri ya kuendesha baada ya reboot, au baada ya kupakua (pull) model mpya, ili ombi la kwanza la mtumiaji halisi lisilazimike kusubiri mzigo wa kupakia. CLI hufanya kazi hiyo hiyo kwa kutumia flag:

ollama run --keepalive 30m qwen3:8b "hello"

Iweke ikiwa imepakiwa kwa chaguo-msingi ukitumia OLLAMA_KEEP_ALIVE

Seva husoma OLLAMA_KEEP_ALIVE wakati wa kuanza na kuitumia kwa kila model ambayo haina thamani yake yenyewe. Inakubali maumbo sawa na sehemu ya ombi, kwa hivyo 30m, 3600 na -1 zote hufanya kazi.

Changamoto ni mazingira (environment) ya nani yanayopaswa kutumika. Kuendesha export OLLAMA_KEEP_ALIVE=30m katika kipindi chako cha SSH hakufanyi kazi yoyote, kwa sababu usakinishaji uliopakiwa huendesha seva kama huduma ya systemd chini ya mtumiaji wake mwenyewe na mazingira yake yenyewe. Shell yako ya kuingia na huduma hiyo haikutani kamwe. Hii ndiyo sababu ya kawaida zaidi inayofanya mpangilio huu kuonekana kama umepuuzwa.

Ifanya iendelee kufanya kazi baada ya kuanzishwa upya kwa kutumia systemd drop-in

sudo systemctl edit ollama.service

Kihariri hufunguka kikiwa na alama mbili za maoni. Andika kati ya alama hizo: systemd hupuuza chochote utakachoandika chini ya alama ya pili.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Kuhifadhi faili huandika /etc/systemd/system/ollama.service.d/override.conf. Hii ni drop-in badala ya kuhariri unit file iliyokuja na programu, kwa hivyo uboreshaji wa kifurushi cha Ollama unaochukua nafasi ya ollama.service utaacha mpangilio wako bila kubadilika. Ikiwa drop-ins na unit files ni ngeni kwako, mwongozo wa systemd service na timer unaelezea utaratibu wake.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Amri ya mwisho huchapisha mazingira ambayo huduma hiyo itafanya kazi kwayo. Ikiwa OLLAMA_KEEP_ALIVE=30m haipo kwenye mstari huo, drop-in haikufanya kazi, na sababu mara nyingi ni kukosekana kwa kichwa cha habari cha [Service] au mistari iliyoandikwa chini ya alama. Kuanzisha upya huduma hufuta kila model iliyopakiwa, kwa hivyo ombi linalofuata litakuwa la kwanza (cold load). Ipashe moto kwa kutumia amri ya preload hapo juu. Drop-in huhifadhi mpangilio baada ya kuanzisha upya seva, lakini si model: huduma huanza ollama serve bila kitu chochote kupakiwa, kwa hivyo endesha amri hiyo ya preload baada ya kila boot.

Gharama za kuweka model kwenye kumbukumbu

Safu ya SIZE katika ollama ps ni kumbukumbu inayoshikiliwa kwa muda wote wa kutofanya kazi (idle window), siyo tu wakati wa ombi. Model ya 8B yenye 4-bit quantisation inachukua takriban 5 hadi 6 GB. Model ya 27B ni jambo tofauti, na hesabu za kumbukumbu kwa ajili ya kuiendesha kwenye VPS ya CPU pekee ni muhimu kuzipitia kabla ya kuamua kuiweka iwe resident. Weka keep_alive kuwa -1 na utazima muda wa kuisha (idle expiration); maombi ya baadaye kwa model hiyo hiyo yanaweza kubadilisha muda wake wa timeout au kulazimisha kupakia upya wakati chaguzi za runner zinapobadilika. Kwenye VPS ndogo, hii ni biashara ya moja kwa moja dhidi ya database yako, web app yako, na kazi zako za build.

Fuatilia namba halisi badala ya kuamini makadirio. Endesha amri hii wakati model imepakiwa, kisha uifanye tena baada ya ollama stop:

free -h

Safu ya available ni kumbukumbu ambayo kernel bado inaweza kuikabidhi kwa mchakato mpya. Kwenye mashine ya NVIDIA GPU, nvidia-smi inaonyesha hali hiyo hiyo katika VRAM. Ikiwa mashine itaishiwa na kumbukumbu, kernel huua mchakato ili kurejesha nafasi:

sudo dmesg -T | grep -i "out of memory"

Mstari unaotaja ollama unamaanisha kuwa seva ya model ndiyo iliyokuwa mwathiriwa. Mstari unaotaja database yako unamaanisha kuwa model imeshinda na kitu unachokijali kimepoteza. Matokeo yote mawili yanatokana na uamuzi uleule: muda mrefu wa keep-alive kwenye mashine isiyo na nafasi ya ziada.

Gharama mbili hapa ni rahisi kuzikosa. Urefu mrefu wa context huhifadhi KV cache kubwa (key value cache, hali ya attention kwa kila token ambayo model huihifadhi wakati inazalisha), na cache hiyo ni sehemu ya ukubwa wa resident. Ukubwa wake unatokana na num_ctx, kwa hivyo kuongeza context window huongeza kumbukumbu ambayo model resident inashikilia kwa muda wote wa idle, siyo tu wakati inajibu. OLLAMA_NUM_PARALLEL ikiwa zaidi ya 1 huhifadhi cache hiyo mara moja kwa kila parallel slot wakati model inasaidia parallelism hiyo. Ollama v0.40.16 inalazimisha parallelism kuwa 1 kwa model zisizo na uwezo wa completion, ikiwemo model za embedding; scheduler yake haichagui tena mllama au qwen3next. Ikiwa unapanga kuhudumia watu kadhaa kutoka kwa model moja, pima kumbukumbu kwa ajili ya slots, siyo kwa ajili ya uzito (weights) pekee.

Chaguo-msingi la busara: model moja kwenye mashine yenye nafasi ya ziada inaweza kutumia -1. Mashine inayoshirikiwa inapaswa kutumia window inayofunika mapengo kati ya maombi yako, kama vile 30m, ili kumbukumbu irejee wakati unapoacha kufanya kazi.

Ondoa model mara moja

ollama stop qwen3:8b

Amri hii haitoi matokeo yoyote baada ya kuomba kufutwa; kuondoa model husubiri maombi yanayoendelea yakamilike, kwa hivyo amri inaweza kurejea kabla ya kumbukumbu (memory) kuachiliwa. Pia haitoi matokeo kwa model uliyopakua lakini haijapakiwa kwa sasa. Amri hii haiangalii kilichopo kwenye kumbukumbu: inatuma ombi la kuondoa, na seva hujibu kwa mafanikio bila kujali kama kulikuwa na kitu kwenye kumbukumbu au la. Hitilafu couldn't find model "qwen3:8b" to stop huonekana tu wakati hakuna model yenye jina hilo iliyosakinishwa kwenye seva hii, jambo ambalo kwa kawaida humaanisha makosa ya kuandika jina au tag. Kwa hivyo, ollama stop kimya si uthibitisho kwamba kuna kitu chochote kimeachiliwa. ollama ps ndiyo uthibitisho. Fomu ya API ni ombi lisilo na prompt na keep_alive ikiwa imewekwa kuwa 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Jibu hubeba "done_reason": "unload". Tumia njia hii badala ya kuanzisha upya huduma (restart). systemctl restart ollama huachilia kumbukumbu pia, lakini huondoa kila model nyingine iliyopakiwa na kukatisha ombi lolote lililokuwa likiendelea.

Kuendesha modeli zaidi ya moja kwenye seva moja

OLLAMA_MAX_LOADED_MODELS huweka kikomo cha idadi ya modeli zinazoweza kubaki kwenye kumbukumbu kwa wakati mmoja, na kufikia Oktoba 2026 chaguo-msingi ni tatu kwa kila GPU, au tatu kwenye seva inayotumia CPU pekee. Kikomo hiki huhesabu modeli, ingawa kumbukumbu ndiyo kikwazo halisi, hivyo modeli ya pili kubwa inaweza kukataliwa nafasi muda mrefu kabla ya kufikia idadi ya tatu.

Wakati modeli mpya inapoombwa na hakuna kumbukumbu ya kutosha, au kikomo kimefikiwa, scheduler huondoa moja ya modeli zilizopo ili kupata nafasi. Huchagua ile isiyo na ombi linaloendelea, na itafukuza modeli ambayo muda wake wa kusubiri haujaisha, ikiwemo modeli iliyopakiwa kwa kutumia -1, ingawa hujaribu kwanza modeli zenye muda mfupi wa kusubiri. Hivyo, keep_alive hasi inamaanisha hakuna muda wa kusubiri (idle timeout). Haifungi (pin) uzito wa modeli dhidi ya ombi la modeli nyingine.

Maamuzi hayo huonekana kwenye log ya huduma, na tukio la kufikia kikomo huandikwa kwenye logi katika kiwango cha debug pekee. Ongeza mstari wa pili wa Environment="OLLAMA_DEBUG=1" kwenye faili hiyo hiyo ya drop-in, anzisha upya huduma, na ufuatilie:

sudo journalctl -u ollama -f

Soma sababu iliyotolewa kando ya ombi lililosababisha kuondolewa kwa modeli. max runners achieved, unloading one to make room inamaanisha kikomo cha OLLAMA_MAX_LOADED_MODELS kimefikiwa, jambo linaloweza kutokea hata kama modeli zote mbili zingetosha, hivyo ongeza kikomo ikiwa free -h inaonyesha kuwa kuna nafasi ya ziada. Mstari unaosema kuwa modeli mpya inatabiriwa kuzidi kumbukumbu inayopatikana, ikifuatiwa na kufukuzwa kwa modeli nyingine, inamaanisha kuwa ukaguzi wa scheduler umekataa kuzipakia pamoja kwa sababu ya nafasi ya kumbukumbu. Suluhisho hapo ni kupunguza idadi ya modeli kwenye seva hii, au kuweka muda mrefu wa kusubiri kwa ile inayohitaji kujibu haraka na 0 kwa ile unayoiita mara chache.

Mwongozo unaodumu zaidi ya toleo lijalo

Ollama hutoa matoleo mapya mara kwa mara na mipangilio yake chaguo-msingi hubadilika, kwa hivyo kagua toleo lililo mbele yako badala ya kukariri namba:

ollama --version
ollama serve --help

ollama serve --help huorodhesha vigezo vya mazingira (environment variables) ambavyo toleo hilo husoma, ikiwemo OLLAMA_KEEP_ALIVE. Sheria mbili zimebaki thabiti katika matoleo yote na ni salama kuzitegemea. Thamani iliyopo kwenye ombi (request) inashinda thamani chaguo-msingi ya seva. Na ollama ps ndiyo ukweli kuhusu kile kinachopakiwa, bila kujali kile ambacho faili ya usanidi inasema kinapaswa kuwa.

Ikiwa kihariri au wakala (agent) ndiyo inayoendesha seva yako, kagua kile ambacho mteja huyo hutuma kabla ya kuilaumu seva. Kuelekeza wakala wa usimbaji kwenye seva yako ya Ollama inaelezea mahali ambapo mipangilio hiyo ya maombi inapatikana.

FAQ

Kwa nini Ollama huondoa model yangu kwenye kumbukumbu baada ya dakika 5?

Dakika tano ndiyo keep_alive chaguo-msingi, kipima muda cha kutofanya kazi (idle timer) ambacho Ollama huanza baada ya ombi kukamilika. Muda huo unapoisha, seva huachia uzito (weights) wa model, hivyo ombi linalofuata lazima liiipakie tena, na upakiaji huo ndio unasababisha kusita unakohisi. Ongeza muda huo kwa ombi moja kwa kutuma "keep_alive": "30m" ndani ya JSON body, au kwa seva nzima kwa kutumia kigezo cha mazingira (environment variable) cha OLLAMA_KEEP_ALIVE.

Ninawezaje kuweka model ya Ollama kwenye kumbukumbu (memory) daima?

Tumia thamani hasi: "keep_alive": -1 kwenye ombi, au OLLAMA_KEEP_ALIVE=-1 kwa seva. ollama ps kisha itaonyesha Forever kwenye safu ya UNTIL. Hii huondoa kipima muda cha kutofanya kazi na hakuna kingine kinachobadilika. Ikiwa model nyingine itaombwa na kumbukumbu ikawa ndogo, kipanga ratiba (scheduler) bado kitaondoa model hii ili kupata nafasi. Maombi ya baadaye kwa model hiyo hiyo yanaweza pia kubadilisha muda wake wa kusubiri au kusababisha upakiaji upya wakati chaguzi za runner zinapobadilika. Kuanzisha upya (restart) au kuwasha upya seva (reboot) pia hufuta model, kwa hivyo ipakie tena baada ya hapo.

Kwa nini OLLAMA_KEEP_ALIVE inapuzwa?

Angalia mahali ulipoiweka. Tekeleza systemctl show ollama --property=Environment, na ikiwa kigezo hicho hakipo kwenye matokeo hayo, seva haijawahi kukiona, kwa sababu kigezo kilichosafirishwa (exported) kwenye shell yako hakifikii huduma ya systemd. Kiweke kwa kutumia sudo systemctl edit ollama.service, kisha tekeleza sudo systemctl daemon-reload na sudo systemctl restart ollama. Sababu nyingine ni mteja (client) anayetuma keep_alive yake mwenyewe kwenye ombi, ambayo hupuuza chaguo-msingi la seva.

Ninawezaje kuachia kumbukumbu bila kuanzisha upya Ollama?

ollama stop qwen3:8b huomba kumalizika kwa muda wa model hiyo moja na kuiacha seva pamoja na kila model nyingine iliyopakiwa ikiendelea kufanya kazi. Maombi yanayoendelea lazima yakamilike kabla ya model kuondolewa. Kupitia API, tuma ombi lisilo na prompt na "keep_alive": 0, na jibu litarudi likiwa na "done_reason": "unload". Thibitisha kwa ollama ps, ambayo haipaswi kuorodhesha model hiyo tena baada ya kuondolewa kukamilika.

Je, makala hii ilikusaidia?