Jinsi ya kuendesha Qwen 3.8 27B kwenye VPS na Ollama
Jifunze kuendesha qwen3.8:27b kwenye VPS bila GPU. Tunachambua mahitaji ya RAM kuanzia GB 8 hadi 64 na kasi ya token kwa sekunde kwenye CPU ili kubaini utendaji wake halisi.
Je, ninaweza kuendesha Qwen 3.8 27B kwenye VPS isiyo na GPU?
Ili kuendesha Qwen 3.8 27B kwenye VPS unahitaji tag ya qwen3.8:27b, na kufikia tarehe 21 Oktoba 2026 maktaba ya Ollama inayo kama tag inayoweza kupakuliwa ndani: vigezo bilioni 27.3, quantisation ya Q4_K_M, leseni ya Apache 2.0, dirisha la muktadha la 256K, na upakuaji wa GB 18 unaojumuisha vision projector ya takriban GB 0.9. Ollama iliongeza usaidizi wa Qwen 3.8 27B katika v0.32.12, iliyotolewa tarehe 14 Agosti 2026, kwa hivyo usakinishaji wa zamani unahitaji kuboreshwa kwanza. Kufikia tarehe 29 Oktoba 2026 toleo la hivi karibuni la stable ni v0.40.13, lililochapishwa tarehe 28 Oktoba 2026.
Jibu fupi ni ndiyo kwenye VPS yenye GB 32 au zaidi, na kwa kasi ndogo. Model ya 27B dense katika Q4 inahitaji takriban 17 GB ya RAM kwa ajili ya uzito pekee, kabla ya token moja ya muktadha kuhifadhiwa. Hiyo inaondoa kabisa mipango ya GB 8 na GB 16. Kwenye VPS ya kawaida ya DDR4 ya njia mbili (two-channel), ukomo ni takriban 3 token kwa sekunde, kasi ambayo ni ndogo kuliko kasi ya kawaida ya kusoma kwa watu wengi.
Tag za awali za 27B bado zipo kwenye maktaba: qwen3.6:27b na qwen3.5:27b zote ni build za Q4_K_M zenye ukubwa sawa. Qwen3.8-27B inadumisha usanifu wa Qwen3.6-27B, na faili rasmi za configuration kwa zote mbili hutoa mpangilio sawa wa layer, kwa hivyo hesabu ya kumbukumbu hapa chini inatumika kwa yoyote kati yao. Angalia orodha ya moja kwa moja kabla ya kunakili amri yoyote, kwenye ukurasa wa tag ya Ollama qwen3.8. Hesabu hapa inategemea idadi ya vigezo, bits kwa kila uzito, na mpangilio wa attention badala ya namba ya toleo.
Ni tag ipi ya Ollama ya kuvuta, na jinsi ya kuikagua
Kuvuta tag isiyokuwepo kunatoa ujumbe wa kosa ulio wazi, kwa hivyo ni rahisi kutatua hili kwenye seva yenyewe. Tag iliyopo inaweza bado isifanye kazi ndani ya mfumo, jambo ambalo huwachanganya watu na GLM 5.2, iliyoorodheshwa kwenye maktaba lakini inatolewa tu kutoka kwa wingu la Ollama.
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bollama show huchapisha usanifu (architecture), idadi ya vigezo (parameter count), urefu wa muktadha (context length) na quantisation kwa tag uliyonayo. Ikiwa mstari wa vigezo unasomeka 27.3B na mstari wa quantisation unasomeka Q4_K_M, unayo toleo ambalo mwongozo huu umeandaliwa kulingana nalo. Maktaba pia ina qwen3.8:27b-q8_0 na qwen3.8:27b-bf16 kwa uzito uleule katika usahihi wa juu zaidi, lahaja za 27b-mtp, na tag za 27b-nvfp4, 27b-mxfp8, 27b-mlx na 27b-mlx-bf16 ambazo ukurasa wa tag unaziita MLX, muundo uliolenga Apple Silicon badala ya Linux VPS. Tofauti na qwen3.6, ingizo la qwen3.8 halina tag za 35b-a3b. Miundo hiyo ya MoE (mixture of experts) bado inakaa chini ya qwen3.6 na inafanya kazi kwa njia tofauti sana kwenye CPU. Maelezo zaidi kuhusu hayo hapo chini.
Idadi ya vigezo mara baiti kwa kila uzito
Data iliyo nyuma ya chati hii
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]Kanuni hii ni ya mstari mmoja. Baiti za uzito = vigezo * biti kwa kila uzito / 8. Kwa kiwango safi cha biti 4, vigezo bilioni 27.3 vitakuwa na ukubwa wa 13.7 GB. Faili ya mfumo wa lugha katika toleo la Q4_K_M lililosafirishwa ni 17 GB, ambayo inatoa 4.98 biti kwa kila uzito katika matumizi ya kawaida.
Pengo hilo si kosa. Miundo ya K-quant haihifadhi kila tensor kwa upana wa kawaida. Tensor zinazopoteza ubora zaidi wakati wa mgandamizo hupata biti nyingi zaidi. Orodha ya tensor za Ollama kwa faili ya qwen3.8:27b iliyosafirishwa inaonyesha hizi zikiwa katika Q6_K: safu ya pato (output layer), takriban nusu ya makadirio ya chini ya feed-forward, makadirio ya V ya attention katika takriban nusu ya safu za full-attention, na takriban nusu ya makadirio ya QKV yaliyounganishwa katika safu za linear-attention. Tensor ndogo za kawaida (normalisation tensors) hubaki katika usahihi kamili wa biti 32. Token embedding, makadirio ya Q na K ya attention, na gate pamoja na up projections za feed-forward hubaki katika Q4_K kama sehemu nyingine kubwa ya mfumo. Jina la muundo huu ni wastani, na wastani huo hufikia karibu 5. Athari hiyo hiyo huonekana katika upande mwingine wa kipimo: 55 GB kwa BF16 ni 16.1 biti kwa kila uzito badala ya 16 kamili. Hapo, token embedding ni BF16 kama kila kitu kingine, na ziada ndogo hutokana na metadata ya faili, tensor za normalisation zilizohifadhiwa katika biti 32, na ukubwa uliorodheshwa kuzungushwa hadi gigabyte ya karibu zaidi.
Tenga bajeti kwa ajili ya toleo zima, si faili ya mfumo wa lugha pekee. Kila toleo la GGUF la qwen3.8:27b pia husafirisha vision projector ya takriban 0.9 GB, ndiyo sababu toleo la Q4_K_M limeorodheshwa kuwa 18 GB.
Q5_K_M haina toleo lililochapishwa katika ingizo rasmi la maktaba ya qwen3.8, kwa hivyo safu ya 19.5 GB imehesabiwa kwa biti 5.7 za kawaida kwa kila uzito kwa muundo huo badala ya kupimwa. Q8_0 karibu mara mbili ya Q4 hadi 29 GB. Kwenye mashine ya CPU pekee, ongezeko hilo mara mbili hugharimu mara mbili ya trafiki ya kumbukumbu kwa kila token, kwa hivyo pia hupunguza kasi ya token kwa sekunde kwa takriban nusu. Q4_K_M ndiyo chaguo sahihi la msingi hapa kwa sababu hiyo pekee. Ikiwa unataka kuzingatia upande wa ubora wa uamuzi huo badala ya upande wa kumbukumbu, ulinganisho wa karibu zaidi wa Q4, Q8 na fp16 unaonyesha mahali ambapo pato huanza kushuka ubora.
Gharama ya KV cache kadiri muktadha unavyokua
Uzito (weights) ni gharama isiyobadilika. KV cache (key and value cache, hali ya umakini ambayo modeli huhifadhi kwa kila token iliyokwishaiona) hukua kwa mstari mnyoofu kulingana na urefu wa muktadha, na hapa ndipo watu wengi wanapokwisha na RAM.
Data iliyo nyuma ya chati hii
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]Takwimu hizo zinatoka kwenye faili la usanidi la modeli yenyewe. Qwen3.8-27B, kama ilivyo Qwen3.6-27B, ni modeli ya hybrid-attention. Tabaka 16 pekee kati ya 64 hutumia full attention na kuhifadhi cache inayokua kwa kila token, na tabaka hizo zina 4 key/value heads chini ya GQA (grouped-query attention) na head dimension ya 256. Tabaka nyingine 48 hutumia linear attention (Gated DeltaNet) na kuhifadhi hali ya ukubwa usiobadilika, ambayo kwa hesabu zangu ni takriban 150 MB kwa kila nafasi ya mazungumzo bila kujali urefu wa muktadha. Hii inafikia 64 KiB kwa kila token katika f16, hivyo 2 GB katika 32k tokens na 8 GB katika 128k. Usitegemee hesabu zangu badala ya mashine yako mwenyewe. Pakia modeli na usome safu ya SIZE ya ollama ps, ambayo inatoa uzito pamoja na cache na overhead kama takwimu moja.
Muktadha wa 256K kwenye kadi ya modeli unawezekana katika usanifu huu, lakini hauji bure. Kuujaza katika f16 kunagharimu takriban 16 GB ya cache juu ya uzito, kwenye mashine ambayo tayari imetumia 17 GB kwa uzito. Ollama haikupi dirisha kamili kwa chaguo-msingi. Nyaraka zake za urefu wa muktadha huweka chaguo-msingi kulingana na VRAM: 4k tokens chini ya 24 GiB, 32k kuanzia 24 hadi 48 GiB, na 256k katika 48 GiB au zaidi. VPS inayotumia CPU pekee haina VRAM yoyote, kwa hivyo huangukia kwenye kiwango cha 4k, na unaiinua kwa makusudi kwa kutumia OLLAMA_CONTEXT_LENGTH. Kigezo hicho cha seva nzima si njia pekee, na kuweka num_ctx kwenye ombi binafsi hukuruhusu kuweka chaguo-msingi la bei nafuu kwa kila kitu kingine wakati kazi moja ndefu inapata dirisha kubwa zaidi. Iinue kwa hatua na uangalie ollama ps baada ya kila mabadiliko.
Mipangilio miwili huweka cache chini. OLLAMA_KV_CACHE_TYPE=q8_0 huhifadhi cache katika 8 bits badala ya 16, ikipunguza 32k tokens kutoka 2 GB hadi 1 GB. Inahitaji flash attention, kwa hivyo weka OLLAMA_FLASH_ATTENTION=1 pia, na uthibitishe kupungua huko katika ollama ps badala ya kudhani kuwa kumetekelezwa. Ikiwa hujawahi kugusa aina ya cache hapo awali, mwongozo wa q8_0 dhidi ya f16 kwa KV cache ya Ollama unaelezea kuweka vigezo vyote viwili na kusoma takwimu za kabla na baada. OLLAMA_NUM_PARALLEL=1 ni muhimu vilevile. Ollama inaweza kuhudumia maombi kadhaa kwa wakati mmoja, na kila nafasi hupata sehemu yake ya muktadha, kwa hivyo kuongeza parallelism huzidisha cache uliyotenga kimyakimya. Chaguo-msingi la sasa tayari ni 1, na override iliyo hapa chini huifunga hapo. Ikiwa zaidi ya mtu mmoja atatumia mashine hii, uzidishaji huo ndipo matatizo yanapoanzia, na idadi ya watumiaji wa wakati mmoja ambao modeli inayojiendesha inaweza kuhudumia huamuliwa na nafasi za cache na kina cha foleni muda mrefu kabla ya kuamuliwa na idadi ya cores.
Kile kinachotoshea kwenye 8, 16, 32 na 64 GB ya RAM
Data iliyo nyuma ya chati hii
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]Soma namba hizi mbili kama maelfu ya tokeni za muktadha zinazotoshea pamoja na uzani (weights) na projekta ya maono (vision projector), kwa cache ya f16, kwenye Linux VPS isiyo na kiolesura (headless) yenye takriban 1.5 GB iliyobaki kwa ajili ya mfumo wa uendeshaji na nafasi ndogo ya ziada. Sifuri inamaanisha uzani wenyewe hautoshiti, kwa hivyo hakuna kinachotoshea; null inamaanisha uzani unatoshea lakini hakuna namba ya muktadha inayoweza kutumika iliyothibitishwa kwa kiwango hicho.
8 GB na 16 GB si viwango vya karibu. 17 GB ya uzani haitoshei kwenye 16 GB ya RAM, na hakuna mpangilio wa muktadha unaoweza kubadilisha hilo. Kuongeza swap hakusaidii pia. Ollama hufanya memory-map ya faili ya GGUF, kwa hivyo kurasa zikizidi RAM, kernel huanza kuziondoa na kuzisoma upya, na kila tokeni huchota gigabytes kutoka kwenye diski. Seva hukwama kwenye iowait ya juu na kutoa chini ya tokeni moja kwa sekunde.
32 GB ndiyo mahali pa kuanzia. Uzani huchukua 17 GB, projekta ya maono huongeza takriban 0.9 GB, na unabakiwa na takriban 12.5 GB, ambayo inatosheleza takriban 128k tokeni za muktadha wa f16 pamoja na nafasi ya ziada. Uzani wa Q8_0 kwenye 29 GB unatoshea ndani ya 32 GB, lakini muktadha unaoweza kutumika pia hutegemea projekta ya maono, cache, mfumo wa uendeshaji na kumbukumbu ya runtime. Kagua jumla ya nafasi inayotumiwa kwenye seva yako kabla ya kuamua kuwa Q8 inaweza kukimbia kwenye kiwango hiki.
64 GB ni ya kuridhisha. Q4 huacha nafasi kwa ajili ya dirisha kamili la 256k, na uzani wa Q8_0 unatoshea pamoja na 256k kamili nyuma yake pia. Kabla ya kulipia 64 GB ili kupata Q8, uwe wazi kuhusu kile unachonunua: matokeo bora kidogo kwa nusu ya kasi, kwenye mashine ambayo tayari ilikuwa polepole. Q4 tayari hufikia tokeni 128k kwenye mpango wa 32 GB, na hiyo ndiyo biashara bora kwa karibu kila mtu.
Kasi ya CPU inference kwenye VPS ni ipi?
Kuzalisha token moja kutoka kwa dense model kunamaanisha kusoma kila uzito (weight) kutoka kwenye kumbukumbu mara moja. Sio baadhi yake. Ni yote. Kwa hivyo, kikomo cha kasi sio idadi ya core zako, bali ni bandwidth ya kumbukumbu ikigawanywa na ukubwa wa uzito huo. Katika Q4, hiyo ni 17 GB ya trafiki ya kumbukumbu kwa kila token.
Data iliyo nyuma ya chati hii
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]Hayo ni viwango vya juu kabisa, sio vipimo halisi. Pato la kweli hufikia takriban asilimia 50 hadi 70 ya takwimu iliyoonyeshwa, kwa sababu latency ya kumbukumbu na prefetching isiyo kamilifu inamaanisha kuwa huwezi kufikia kilele cha kinadharia. VPS yenye chaneli mbili ya DDR4-3200 ina kikomo cha 3 tokens kwa sekunde, kwa hivyo tarajia takriban 2. Mashine yenye chaneli mbili ya DDR5-4800 ina kikomo cha 4.5, kwa hivyo tarajia takriban 3.
Seva kubwa huja na onyo. Jukwaa la EPYC lenye chaneli kumi na mbili lina 460.8 GB/s na kikomo cha 27.1 tokens kwa sekunde, lakini hupangishi EPYC nzima. Bandwidth ya kumbukumbu ni rasilimali ya seva nzima inayoshirikiwa na kila mpangishaji kwenye mashine hiyo, kwa hivyo kipande cha 8 vCPU hakiji na chaneli kumi na mbili za bandwidth ya kipekee. Miongozo inayolenga GPU huruka hili kabisa, na ndiyo sababu mipango miwili ya VPS yenye idadi sawa ya vCPU inaweza kutofautiana kwa mara tatu kwenye model ileile.
vCPU nyingi huacha kusaidia mapema kwa sababu hiyo hiyo. Mara tu core zinapoomba data kwa kasi zaidi kuliko controller ya kumbukumbu inavyoweza kuileta, thread za ziada huongeza scheduling overhead na si kingine. Ollama haina environment variable ya seva nzima kwa ajili ya idadi ya thread, kwa hivyo weka num_thread kwenye ombi la options kulingana na idadi ya core zako halisi, pima, kisha jaribu nusu ya namba hiyo. Kwenye mipango mingi inayoshirikiwa, mpangilio wa chini huwa na kasi zaidi.
Uchakataji wa prompt hufanya kazi kwa njia tofauti. Prefill, yaani kupitia input yako kabla ya token ya kwanza kuonekana, inategemea uwezo wa kompyuta (compute bound) badala ya bandwidth, kwa hivyo huongezeka kulingana na idadi ya core. Athari ya kivitendo ni kusubiri kwa muda mrefu kabla ya pato kuanza kwenye prompt kubwa, ikifuatiwa na kasi ndogo na thabiti iliyotajwa hapo juu. Pima sehemu zote mbili tofauti kwa kutumia --verbose, ambayo huchapisha prompt eval rate na eval rate kwa kila ombi.
Ikiwa dense 27B ni polepole sana, angalia tag za qwen3.6:35b-a3b kabla ya kukata tamaa na CPU. Hizo huwasha takriban parameter bilioni 3 kwa kila token badala ya bilioni 27.3 zote, kwa hivyo trafiki ya kumbukumbu kwa kila token hupungua kwa karibu mara kumi ingawa faili iliyopo kwenye diski ni kubwa zaidi. Unabadilisha matumizi ya RAM ili kupata kasi. Chaguo la runtime ni muhimu hapa pia, na Ollama na llama.cpp hutoa vidhibiti tofauti vya CPU tuning juu ya code ileile ya msingi ya inference.
Wakati wa kukodisha GPU kwa saa badala yake
Data iliyo nyuma ya chati hii
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]Mfumo huo huo uliotumika kwenye bandwidth ya kumbukumbu ya GPU iliyochapishwa hutoa kategoria tofauti ya jibu. Kadi ya mtumiaji ya 24 GB ina ukomo wa 59 tokens kwa sekunde kwenye uzito huu. Kadi ya sasa ya data centre hufikia 197. Hilo si pengo unaloweza kuziba kwa kurekebisha idadi ya thread. Kadi hiyo huendesha kumbukumbu yake kwa 1008 GB/s ambapo VPS yako huendesha kwa makumi.
Kwa hivyo chora mstari kulingana na mzigo wa kazi badala ya upendeleo. CPU inference ndilo jibu sahihi wakati kazi ni ya asynchronous na hakuna mtu anayesubiri: muhtasari wa rundo la hati wakati wa usiku, au kazi ya uainishaji ya usiku inayofanyika wakati umelala. Kodisha GPU wakati mtu anasubiri matokeo, au wakati maombi yanapofika kwa kasi zaidi kuliko kifaa chako kinavyoweza kuyamaliza. Runtimes za CPU hazina ukomo wa ombi moja kwa wakati mmoja: seva ya llama.cpp inaelezea parallel decoding na continuous batching kwenye CPU vilevile kama kwenye GPU, na Ollama inaweza kuhudumia maombi sambamba pia, kwa gharama ya cache zaidi. Kinachoamua ni kiwango chako cha kuhudumia kilichopimwa dhidi ya kiwango cha kuwasili, kwa hivyo pima batch ya kweli kwenye kifaa chako. Maombi yakianza kufika kwa kasi zaidi kuliko hapo, foleni hukua.
Ulinganisho wa gharama hauko wazi kama unavyoonekana. VPS ya 64 GB hutoza kila saa ya mwezi iwe model imepakiwa au la, wakati ukodishaji wa GPU wa saa hutenganisha gharama za kompyuta na gharama za hifadhi ambazo zinaweza kuendelea baada ya kusimama. Ikiwa matumizi yako halisi ni saa mbili kwa siku, GPU iliyokodishwa inaweza kuwa ya haraka na ya bei nafuu zaidi. Bainisha duty cycle yako kwanza, kisha uipangie bei. Kuchagua VPS yenye GPU inashughulikia mambo ya kukagua kwenye instance yenyewe, na vLLM inazidi Ollama pindi unapohudumia maombi ya wakati mmoja kwenye GPU kwa sababu inafanya batching yake ipasavyo.
Kuna chaguo la tatu ambalo watu wanalisahau. Weka 27B kwenye CPU kwa ajili ya kazi ya batch na uweke model ya API inayohudumiwa mbele ya njia ya mwingiliano. Hakuna kinachohitaji model moja kuhudumia zote mbili.
Sakinisha Ollama na upime seva yako
Hati ya usakinishaji ni ile rasmi, na inaweka huduma ya systemd inayofanya kazi kama mtumiaji maalum wa ollama.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gollama --version inapaswa kuchapisha 0.32.12 au toleo jipya zaidi, ambalo ndilo toleo la kwanza lenye usaidizi wa Qwen 3.8 27B. Angalia free -g kabla ya kuvuta (pull) chochote. Inaripoti kwa GiB, kwa hivyo mpango uliotangazwa kuwa na 32 GB ya RAM unaweza kuonyesha takriban 29 katika safu ya total; linganisha kumbukumbu inayopatikana na uzito (weights) na bajeti ya cache hapo juu.
Weka chaguzi za runtime kwenye systemd override badala ya shell yako. Model inafanya kazi ndani ya huduma, kwa hivyo haiwezi kuona mazingira yako ya interactive.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."Pato la --verbose ndilo kipimo ulichokuwa unakitafuta. eval rate ni idadi ya tokens kwa sekunde wakati wa generation. prompt eval rate ni kasi yako ya prefill. load duration ni muda uliotumika kusoma uzito kutoka kwenye disk, ndiyo sababu OLLAMA_KEEP_ALIVE=60m imewekwa: kwenye CPU, kupakia upya 17 GB kutoka kwenye disk kwa kila ombi kunagharimu zaidi ya ombi lenyewe. Muda chaguo-msingi wa idle timeout ni dakika tano, ambao ni mfupi kiasi kwamba foleni ya batch yenye mapengo kati ya vitu hulipa gharama hiyo ya kupakia mara kwa mara, na chaguzi za kuweka model kwenye kumbukumbu zinashughulikia uwanja wa keep_alive wa kila ombi na kuhakikisha mpangilio huo unadumu baada ya reboot.
Wakati model imepakiwa, angalia matumizi ya rasilimali kutoka kwenye terminal ya pili.
ollama psSafu ya SIZE ni matumizi halisi ya kumbukumbu ikijumuisha KV cache, na inapaswa kuwa karibu na uzito pamoja na vision projector pamoja na mstari wa urefu wa context yako kwenye chati ya KV. Kwa tokens 8192 na cache ya 8-bit, sehemu inayokua ya cache ni takriban robo ya gigabyte, ikilinganishwa na 0.5 GB ikiwa ingebaki katika f16, pamoja na hali ya linear-attention iliyowekwa juu. Safu ya PROCESSOR inapaswa kusoma 100% CPU. Ikiwa inasoma kitu kingine chochote, kuna kitu kimechukua GPU na namba za kasi katika mwongozo huu hazielezei seva yako.
Njia za kushindwa na ujumbe kamili utakaouona
Model inakataa kupakia. Ollama huchapisha mstari unaotaja takwimu zote mbili, katika umbo la model requires more system memory (18.6 GiB) than is available (15.2 GiB). Hii ni hali nzuri ya kushindwa, kwa sababu Ollama hukagua kabla ya kutenga rasilimali badala ya kuacha kernel ishughulikie tatizo. Punguza urefu wa context, tumia tag ndogo zaidi, au hamia kwenye mpango mkubwa zaidi.
Mchakato hupotea katikati ya jibu. Mteja haonyeshi chochote cha maana, na journalctl -u ollama -n 50 inaonyesha huduma ikianzishwa upya. Tekeleza dmesg -T | tail, na mstari unaosomeka Out of memory: Killed process ... (ollama) unamaanisha kuwa kernel OOM killer imeifunga. Hii hutokea wakati ukaguzi wa awali umefaulu lakini cache ilikua zaidi ya makadirio wakati wa mazungumzo marefu. Punguza urefu wa context.
Uvutaji (pull) unashindwa mara moja. Error: pull model manifest: file does not exist inamaanisha kuwa tag hiyo haipo kwenye maktaba. Nambari ya toleo ambayo haijatolewa (ship) huzalisha hitilafu hii, na vivyo hivyo kwa kosa lolote la uchapaji kwenye tag. qwen3.8:27b yenyewe ni halisi, kwa hivyo ikiwa tag hiyo kamili inashindwa, tafuta kosa la uchapaji kwanza. Thibitisha tag kwenye ukurasa wa maktaba kabla ya kulaumu mtandao wako, na ikiwa tag halisi inavuta lakini haifanyi kazi, kagua ollama --version dhidi ya 0.32.12.
Kila kitu kinafanya kazi lakini ni polepole sana. Chini ya token moja kwa sekunde kwenye mashine yenye RAM ya kutosha inaashiria paging badala ya ukosefu wa nguvu ya kompyuta. Tekeleza vmstat 1 wakati wa kuzalisha. Safu wima ya si au so isiyo sifuri inamaanisha kuwa kernel inafanya swapping, na suluhisho ni kupunguza context au kupunguza idadi ya models zilizopakiwa. wa ya juu na thabiti bila shughuli ya swap inamaanisha kuwa weights zilizopangwa kwenye kumbukumbu (memory-mapped) zinasomwa tena kutoka kwenye diski, jambo linalomaanisha kuwa hazitoshei kikamilifu.
Token ya kwanza inachukua sekunde 30 na kisha kasi ya pato huongezeka. Hiyo ni prefill, na ni jambo la kawaida. System prompt ndefu hulipiwa kwa kila ombi linalokosa cache, kwa hivyo fupisha system prompt kabla ya kurekebisha kitu kingine chochote.
Matumizi sahihi ya 27B inayotumia CPU pekee
Weka matarajio kulingana na takwimu badala ya matumaini. Kwa kasi ya token mbili hadi nne kwa sekunde, jibu la token 500 huchukua kati ya dakika mbili na nne. Hii haifai kwa mazungumzo ya moja kwa moja lakini inafaa kabisa kwa kazi za foleni (queue). Model inayofikiri kabla ya kujibu hufanya hesabu hiyo kuwa mbaya zaidi, kwa sababu token za kufikiri (reasoning tokens) huzalishwa kwa kasi hiyo hiyo ndogo kama jibu, hivyo kulinganisha kiwango cha juhudi za kufikiri na kazi husika ni mojawapo ya mbinu chache za kufupisha jibu bila kubadili model. Ufupishaji wa nyaraka, uwekaji lebo kwa wingi, uchimbaji wa data kutoka kwenye faili zilizokusanyika, na ukaguzi wa msimbo (code review) usiohitaji usimamizi wote huvumilia kasi hii, kwa sababu hakuna kinachosubiri jibu hilo. Usaidizi wa uandishi wa msimbo uko kwenye mstari huo huo, hivyo kuelekeza wakala wa uandishi wa msimbo kwenye model unayoiendesha mwenyewe kunaleta faida kwa kazi za nyuma kama ujumbe wa commit na uundaji wa mifumo ya majaribio (test scaffolding), na si kwa mapendekezo ya papo hapo unayoyasubiri.
Hoja ya faragha ndiyo hoja ya msingi. Model huendeshwa kwenye maunzi unayokodisha na kuyadhibiti, hakuna ombi linalotoka nje ya seva, na hakuna malipo kwa kila token. Hilo lina thamani kubwa kwa data zinazodhibitiwa kisheria hata kwa kasi ya token tatu kwa sekunde. Pima hoja hii kwa uaminifu dhidi ya njia mbadala: kujiendeshea mwenyewe model ya kiwango cha juu kunahitaji maunzi mengi zaidi kwa kiasi kikubwa, na 27B kwenye CPU ndiyo sehemu ya bei nafuu zaidi kwenye mdundo huo ambapo matokeo bado yana thamani ya kusomwa.
Ili kupima utendaji wa yoyote kati ya hayo unahitaji data halisi iliyopangwa, na API nyingi za umma zinahitaji akaunti kabla hujaweza hata kupima kasi ya utendaji. Schema ya demo ya Strasmore (tunaiendesha sisi) inatoa uwezo wa kusoma pekee (read-only) wa SQL juu ya data za hisa na chaguzi za Marekani bila ufunguo na bila kujiandikisha, kwa kutumia majina ya jedwali yaliyohusishwa na database: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. Vikomo vya demo ni safu 500 na sekunde 20 kwa kila ombi, na historia kuanzia tarehe 1 Januari 2025 kuendelea, ambayo ni zaidi ya kile ambacho seva ya token mbili kwa sekunde inaweza kutumia. Orodha kamili ya safu wima iko kwenye https://ai.strasmore.com/api/demo/schema.
Ikiwa huu ni usakinishaji wako wa kwanza wa Ollama, mwongozo kamili wa kuendesha Ollama kwenye VPS unashughulikia usanidi wa huduma, HTTP API na sheria za firewall ambazo mwongozo huu unadhani tayari unazo. Usifungue port 11434 kwenye Internet. API ya ndani ya Ollama haihitaji uthibitishaji, kwa hivyo chochote kinachofika kwenye port hiyo kinaweza kutumia model yako.
FAQ
Je, kuna model ya Qwen 3.8 27B kwenye Ollama?
Ndiyo. Kufikia tarehe 21 Oktoba 2026, maktaba ya Ollama ina ingizo la qwen3.8, na qwen3.8:27b (ambayo pia imewekewa tag ya latest) ni toleo la 18 GB la Q4_K_M la model yenye vigezo bilioni 27.3, ikiwa na vision projector na 256K context window. Inafanya kazi ndani ya seva (locally) na inahitaji Ollama v0.32.12 au toleo jipya zaidi. Tags za zamani za qwen3.6:27b na qwen3.5:27b bado zimeorodheshwa. Angalia https://ollama.com/library/qwen3.8/tags kwa orodha ya sasa. Tag isiyokuwepo inashindwa kufanya kazi na kutoa Error: pull model manifest: file does not exist.
Ninahitaji RAM kiasi gani ili kuendesha model ya Qwen 27B kwenye VPS?
32 GB ndiyo kiwango cha chini kinachofaa kwa Q4_K_M. Uzito wa model (weights) ni 17 GB, vision projector inaongeza takriban 0.9 GB, mfumo wa uendeshaji (OS) unahitaji karibu 1.5 GB, na KV cache inaongeza takriban 1 GB kwa kila token 16,000 za context katika f16, kwa sababu ni tabaka 16 pekee kati ya 64 za model hiyo ndizo zinazohifadhi cache inayokua. Mpango wa 16 GB hauwezi kuhifadhi uzito huo hata kidogo, na swap haisaidii kwa sababu faili hiyo imewekwa kwenye kumbukumbu (memory-mapped) na kernel inaisoma upya kutoka kwenye diski katika kila token. 64 GB inakupa nafasi ya kutosha kwa window kamili ya 256K, hata ukitumia uzito wa Q8_0 wa 29 GB.
Nitapata token ngapi kwa sekunde kwa kutumia CPU na model ya 27B?
Gawa bandwidth ya kumbukumbu yako kwa ukubwa wa uzito wa model, kisha chukua asilimia 50 hadi 70 ya matokeo hayo. VPS yenye DDR4-3200 ya njia mbili (two-channel) ina ukomo wa karibu 3 token kwa sekunde na hutoa takriban 2. Mashine yenye DDR5-4800 ya njia mbili ina ukomo wa karibu 4.5 na hutoa takriban 3. Majukwaa ya seva yenye njia nyingi zaidi huonekana bora zaidi kwenye karatasi, lakini bandwidth ya kumbukumbu inagawanywa kwa kila mtumiaji kwenye host, kwa hivyo pima yako mwenyewe kwa kutumia ollama run qwen3.8:27b --verbose na usome mstari wa eval rate.
Je, nitumie Q4 au Q8 kwenye VPS inayotumia CPU pekee?
Q4_K_M, katika karibu kila hali. Q8_0 ni 29 GB ikilinganishwa na 17 GB, kwa hivyo uzito wake unafaa ndani ya 32 GB, lakini projector, cache, mfumo wa uendeshaji na runtime huacha nafasi ndogo sana; 64 GB inatoa nafasi kwa ajili ya context ndefu. Inahamisha karibu mara mbili ya kumbukumbu kwa kila token, jambo ambalo hupunguza kasi yako ya token kwa sekunde kwa takriban nusu. Tofauti ya ubora kati ya Q4_K_M na Q8_0 kwenye model ya 27B ni ndogo kwa kazi nyingi. Tumia RAM hiyo kwa ajili ya context ndefu zaidi, kwa sababu hiyo hubadilisha kile ambacho model inaweza kufanya badala ya jinsi inavyopanga maneno.
Ni lini kukodisha GPU ni nafuu kuliko VPS yenye RAM kubwa?
Wakati mzunguko wako wa kazi (duty cycle) ni mdogo au kuna mtu anayesubiri. GPU yenye 24 GB ya kumbukumbu ina ukomo wa kinadharia wa takriban 59 token kwa sekunde kwa uzito huu, ikilinganishwa na makadirio ya 2 au 3 kwenye VPS ya kawaida; gharama za kompyuta za GPU kwa saa huacha kuhesabika wakati instance inaposimama, lakini hifadhi ya kudumu (persistent storage) bado inaweza kugharimu pesa. VPS ya 64 GB hutoza ada mwezi mzima bila kujali kama model imepakiwa au la. Hesabu ni saa ngapi kwa siku unazalisha token kweli. Pointi ya usawa inategemea viwango vya kukodisha, runtime, na gharama za hifadhi ya kudumu. Kazi za batch za kipaumbele cha chini zinazoendelea ndizo ambapo VPS inayowaka muda wote hufaa zaidi.