Jinsi ya kuendesha Nemotron 3.5 Lightning kwenye VPS
Jifunze kuendesha NVIDIA Nemotron 3.5 Lightning kwa kutumia Ollama kwenye seva yako. Pata mwongozo kuhusu tag sahihi, mahitaji ya RAM, na utendaji wa CPU pekee kwa kasi.
Nemotron 3.5 Lightning inatumika kwa nini
Nemotron 3.5 Lightning ni modeli ya NVIDIA ya 30B mixture-of-experts iliyo wazi, iliyotolewa mnamo Agosti 2026, na imejengwa kwa ajili ya mawakala (agents) wanaoendesha kwa saa nyingi badala ya dirisha moja la gumzo. MoE (mixture of experts) inamaanisha kuwa uzito (weights) umegawanywa katika mitandao midogo mingi ya wataalamu, na kila token hupitishwa kupitia wachache tu kati yao. Kadi ya modeli ya NVIDIA inaonyesha jumla ya vigezo bilioni 30 huku bilioni 3 zikiwa hai kwa kila token. Unalipia idadi kubwa iliyo kwenye kumbukumbu. Unapata idadi ndogo kama kasi.
Biashara hiyo ndiyo sababu ya kuangalia modeli hii kwa seva unayokodisha. Wakala anayefanya kazi halisi hutuma maelfu ya maombi mafupi kwa siku, kwa hivyo throughput kwa kila dola huamua ikiwa inaweza kuishi kwenye seva yako mwenyewe. Modeli inayochukua sekunde 40 kwa kila jibu ni msaidizi anayefaa lakini wakala duni, kwa sababu kazi moja hufanya wito ishirini na unasubiri kila mmoja wao.
NVIDIA inaelezea usanifu huu kama mseto: tabaka za Mamba-2 na MoE zilizounganishwa na tabaka teule za umakini (attention layers). Kadi ya modeli inatoa urefu wa juu wa muktadha (context length) hadi token 1M na leseni ya OpenMDW-1.1, iliyotiwa alama kuwa tayari kwa matumizi ya kibiashara. Lugha kuu ni Kiingereza na msimbo (code), huku Kihispania, Kifaransa, Kijerumani, Kiitaliano na Kijapani pia zikiorodheshwa.
Artificial Analysis ilichapisha vipimo vya uzinduzi mnamo Agosti 2026 ikionyesha karibu token 670 kwa sekunde, kwenye endpoint ya DeepInfra ya kabla ya kutolewa inayohudumia uzito wa NVFP4. Hiyo ni endpoint ya GPU iliyopangishwa (hosted). Ione kama kile ambacho usanifu unaruhusu, si kama kile ambacho VPS yako itafanya.
Ni tag ipi ya Ollama inayofaa VPS ipi
Maktaba ya Ollama huchapisha matoleo kadhaa ya uzito (weights) sawa. Kinachobadilika kati yao ni quantisation, yaani idadi ya bits zinazotumika kuhifadhi kila uzito, na hilo hubadilisha ukubwa wa download kwa kiasi kikubwa.
Data iliyo nyuma ya chati hii
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]Tag zilizopewa majina latest, 30b na 30b-a3b sasa zina digest zao wenyewe, zikiwa zimeorodheshwa kuanzia 19 hadi 25 GB tangu maktaba ilipozisasisha katikati ya Oktoba 2026. Baada ya kuuliza moja kwa moja kutoka kwenye registry mnamo Oktoba 25, 2026, pointer hiyo ilirudisha faili zilezile kama 30b-a3b-q4_K_M, kwa hivyo download ya kawaida kwenye VPS ni toleo la 25 GB la four-bit lenye 1M context kamili. Kiwango cha chini cha 19 GB katika masafa yaliyoorodheshwa kinalingana na builds za MLX, jambo linalopendekeza kuwa mashine za Apple silicon hupewa hizo badala yake. Q8_0 ni 35 GB na bf16 ni 66 GB, zote zikiwa pia na 1M. Builds za MLX zenye 19 GB ni kwa ajili ya Apple silicon na zina ukomo wa 256K context, kwa hivyo ni chaguo lisilo sahihi kwenye Linux VPS. Maktaba pia inaorodhesha 30b-mlx na 30b-a3b-nvfp4, ambazo zote zina digest sawa na 30b-a3b-mlx ingawa jina la pili la format linaonekana kama la NVIDIA, pamoja na 30b-a3b-mxfp8 yenye 34 GB na 30b-a3b-mlx-bf16 yenye 66 GB. Zote pia zina ukomo wa 256K, kwa hivyo hakuna hata moja inayokupa window kamili.
Hizo ni ukubwa wa download, si mahitaji ya kumbukumbu. NVIDIA haichapishi kiasi cha chini cha VRAM (video RAM) kwa builds za Ollama, kwa hivyo chukulia ukubwa wa download kama msingi tu na si zaidi ya hapo. Uzito lazima uwe mahali fulani, kwenye kumbukumbu ya GPU ikiwa kadi inaiweza, au kwenye system RAM ikiwa sivyo, na KV cache (key/value cache, kumbukumbu ya mfano ya kila token katika mazungumzo) huongezwa juu yake. Namba halisi kwa ajili ya maunzi yako inatokana na amri, si hesabu, na iko hapa chini. Ikiwa bado hujaamua kiwango cha quantisation, gharama za Q4, Q8 na FP16 inaelezea kile kinachopotea katika kila hatua.
Vuta tag kamili, usitumie latest kamwe
latest ni pointer inayobadilika. Wakati maktaba inapochapisha upya, tabia ya agent wako hubadilika kwenye pull inayofuata bila maelezo yoyote kwenye madokezo yako. Hilo limeshatokea mara moja kwa model hii: katikati ya Oktoba 2026 maktaba ilihamisha latest kwenye digest mpya. Taja tag husika.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MScript ya usakinishaji huweka huduma ya systemd inayofanya kazi kama mtumiaji ollama na kuhifadhi models chini ya /usr/share/ollama/.ollama/models. Njia hiyo iko kwenye root filesystem kwenye picha nyingi za VPS, kwa hivyo hakikisha kuna nafasi kabla ya kuomba 25 GB. Ikiwa filesystem hiyo imejaa, mahali Ollama inapohifadhi models zake na jinsi ya kuzihamisha inafaa kusomwa kabla ya kufanya pull badala ya kusubiri hadi diski ijae.
df -h /usr/share/ollamaPull inayokwama katikati na kutoa taarifa ya no space left on device inamaanisha hivyo hasa, na blobs zilizopakuliwa kwa kiasi hubaki kwenye diski hadi utakapozifuta. Kisha thibitisha kile kilichofanikiwa kupakuliwa:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show huchapisha usanifu (architecture), idadi ya parameters, urefu wa context, na quantisation ambayo faili hilo inayo. Ikiwa yoyote kati ya hayo hayalingani na ukurasa wa maktaba, umepakua tag tofauti na ile uliyokusudia.
Ihudumie, kisha uangalie ilikokimbia kihalisi
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"Wakati modeli bado imepakiwa, kwenye shell ya pili:
ollama psHii ndiyo amri inayojibu swali la kumbukumbu kwa mashine yako. ollama ps huchapisha modeli iliyopakiwa, ukubwa inaouchukua kwenye kumbukumbu, na safu ya PROCESSOR. 100% GPU inamaanisha yote iko kwenye VRAM. 100% CPU inamaanisha hakuna hata sehemu moja iliyo huko, na kila token huhesabiwa na processor kutoka kwenye RAM ya mfumo. Mgawanyo kama 65%/35% CPU/GPU unamaanisha kuwa layers zote hazikutosha, na sehemu ya CPU ndiyo huamua kasi yako. Usikisie mahitaji. Ipakiwe kisha usome mstari huu.
Ikiwa haiwezi kupakia kabisa, Ollama hukataa kwa usafi badala ya kupata hitilafu (crash):
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)Je, VPS inayotumia CPU pekee ina kasi ya kutosha?
VPS ya kawaida haina GPU, kwa hivyo CPU hufanya kazi zote na kusoma kila uzito (weight) unaohitajika kutoka kwenye RAM ya mfumo. MoE husaidia hapa, kwa sababu ni takriban bilioni 3 kati ya vigezo bilioni 30 pekee ndivyo vinavyoguswa kwa kila token, hivyo hesabu kwa kila token ni ndogo sana ikilinganishwa na modeli ya 30B iliyojaa (dense). Kumbukumbu haisaidiwi hata kidogo. Vigezo vyote bilioni 30 lazima vibaki kwenye kumbukumbu, kwa sababu router inaweza kuchagua mtaalamu (expert) yeyote kwa token yoyote.
Kwa hivyo, inference ya CPU pekee kwenye modeli hii hupunguzwa kasi na bandwidth ya kumbukumbu badala ya idadi ya cores. Kuongeza vCPUs kwenye mpango ambao tayari una idadi inayofaa ya cores hubadilisha mambo kidogo sana. Unachohitaji ni RAM ya kutosha kuhifadhi uzito pamoja na KV cache yako, na kumbukumbu ya kasi zaidi inayotolewa na mpango huo.
Ipime kabla ya kuikabidhi wakala (agent), kwa kutumia mbinu iliyo katika kupima token kwa sekunde kwa LLM ya ndani:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."Mstari wa eval rate unaochapishwa mwishoni ndio kasi yako ya uzalishaji katika token kwa sekunde. Nambari hiyo moja ndiyo huamua swali, kwa sababu muda wa kusubiri wa wakala hutawaliwa na kasi hiyo. Izididishe kwa urefu wa jibu unaotarajia, na ikiwa jibu ni refu kuliko muda unaoweza kusubiri, kuzuia matokeo kwa num_predict ndiyo njia pekee ya kudhibiti mwito mmoja bila kubadilisha maunzi (hardware).
Data iliyo nyuma ya chati hii
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]Hizo ni takwimu zilizochapishwa na watu wengine, zilizobadilishwa kutoka dakika za kila kazi ambazo Artificial Analysis iliripoti wakati wa uzinduzi, na zilipimwa kwenye GPU endpoints zilizopangishwa badala ya VPS. Nemotron 3.5 Lightning ilikuwa na wastani wa sekunde 30 kwa kila kazi, ambapo gpt-oss-120b ilichukua takriban 204 na Qwen3.6 35B takriban 210. Zitumie ili kuona tofauti ya kasi, si kama ahadi kuhusu maunzi yako.
Mwongozo wa kweli hutegemea nani anayesubiri. Ikiwa mtu anamsubiri wakala, au wakala anafanya msururu mrefu wa miito mfululizo, kodi uwezo wa GPU. Ikiwa inaendeshwa kwa ratiba usiku na hakuna anayeitazama, mpango wa CPU wenye RAM kubwa ni mahali pazuri. Vyovyote vile, usanidi ni uleule, na kuendesha Ollama kwenye VPS kunashughulikia ukubwa wa mpango na jinsi instance ya GPU inavyolinganishwa na kulipia mtoa huduma wa API kwa kila token. Ulinganifu wa gharama ni swali la matumizi: instance ya GPU hutoza kila saa inayokuwepo, wakati token za API hutoza tu zinapotumika, kwa hivyo wakala anayefanya kazi muda mwingi wa siku anafaa zaidi kwenye seva unayomiliki, na wakala anayefanya kazi mara mbili kwa saa kwa kawaida hafai. Programu ya Ollama haiongezi chochote kwenye hesabu hiyo, kwa sababu ni bure kuendesha kwenye seva unayokodi, na Ollama inatoza nini na haitozi nini inaelezea mahali ambapo Ollama Cloud inafaa ikiwa hutaki kukodi maunzi kabisa.
Dirisha la 1M la context si la bure
1M tokens ndio uwezo wa juu zaidi wa model, na Ollama haikupi kiasi hicho kwa chaguo-msingi. Ollama hutumia dirisha dogo zaidi la chaguo-msingi na hufuta tokens za zamani zaidi pindi mazungumzo yanapozidi kiasi hicho. Hakuna kinachorekodiwa kwenye log level ya kawaida jambo hili linapotokea, hivyo kwa agent inaonekana kama model inasahau mwanzo wa kazi yake yenyewe.
Weka dirisha hilo kwa makusudi. Kwa seva nzima, hariri huduma hiyo:
sudo systemctl edit ollamaOngeza hili, kisha endesha sudo systemctl restart ollama:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"Kwa kila ombi, tuma num_ctx ndani ya options object badala yake:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'Kila ongezeko hugharimu kumbukumbu, kwa sababu KV cache hukua kulingana na idadi ya tokens unazoruhusu. Ongeza thamani hiyo, anzisha upya, kisha endesha ollama ps tena na uangalie ukubwa unaoripotiwa ukipanda. Ikiwa safu ya PROCESSOR itabadilika kutoka 100% GPU na kuwa split baada ya mabadiliko hayo, KV cache imesukuma layers za model nje ya VRAM na kasi yako itashuka sana. Kuchagua num_ctx katika Ollama inaelezea biashara hiyo kwa kina. Usiweke 1000000 kwa sababu tu model card inaruhusu, kwa sababu allocation hutokea mwanzoni na mzigo utafeli tu.
Kuuunganisha kwenye wakala unaoendelea kufanya kazi
Ukurasa wa maktaba ya Ollama kwa ajili ya modeli hii unaelezea njia ya mkato inayozindua wakala unaotumika ambao tayari umeelekezwa kwenye modeli hiyo:
ollama launch claude --model nemotron-3.5-lightningUkurasa huo unaorodhesha claude, opencode, openclaw na hermes katika nafasi hiyo. Subcommand hiyo inahitaji toleo la sasa la Ollama, kwa hivyo kagua ollama --version kwanza, na ikiwa haipo, elekeza wakala kwenye API wewe mwenyewe. Ollama hutoa endpoint inayooana na OpenAI, ambayo mifumo mingi ya wakala huikubali:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama hupuuza ufunguo (key), lakini wateja wengi hukataa kuanza bila ufunguo kuwekwa. Upande wa mfumo wa wakala (harness) umeelezwa katika kuelekeza wakala wa usimbaji kwenye Ollama na katika kujenga wakala wako mwenyewe wa OpenClaw.
Mipangilio miwili ya seva ni muhimu pindi wakala anapoanza kufanya kazi bila kusimamiwa. OLLAMA_KEEP_ALIVE hudhibiti muda ambao modeli hukaa kwenye kumbukumbu baada ya ombi la mwisho, na chaguo-msingi huiondoa baada ya dakika tano, kwa hivyo ombi linalofuata hulazimika kusubiri muda wote wa kupakia upya. Kwenye faili ya 25 GB bila GPU, pause hiyo ni ndefu kiasi cha kusababisha timeout. Weka OLLAMA_KEEP_ALIVE=-1 ili kuifanya ibaki kwenye kumbukumbu. OLLAMA_HOST=0.0.0.0:11434 hufanya API iweze kufikiwa kutoka kwa mashine nyingine, na haina uthibitishaji wa aina yoyote, kwa hivyo ifungue tu nyuma ya sheria ya firewall au mtandao wa kibinafsi.
Njia za kufeli, pamoja na ujumbe utakaouona
Uvutaji (pull) unashindwa mara moja. Error: pull model manifest: file does not exist inamaanisha kuwa tag hiyo haipo. Majina ya tag ni vibambo kamili, kwa hivyo nakili moja kutoka kwenye ukurasa wa maktaba badala ya kukisia suffix ya quantisation.
Model haitapakia. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) inamaanisha kuwa tag ni kubwa mno kwa mpango huu kama ulivyosanidiwa. Tumia quantisation ndogo zaidi, au punguza OLLAMA_CONTEXT_LENGTH, kwa sababu KV cache huhesabiwa ndani ya mahitaji hayo.
Hakuna jibu kwenye port 11434. curl: (7) Failed to connect to localhost port 11434 inamaanisha kuwa huduma haifanyi kazi, au haisikilizi mahali unapotarajia. Soma systemctl status ollama na journalctl -u ollama -n 50. Ikiwa pia uliianzisha ollama serve kwa mkono, nakala ya pili itafunga na kutoa Error: listen tcp 127.0.0.1:11434: bind: address already in use.
Inajibu, kwa polepole sana. Angalia ollama ps kabla ya kubadilisha kitu chochote. Mgao wowote wa CPU kwenye safu ya PROCESSOR kwenye mashine yenye GPU inamaanisha sehemu ya model imetoka nje ya VRAM, kwa hivyo punguza context au chukua quantisation ndogo zaidi. Kwenye mashine isiyo na GPU, polepole ni matokeo yanayotarajiwa na hakuna mpangilio unaoweza kurekebisha hilo.
Wakala anasahau maelekezo yake katikati ya kazi. Mazungumzo yamevuka dirisha la context na token za zamani zaidi zimeondolewa kimya kimya. Ongeza OLLAMA_CONTEXT_LENGTH, thibitisha na ollama ps kuwa model bado inatoshea, na ikiwa haitoshei tena, suluhisho ni mashine kubwa zaidi badala ya dirisha dogo.
Mahali ambapo modeli hii inasimama ikilinganishwa na njia mbadala
MoE ya 30B ni kitu kikubwa cha kuendesha kwa kazi ndogo. Ikiwa modeli ya 8B ya kawaida tayari inashughulikia kazi yako, itagharimu kidogo sana kuendesha na kupakia kwa sekunde chache, na Qwen 3 katika 8B na 27B kwenye VPS ndiyo kulinganisha moja kwa moja kwa uamuzi huo. Kwa uchunguzi mpana zaidi wa kile ambacho mpango fulani unaweza kushikilia, anza kutoka ni modeli zipi za AI unazoweza kujiendeshea mwenyewe. Ikiwa unapanga kuhudumia mawakala kadhaa kwa wakati mmoja badala ya mmoja, soma Ollama ikilinganishwa na vLLM kwanza. Ollama inaweza kuchakata maombi kwa modeli moja sambamba, lakini OLLAMA_NUM_PARALLEL inatolewa ikiwa 1, kwa hivyo bila marekebisho yoyote ombi la wakala wa pili husubiri kwenye foleni hadi la kwanza likamilike. Kwa modeli hii, kuongeza thamani hiyo hakusaidii pia: kuanzia Ollama v0.40.11 kiongozi wa ratiba (scheduler) hulazimisha usanifu wa nemotron_h_moe ambao tag hii inao kurudi kwenye ombi moja kwa wakati mmoja na kuingiza model architecture does not currently support parallel requests kwenye logi. Kwenye modeli zinazokubali kuongezwa, kufanya hivyo kunagharimu kumbukumbu: FAQ ya Ollama inasema RAM inayohitajika huongezeka kwa OLLAMA_NUM_PARALLEL mara OLLAMA_CONTEXT_LENGTH, kwa hivyo kwenye modeli kubwa, kuzidisha huko ndiko mahali ambapo usanidi wa mtumiaji mmoja huacha kuongezeka (scaling).
FAQ
Ni tag ipi ya Nemotron 3.5 Lightning ninayopaswa ku-pull kwenye Linux VPS?
Tumia nemotron-3.5-lightning:30b-a3b-q4_K_M. Ina ukubwa wa 25 GB, inabeba uwezo kamili wa 1M wa context, na ndiyo toleo ambalo pointers za latest, 30b, na 30b-a3b zilirejesha zilipoulizwa tarehe 25 Oktoba 2026, ingawa maktaba ilihamishia pointers hizo kwenye digest tofauti katikati ya Oktoba. Itaje kwa jina badala ya ku-pull latest, ili uchapishaji mpya wa pointer hiyo usibadilishe tabia ya agent wako bila wewe kugundua. Tags za mlx ni matoleo ya Apple silicon, kama ilivyo 30b-a3b-nvfp4, ambayo inashiriki digest ya 30b-a3b-mlx. Hazitakusaidia kwenye Linux.
Nemotron 3.5 Lightning inahitaji RAM kiasi gani?
NVIDIA haitoi takwimu rasmi ya kiwango cha chini cha kumbukumbu kwa matoleo ya Ollama, kwa hivyo pima badala ya kukadiria. Pull tag hiyo, endesha model mara moja, na usome ollama ps wakati imepakiwa: inaonyesha ukubwa unaotumiwa kihalisi na kama imekaa kwenye GPU au CPU. Ukubwa wa download, 25 GB kwa tag ya kawaida, ni kiwango cha chini kabisa, kwa sababu KV cache huongezwa juu yake na hukua kulingana na context window unayoweka. Ikiwa mpango ni mdogo sana, Ollama inakataa kwa kutoa model requires more system memory na kutaja namba zote mbili.
Je, ninaweza kuendesha Nemotron 3.5 Lightning kwenye VPS isiyo na GPU?
Ndiyo, ikiwa mpango una RAM ya kutosha kuhifadhi uzito (weights), na muundo wa MoE unasaidia kwa sababu ni takriban vigezo 3 kati ya bilioni 30 pekee vinavyokokotolewa kwa kila token. Kasi ndiyo changamoto. Bila GPU, model inategemea bandwidth ya kumbukumbu, kwa hivyo kuongeza vCPUs hakubadilishi matokeo kwa kiasi kikubwa. Endesha ollama run --verbose na prompt isiyobadilika, soma mstari wa eval rate, na ulinganishe namba hiyo na muda wa mwisho wa agent wako. Kwa kazi za batch za usiku mara nyingi inafaa. Kwa kazi yoyote ambayo mtu anasubiri jibu, mara nyingi haifai.
Kwa nini Ollama hainipi context window kamili ya 1M?
1M ni uwezo wa juu wa model, si chaguo-msingi la Ollama. Ollama hutumia window ndogo zaidi na hufuta token za zamani zaidi pindi mazungumzo yanapoizidi, bila kutoa error yoyote, jambo linaloonekana kama agent anasahau maelekezo yake mwenyewe. Weka OLLAMA_CONTEXT_LENGTH kwenye huduma ya systemd, au pitisha num_ctx kwa kila ombi. Iongeze kwa hatua na uangalie upya ollama ps kila mara, kwa sababu kumbukumbu ya KV cache huongezeka kulingana na window na inaweza kusukuma tabaka za model nje ya GPU.
Je, Nemotron 3.5 Lightning ni bure kwa matumizi ya kibiashara?
Kadi ya model ya NVIDIA inaiweka model hiyo chini ya leseni ya OpenMDW-1.1 na kuashiria kuwa iko tayari kwa matumizi ya kibiashara, kama ilivyothibitishwa tarehe 25 Oktoba 2026. Ukurasa wa maktaba ya Ollama unaweka lebo ya leseni inayokuja na download yake kama NVIDIA Open Model License Agreement, kwa hivyo soma zote mbili kabla ya kutegemea yoyote kati ya hizo. Hiyo inahusu uzito unaopakua na kuendesha wewe mwenyewe. Haizungumzii programu nyingine kwenye stack yako, kwa hivyo kagua leseni za agent harness na zana nyingine unazounganisha nayo kando, na usome kadi ya sasa ya model kabla ya kuitegemea kwa jambo lolote la kimkataba.