Nemotron 3.5 Lightning sa VPS gamit ang Ollama
Alamin ang tamang Ollama tag para sa NVIDIA Nemotron 3.5 Lightning, kailangan nitong RAM, at kung sapat ang bilis ng CPU-only setup sa sarili mong server.
Para saan ang Nemotron 3.5 Lightning
Ang Nemotron 3.5 Lightning ay open 30B mixture-of-experts model ng NVIDIA na inilabas noong August 2026. Idinisenyo ito para sa mga agent na tumatakbo nang ilang oras, hindi lamang sa isang chat window. Ang MoE (mixture of experts) ay nangangahulugang hinahati ang weights sa maraming expert sub-network, at ilang sub-network lamang ang ginagamit sa bawat token. Ayon sa model card ng NVIDIA, mayroon itong kabuuang 30 billion parameters, ngunit 3 billion lamang ang active sa bawat token. Ang malaking bilang ay kailangan mong ilaan sa memory. Ang maliit na bilang naman ang nagbabalik ng mas mataas na speed.
Dahil sa trade-off na ito, sulit isaalang-alang ang model na ito para sa rented server. Ang agent na gumagawa ng aktuwal na trabaho ay nagpapadala ng libo-libong maiikling request sa loob ng isang araw. Kaya ang throughput per dollar ang nagpapasya kung kaya itong patakbuhin sa sarili mong server. Ang model na tumatagal ng 40 seconds bawat reply ay magagamit na assistant ngunit hindi mahusay na agent, dahil ang isang task ay maaaring mangailangan ng 20 call at kailangan mong hintayin ang bawat isa.
Inilalarawan ng NVIDIA ang architecture bilang hybrid: magkakahalong Mamba-2 at MoE layers na may piling attention layers. Ayon sa model card, umaabot sa 1M tokens ang maximum context length. Gumagamit ito ng OpenMDW-1.1 license na nakamarkang ready for commercial use. Pangunahing wika nito ang English at code. Nakalista rin ang Spanish, French, German, Italian, at Japanese.
Nag-publish ang Artificial Analysis ng launch measurements noong August 2026 na nagpapakitang halos 670 output tokens bawat segundo. Sinukat ito sa isang pre-release DeepInfra endpoint na naghahatid ng NVFP4 weights. Hosted GPU endpoint iyon. Ituring ang resultang ito bilang kakayahan ng architecture, hindi bilang performance na makukuha ng iyong VPS.
Aling Ollama tag ang angkop sa bawat VPS
Naglalabas ang Ollama library ng ilang build na gumagamit ng parehong weights. Ang nagkakaiba sa mga ito ay ang quantisation, o kung ilang bits ang ginagamit sa pag-store ng bawat weight. Malaki ang epekto nito sa download size.
Ang datos sa likod ng tsart na ito
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]Ang mga tag na latest, 30b at 30b-a3b ay mayroon na ngayong sarili nilang digest. Nakalista ang mga ito sa 19 hanggang 25 GB mula nang i-update ng library ang mga ito noong kalagitnaan ng October 2026. Nang direktang i-query ang registry noong October 25, 2026, eksaktong kaparehong mga file ng 30b-a3b-q4_K_M ang ibinalik ng pointer na iyon. Ibig sabihin, ang default download sa isang VPS ay ang 25 GB four-bit build na may buong 1M context. Ang pinakamababang 19 GB sa nakalistang range ay tumutugma sa MLX builds, kaya malamang na ang mga iyon ang ibinibigay sa mga Apple silicon machine. Ang Q8_0 ay 35 GB at ang bf16 ay 66 GB; parehong may 1M context. Ang MLX builds na 19 GB ay para sa Apple silicon at nililimitahan sa 256K context, kaya maling piliin ang mga ito sa Linux VPS. Nakalista rin sa library ang 30b-mlx at 30b-a3b-nvfp4. Pareho silang may kaparehong digest ng 30b-a3b-mlx kahit parang NVIDIA ang ikalawang format name. Mayroon ding 30b-a3b-mxfp8 na 34 GB at 30b-a3b-mlx-bf16 na 66 GB. Nililimitahan din ang lahat ng ito sa 256K context, kaya wala sa mga ito ang nagbibigay ng buong context window.
Ang mga iyon ay download size, hindi memory requirement. Hindi naglalathala ang NVIDIA ng minimum VRAM (video RAM) para sa Ollama builds. Ituring lamang na floor ang download size, hindi bilang aktuwal na kinakailangang memory. Kailangang manatili ang weights sa memory: sa GPU memory kung sapat ang kapasidad ng card, at sa system RAM kung hindi. Idinadagdag pa rito ang KV cache (key/value cache, ang per-token memory ng model para sa conversation). Ang totoong value para sa hardware mo ay makukuha sa isang command, hindi sa arithmetic, at makikita ito sa ibaba. Kung hindi ka pa nakakapili ng quantisation level, ipinapaliwanag sa kung magkano ang kapalit ng Q4, Q8 at FP16 ang nawawala sa bawat hakbang.
Kunin ang eksaktong tag, huwag ang latest
Ang latest ay isang nagbabagong pointer. Kapag muli itong inilabas ng library, magbabago ang behavior ng agent mo sa susunod na pull kahit walang tala sa notes mo na nagpapaliwanag kung bakit. Nangyari na ito dati sa model na ito: noong kalagitnaan ng Oktubre 2026, inilipat ng library ang latest sa bagong digest. Tukuyin ang tag.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MNagse-set up ang install script ng systemd service na tumatakbo bilang user na ollama at nag-iimbak ng mga model sa /usr/share/ollama/.ollama/models. Nasa root filesystem ang path na iyon sa karamihan ng VPS image, kaya tingnan muna kung may sapat na espasyo bago humingi ng 25 GB. Kung kapos ang filesystem na iyon, makatutulong basahin ang kung saan iniimbak ng Ollama ang mga model nito at kung paano ilipat ang mga ito bago ang pull, sa halip na pagkatapos mapuno ang disk.
df -h /usr/share/ollamaAng pull na humihinto sa kalagitnaan at nag-uulat ng no space left on device ay nangangahulugang eksakto iyon, at mananatili sa disk ang mga bahagyang blob hanggang burahin mo ang mga ito. Pagkatapos, kumpirmahin kung ano ang na-download:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_MIpinapakita ng ollama show ang architecture, bilang ng parameter, context length, at quantisation na aktuwal na dala ng file. Kung may alinman sa mga iyon na hindi tugma sa library page, ibang tag ang na-pull mo kaysa sa nilayon mo.
Patakbuhin ito, at tingnan kung saan talaga ito tumakbo
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"Habang naka-load pa ang model, magbukas ng pangalawang shell:
ollama psIto ang command na sumasagot sa tanong tungkol sa memory ng iyong machine. Ipinapakita ng ollama ps ang naka-load na model, ang laki ng memory na ginagamit nito, at isang column na PROCESSOR. Ibig sabihin ng 100% GPU, nasa VRAM ang buong model. Ibig sabihin ng 100% CPU, walang bahagi nito sa VRAM at kino-compute ng processor ang bawat token mula sa system RAM. Ang hatian gaya ng 65%/35% CPU/GPU ay nangangahulugang hindi nagkasya ang lahat ng layer, kaya ang bahaging pinapatakbo ng CPU ang nagtatakda ng bilis. Huwag tantiyahin ang requirement. I-load ito at basahin ang linyang ito.
Kung hindi talaga ito ma-load, maayos na tumatanggi ang Ollama sa halip na mag-crash:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)Sapat na ba ang CPU-only VPS?
Walang GPU ang general purpose VPS, kaya CPU ang gumagawa ng lahat ng trabaho at binabasa nito mula sa system RAM ang bawat weight na kailangan nito. Nakakatulong dito ang MoE dahil humigit-kumulang 3 bilyon lamang sa 30 bilyong parameter ang ginagamit sa bawat token. Dahil dito, mas maliit ang arithmetic na kailangan sa bawat token kaysa sa isang dense 30B model. Hindi naman nababawasan ang kailangan na memory. Kailangang manatiling nasa memory ang lahat ng 30 bilyong parameter dahil maaaring pumili ang router ng anumang expert para sa anumang token.
Dahil dito, ang CPU-only inference sa model na ito ay nalilimitahan ng memory bandwidth, hindi ng bilang ng core. Kaunti lamang ang pagbabago kapag nagdagdag ka ng vCPU sa plan na mayroon nang sapat na bilang ng vCPU. Kailangan mo ng sapat na RAM para sa weights at KV cache, pati na ng pinakamabilis na memory na iniaalok ng plan.
Sukatin muna ito bago mo italaga rito ang isang agent, gamit ang paraang nasa pagsukat ng tokens per second para sa isang lokal na LLM:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."Ang eval rate line na naka-print sa dulo ang generation speed mo sa tokens per second. Ang iisang numerong ito ang sumasagot sa tanong dahil dito pangunahing nakadepende ang wall-clock time ng isang agent. I-multiply ito sa haba ng reply na inaasahan mo. Kung mas mahaba ang resulta kaysa sa kaya mong hintayin, ang pag-limit sa output gamit ang num_predict ang isang paraan para malimitahan ang tagal ng isang call nang hindi binabago ang hardware.
Ang datos sa likod ng tsart na ito
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]Mga inilathalang third-party figure ang mga ito, na kinonvert mula sa per-task minutes na iniulat ng Artificial Analysis noong inilunsad ang model. Sinukat ang mga ito sa hosted GPU endpoints, hindi sa isang VPS. May average na humigit-kumulang 30 segundo bawat task ang Nemotron 3.5 Lightning. Umabot sa humigit-kumulang 204 ang gpt-oss-120b, at humigit-kumulang 210 naman ang Qwen3.6 35B. Gamitin ang mga ito para makita ang laki ng agwat, hindi bilang pangako tungkol sa hardware mo.
Nakadepende ang praktikal na gabay sa kung sino ang naghihintay. Kung may taong naghihintay sa agent, o sunod-sunod na mahahabang call ang ginagawa ng agent, mag-rent ng GPU capacity. Kung tumatakbo ito ayon sa schedule tuwing gabi at walang naghihintay dito, makatuwirang gamitin ang CPU plan na may malaking RAM. Pareho ang setup sa alinmang opsyon, at ipinapaliwanag ng pagpapatakbo ng Ollama sa isang VPS ang tamang plan sizing at kung paano ikumpara ang GPU instance sa pagbabayad sa isang API provider kada token. Ang break-even ay nakadepende sa utilisation: naniningil ang GPU instance sa bawat oras na umiiral ito, samantalang naniningil ang API tokens kapag ginagamit lamang. Kaya mas pabor sa sarili mong server ang agent na abala halos buong araw, habang karaniwang hindi sulit ang server para sa agent na tumatakbo nang dalawang beses bawat oras. Walang idinadagdag na gastos ang Ollama software sa alinmang panig ng kalkulasyong ito dahil libre itong patakbuhin sa rented server. Ipinapaliwanag naman ng kung saan naniningil ang Ollama at kung saan hindi kung paano umaangkop ang Ollama Cloud kung ayaw mong mag-rent ng hardware.
Ang 1M na context window ay hindi libre
Ang 1M tokens ang maximum ng model, at hindi ito awtomatikong ibinibigay ng Ollama. Mas maliit na default window ang ginagamit ng Ollama at inaalis nito ang pinakamatatandang token kapag lumampas dito ang isang conversation. Walang nire-record sa default log level kapag nangyari ito, kaya para sa isang agent ay parang nakalimutan ng model ang simula ng sarili nitong task.
Itakda ang window nang sinasadya. Para sa buong server, i-edit ang service:
sudo systemctl edit ollamaIdagdag ito, pagkatapos ay patakbuhin ang sudo systemctl restart ollama:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"Para sa bawat request, sa halip ay ipadala ang num_ctx sa options object:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'Bawat pagtaas ay kumokonsumo ng memory dahil lumalaki ang KV cache kasabay ng bilang ng mga token na pinapayagan mo. Taasan ang value, i-restart, pagkatapos ay patakbuhin muli ang ollama ps at obserbahan kung tumataas ang iniulat na size. Kung magbago ang PROCESSOR column mula 100% GPU tungo sa split pagkatapos ng pagbabagong iyon, itinulak ng KV cache palabas ng VRAM ang ilang model layer kaya malaki ang ibabagsak ng speed. Detalyadong ipinapaliwanag ng Pagpili ng num_ctx sa Ollama ang trade-off na ito. Huwag magtakda ng 1000000 dahil lamang pinapayagan ito ng model card, dahil ginagawa agad ang allocation at basta mabibigo ang load.
Pagkonekta rito sa isang agent na palaging tumatakbo
Idinodokumento ng library page ng Ollama para sa model na ito ang shortcut na nagsisimula ng suportadong agent na nakaturo na rito:
ollama launch claude --model nemotron-3.5-lightningInililista ng page ang claude, opencode, openclaw at hermes sa posisyong iyon. Nangangailangan ang subcommand ng kasalukuyang Ollama, kaya suriin muna ang ollama --version. Kung wala ito, ikaw mismo ang magturo sa agent sa API. Naglalantad ang Ollama ng endpoint na compatible sa OpenAI, na tinatanggap ng karamihan ng agent harness:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaBinabalewala ng Ollama ang key, pero karamihan ng client ay hindi magsisimula kung walang nakatakdang key. Tinalakay ang bahagi ng harness sa pagtuturo sa coding agent na gumamit ng Ollama at sa pagbuo ng sarili mong OpenClaw agent.
Dalawang server setting ang mahalaga kapag unattended na tumatakbo ang agent. Kinokontrol ng OLLAMA_KEEP_ALIVE kung gaano katagal mananatili sa memory ang model matapos ang huling request. Sa default, ina-unload ito pagkalipas ng limang minuto, kaya muling magbabayad ang susunod na call ng buong load time. Sa isang 25 GB na file na walang GPU, sapat ang tagal ng pause na iyon para lumampas sa timeout. Itakda ang OLLAMA_KEEP_ALIVE=-1 upang manatili ito sa memory. Ginagawang reachable ng OLLAMA_HOST=0.0.0.0:11434 ang API mula sa ibang machine. Wala itong anumang authentication, kaya buksan lamang ito sa likod ng firewall rule o sa private network.
Mga failure mode, kasama ang mga string na makikita mo
Agad na nagfa-fail ang pull. Ibig sabihin ng Error: pull model manifest: file does not exist ay hindi umiiral ang tag na iyon. Eksaktong string ang mga tag name, kaya kumopya ng isa mula sa library page sa halip na manghula ng quantisation suffix.
Hindi naglo-load ang model. Ibig sabihin ng Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) ay masyadong malaki ang tag para sa plan na ito ayon sa kasalukuyang configuration. Gumamit ng mas maliit na quantisation, o babaan ang OLLAMA_CONTEXT_LENGTH, dahil kasama sa requirement na iyon ang KV cache.
Walang sumasagot sa port 11434. Ibig sabihin ng curl: (7) Failed to connect to localhost port 11434 ay hindi tumatakbo ang service, o hindi ito nakikinig sa inaasahang address. Basahin ang systemctl status ollama at journalctl -u ollama -n 50. Kung sinimulan mo rin nang mano-mano ang ollama serve, lalabas ang ikalawang copy na may Error: listen tcp 127.0.0.1:11434: bind: address already in use.
Sumasagot ito, pero napakabagal. Suriin muna ang ollama ps bago magbago ng anuman. Anumang CPU share sa column na PROCESSOR sa isang GPU machine ay nangangahulugang may bahagi ng model na lumampas sa VRAM, kaya babaan ang context o gamitin ang mas maliit na quantisation. Sa machine na walang GPU, inaasahan ang mabagal na performance at walang setting na makakapag-ayos nito.
Nakakalimutan ng agent ang mga instruction nito habang isinasagawa ang task. Lumampas ang conversation sa context window, kaya tahimik na itinapon ang mga pinakamatandang token. Itaas ang OLLAMA_CONTEXT_LENGTH, at kumpirmahin gamit ang ollama ps na kasya pa rin ang model. Kung hindi na ito kasya, mas malaking machine ang kailangan sa halip na mas maliit na window.
Kung saan pumapagitna ang modelong ito kumpara sa mga alternatibo
Malaki ang kailangang i-host na 30B MoE para sa isang maliit na job. Kung kaya na ng dense 8B model ang iyong task, mas mababa ang gastos nito sa pag-run at ilang segundo lang ang pag-load. Para sa direktang paghahambing sa desisyong ito, basahin ang Qwen 3 sa 8B at 27B sa isang VPS. Para sa mas malawak na pagsusuri sa aktuwal na kayang i-hold ng isang plan, magsimula sa kung aling mga AI model ang maaari mong i-self-host. Kung plano mong mag-serve ng ilang agent nang sabay-sabay sa halip na isa lang, basahin muna ang paghahambing ng Ollama at vLLM. Kayang magproseso ng Ollama ng mga request nang parallel para sa isang model, pero ang OLLAMA_NUM_PARALLEL ay may value na 1 bilang default. Kaya sa out-of-the-box na setup, maghihintay sa queue ang request ng ikalawang agent hanggang matapos ang una. Para sa modelong ito, hindi rin makatutulong ang pagtaas ng value nito: simula sa Ollama v0.40.11, pinipilit ng scheduler na gawing one request at a time ang nemotron_h_moe architecture na dala ng tag na ito, at nilo-log nito ang model architecture does not currently support parallel requests. Sa mga modelong tumatanggap nito, may kapalit na memory ang pagtaas ng value: ayon sa FAQ ng Ollama, ang kinakailangang RAM ay nagso-scale nang OLLAMA_NUM_PARALLEL times OLLAMA_CONTEXT_LENGTH. Kaya sa malaking model, nasa multiplication na ito nagtatapos ang pag-scale ng isang setup para sa iisang user.
FAQ
Aling Nemotron 3.5 Lightning tag ang dapat kong i-pull sa Linux VPS?
Gamitin ang nemotron-3.5-lightning:30b-a3b-q4_K_M. Ito ay 25 GB, kasama ang buong 1M maximum context, at ito ang build na ibinalik ng mga pointer na latest, 30b at 30b-a3b nang i-query ang mga ito noong October 25, 2026, kahit inilipat ng library ang mga pointer na iyon sa hiwalay na digest noong kalagitnaan ng October. Tukuyin ito nang tahasan sa halip na i-pull ang latest, upang hindi mabago ng muling pag-publish ng pointer na iyon sa hinaharap ang behavior ng agent mo nang hindi mo napapansin. Ang mga tag na mlx ay mga build para sa Apple silicon, at ganoon din ang 30b-a3b-nvfp4, na gumagamit ng 30b-a3b-mlx digest. Hindi makatutulong ang mga ito sa Linux.
Gaano karaming RAM ang kailangan ng Nemotron 3.5 Lightning?
Hindi naglalabas ang NVIDIA ng minimum memory figure para sa mga Ollama build, kaya sukatin ito sa halip na tantiyahin. I-pull ang tag, patakbuhin ang model nang isang beses, at basahin ang ollama ps habang naka-load ito: ipinapakita nito ang aktuwal na laki ng memory na ginagamit at kung napunta ito sa GPU o CPU. Ang download size na 25 GB para sa default tag ay minimum lamang, dahil idinadagdag ang KV cache at lumalaki ito batay sa context window na itinakda mo. Kung masyadong maliit ang plan, tatanggi ang Ollama gamit ang model requires more system memory at ipapakita nito ang dalawang value.
Maaari ko bang patakbuhin ang Nemotron 3.5 Lightning sa VPS na walang GPU?
Oo, kung sapat ang RAM ng plan para hawakan ang weights. Nakakatulong ang MoE design dahil humigit-kumulang 3 lamang sa 30 billion parameters ang kino-compute para sa bawat token. Ang limitasyon ay speed. Kapag walang GPU, memory bandwidth ang naglilimita sa model, kaya kaunti lamang ang naidudulot ng pagdagdag ng vCPU sa resulta. Patakbuhin ang ollama run --verbose gamit ang fixed prompt, basahin ang linya ng eval rate, at ihambing ang value na iyon sa deadline ng agent mo. Para sa batch job na pinapatakbo overnight, madalas ay sapat ito. Para sa anumang hinihintay ng isang tao, karaniwan ay hindi.
Bakit hindi ibinibigay sa akin ng Ollama ang buong 1M context window?
Ang 1M ay maximum ng model, hindi default ng Ollama. Naglalapat ang Ollama ng mas maliit na window at itinatapon ang pinakamatatandang token kapag lumampas dito ang conversation. Walang error na ipinapakita, kaya nagmumukhang nakalimutan ng agent ang sarili nitong instructions. Itakda ang OLLAMA_CONTEXT_LENGTH sa systemd service, o ipasa ang num_ctx sa bawat request. Dagdagan ito nang paunti-unti at suriin muli ang ollama ps sa bawat pagbabago, dahil tumataas ang KV cache memory kasabay ng window at maaaring mailipat ang ilang model layer palabas ng GPU.
Libre bang gamitin ang Nemotron 3.5 Lightning para sa komersiyal na gamit?
Inilalagay ng NVIDIA model card ang model sa ilalim ng OpenMDW-1.1 license at minamarkahan itong handa para sa komersiyal na paggamit, batay sa pagsusuri noong October 25, 2026. Nilalagyan naman ng library page ng Ollama ang license na kasama sa download nito bilang NVIDIA Open Model License Agreement, kaya basahin ang dalawang ito bago umasa sa alinman sa mga ito. Saklaw nito ang weights na ikaw mismo ang nagda-download at nagpapatakbo. Wala itong sinasabi tungkol sa ibang software sa stack mo, kaya suriin nang hiwalay ang mga license ng agent harness at anumang tool na ikinokonekta mo rito. Basahin din ang kasalukuyang model card bago umasa rito para sa anumang bagay na may kontraktuwal na epekto.