Nemotron 3.5 Lightning draaien op een VPS met Ollama
Installeer NVIDIA Nemotron 3.5 Lightning via Ollama op uw eigen server. Wij bespreken de benodigde RAM, de juiste pull-tag en of CPU-only prestaties volstaan voor agents.
Waar Nemotron 3.5 Lightning voor bedoeld is
Nemotron 3.5 Lightning is het open 30B mixture-of-experts-model van NVIDIA, uitgebracht in augustus 2026. Het is ontworpen voor agents die urenlang actief zijn in plaats van voor een enkel chatvenster. MoE (mixture-of-experts) betekent dat de gewichten zijn verdeeld over vele expert-subnetwerken, waarbij elke token slechts door een klein aantal daarvan wordt verwerkt. De modelkaart van NVIDIA vermeldt 30 miljard totale parameters, met 3 miljard actieve parameters per token. U betaalt voor het grote aantal in het geheugen, maar krijgt de snelheid van het kleine aantal terug.
Deze afweging is de reden om dit model te overwegen voor een gehuurde server. Een agent die daadwerkelijk werk verricht, verstuurt gedurende de dag duizenden korte verzoeken; de doorvoer per dollar bepaalt daarom of het model rendabel is op uw eigen infrastructuur. Een model dat 40 seconden per antwoord nodig heeft, is een bruikbare assistent maar een inefficiënte agent, omdat één taak twintig aanroepen kan vereisen en u op elk daarvan moet wachten.
NVIDIA omschrijft de architectuur als hybride: afwisselende Mamba-2- en MoE-lagen met geselecteerde attention-lagen. De modelkaart specificeert een maximale contextlengte van 1M tokens en een OpenMDW-1.1-licentie, wat betekent dat het model geschikt is voor commercieel gebruik. De primaire talen zijn Engels en code, met ondersteuning voor Spaans, Frans, Duits, Italiaans en Japans.
Artificial Analysis publiceerde in augustus 2026 lanceringsmetingen die bijna 670 output-tokens per seconde lieten zien op een pre-release DeepInfra-endpoint dat gebruikmaakte van de NVFP4-gewichten. Dit betreft een gehost GPU-endpoint. Beschouw dit als een indicatie van wat de architectuur toelaat, niet als een garantie voor de prestaties op uw eigen VPS.
Welke Ollama-tag past bij welke VPS
De Ollama-bibliotheek publiceert verschillende builds van dezelfde gewichten. Het verschil tussen deze builds is de kwantisatie, oftewel het aantal bits waarin elk gewicht wordt opgeslagen; dit heeft een grote invloed op de downloadgrootte.
De gegevens achter deze grafiek
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]De tags genaamd latest, 30b en 30b-a3b bevatten nu hun eigen digest, variërend van 19 tot 25 GB sinds de bibliotheek deze medio oktober 2026 heeft bijgewerkt. Bij een directe bevraging van het register op 25 oktober 2026 gaf die pointer exact dezelfde bestanden terug als 30b-a3b-q4_K_M. De standaarddownload op een VPS is dus de 25 GB vier-bits build met de volledige 1M context. De ondergrens van 19 GB in het vermelde bereik komt overeen met de MLX-builds, wat suggereert dat Apple silicon-machines deze krijgen toegewezen. Q8_0 is 35 GB en bf16 is 66 GB, beide eveneens op 1M. De MLX-builds van 19 GB zijn bedoeld voor Apple silicon en hebben een limiet van 256K context; dit is dus de verkeerde keuze voor een Linux VPS. De bibliotheek vermeldt ook 30b-mlx en 30b-a3b-nvfp4, die beide dezelfde digest hebben als 30b-a3b-mlx, ook al klinkt de tweede naam als die van NVIDIA, plus 30b-a3b-mxfp8 van 34 GB en 30b-a3b-mlx-bf16 van 66 GB. Al deze builds hebben een limiet van 256K, waardoor geen van deze u het volledige venster biedt.
Dit zijn downloadgroottes, geen geheugenvereisten. NVIDIA publiceert geen minimaal VRAM-cijfer (video RAM) voor de Ollama-builds; beschouw de downloadgrootte daarom slechts als een ondergrens. De gewichten moeten ergens in het geheugen worden geladen: in het GPU-geheugen als de kaart voldoende ruimte heeft, en anders in het systeem-RAM. De KV-cache (key/value cache, het geheugen van het model per token voor het gesprek) komt hier nog bovenop. Het werkelijke getal voor uw hardware komt voort uit een commando, niet uit een berekening, en staat hieronder. Als u nog niet heeft besloten welk kwantisatieniveau u wilt gebruiken, behandelt wat Q4, Q8 en FP16 elk kosten wat u bij elke stap inlevert.
Gebruik de exacte tag, nooit latest
latest is een bewegende aanwijzer. Wanneer de bibliotheek deze opnieuw publiceert, verandert het gedrag van uw agent bij de volgende pull, zonder dat uw aantekeningen verklaren waarom. Dit is bij dit model al eens gebeurd: medio oktober 2026 verplaatste de bibliotheek latest naar een nieuwe digest. Benoem de tag.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MHet installatiescript configureert een systemd-service die draait als de ollama-gebruiker en modellen opslaat onder /usr/share/ollama/.ollama/models. Dat pad bevindt zich op de root-filesystem op de meeste VPS-images; controleer daarom de beschikbare ruimte voordat u om 25 GB vraagt. Als dat bestandssysteem krap is, is waar Ollama zijn modellen opslaat en hoe u deze verplaatst het lezen waard vóór de pull, in plaats van nadat de schijf vol is.
df -h /usr/share/ollamaEen pull die halverwege stopt en no space left on device rapporteert, betekent precies dat; de gedeeltelijke blobs blijven op de schijf staan totdat u ze verwijdert. Bevestig daarna wat er is binnengehaald:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show toont de architectuur, het aantal parameters, de contextlengte en de kwantisatie die het bestand daadwerkelijk bevat. Als een van deze gegevens afwijkt van de pagina in de bibliotheek, heeft u een andere tag opgehaald dan u bedoelde.
Serveer het model en controleer waar het daadwerkelijk draait
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"Terwijl het model nog geladen is, opent u een tweede shell:
ollama psDit is het commando dat de geheugenvraag voor uw machine beantwoordt. ollama ps toont het geladen model, de grootte die het in het geheugen inneemt en een PROCESSOR-kolom. 100% GPU betekent dat het volledig in VRAM staat. 100% CPU betekent dat er niets in VRAM staat en dat elke token door de processor vanuit het systeem-RAM wordt berekend. Een verdeling zoals 65%/35% CPU/GPU betekent dat niet alle lagen in het geheugen pasten en dat het CPU-aandeel uw snelheid bepaalt. Schat de vereisten niet in. Laad het model en lees deze regel af.
Als het model helemaal niet kan laden, weigert Ollama dit op een nette manier in plaats van te crashen:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)Is een VPS met alleen een CPU snel genoeg?
Een VPS voor algemeen gebruik heeft geen GPU, dus de CPU voert al het werk uit en leest elk benodigd gewicht uit het systeem-RAM. MoE helpt hierbij, omdat er per token slechts ongeveer 3 miljard van de 30 miljard parameters worden aangesproken. De rekenkracht per token is daardoor veel kleiner dan bij een dense 30B-model. Het geheugen wordt echter niet ontlast. Alle 30 miljard parameters moeten in het geheugen blijven staan, omdat de router voor elk token een willekeurige expert kan kiezen.
Inference op basis van alleen de CPU wordt bij dit model daarom eerder beperkt door de geheugenbandbreedte dan door het aantal cores. Het toevoegen van vCPU's aan een abonnement dat al over een redelijk aantal beschikt, verandert weinig. Wat u nodig heeft, is voldoende RAM om de gewichten en uw KV-cache vast te houden, en het snelste geheugen dat het abonnement biedt.
Meet dit voordat u er een agent aan toewijst, met behulp van de methode in tokens per seconde meten voor een lokale LLM:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."De regel eval rate die aan het einde wordt geprint, is uw generatiesnelheid in tokens per seconde. Dat ene getal bepaalt het antwoord, omdat de doorlooptijd van een agent hierdoor wordt gedomineerd. Vermenigvuldig dit met de lengte van het antwoord dat u verwacht. Als het antwoord langer is dan de tijd die u wilt wachten, is de output beperken met num_predict de enige manier om een enkele aanroep te begrenzen zonder de hardware te wijzigen.
De gegevens achter deze grafiek
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]Dit zijn gepubliceerde cijfers van derden, omgerekend vanuit de minuten per taak die Artificial Analysis bij de lancering rapporteerde. Deze zijn gemeten op gehoste GPU-endpoints en niet op een VPS. Nemotron 3.5 Lightning deed er gemiddeld ongeveer 30 seconden over per taak, waarbij gpt-oss-120b ongeveer 204 in beslag nam en Qwen3.6 35B ongeveer 210. Gebruik deze cijfers om de verhoudingen in te schatten, niet als garantie voor uw eigen hardware.
De eerlijke richtlijn hangt ervan af wie wacht. Als iemand op de agent wacht of als de agent lange reeksen aanroepen direct na elkaar uitvoert, huurt u GPU-capaciteit. Als de agent 's nachts volgens een schema draait en niemand meekijkt, is een CPU-plan met veel RAM een redelijke keuze. In beide gevallen is de configuratie hetzelfde. Ollama op een VPS uitvoeren behandelt de keuze van het plan en vergelijkt een GPU-instantie met betalen per token aan een API-provider. Het omslagpunt is een gebruiksvraag: voor een GPU-instantie betaalt u elk uur dat deze bestaat, terwijl u voor API-tokens alleen betaalt wanneer u ze gebruikt. Een agent die het grootste deel van de dag actief is, maakt een eigen server daarom aantrekkelijker. Een agent die twee keer per uur wordt gestart meestal niet. De Ollama-software voegt aan geen van beide kostenposten iets toe, omdat u deze gratis kunt uitvoeren op een server die u huurt. waarvoor Ollama wel en niet kosten in rekening brengt legt uit welke plaats Ollama Cloud inneemt als u de hardware liever helemaal niet huurt.
De 1M context window is niet gratis
1M tokens is het maximum van het model, en Ollama stelt dit niet standaard voor u in. Ollama hanteert standaard een veel kleiner venster en verwijdert de oudste tokens zodra een gesprek deze limiet overschrijdt. Bij het standaard logniveau wordt niets gelogd wanneer dit gebeurt, waardoor het voor een agent lijkt alsof het model het begin van zijn eigen taak vergeet.
Stel het venster bewust in. Bewerk voor de gehele server de service:
sudo systemctl edit ollamaVoeg dit toe en voer vervolgens sudo systemctl restart ollama uit:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"Stuur per verzoek in plaats daarvan num_ctx mee in het options-object:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'Elke verhoging kost geheugen, omdat de KV cache groeit met het aantal tokens dat u toestaat. Verhoog de waarde, herstart en voer daarna opnieuw ollama ps uit om te zien hoe de gerapporteerde grootte toeneemt. Als de kolom PROCESSOR na die wijziging verspringt van 100% GPU naar een split, heeft de KV cache model-layers uit het VRAM verdrongen en zal uw snelheid aanzienlijk dalen. Het kiezen van num_ctx in Ollama behandelt deze afweging in detail. Stel niet zomaar 1000000 in omdat de modelkaart dit toestaat, aangezien de toewijzing vooraf plaatsvindt en de load simpelweg zal falen.
Integratie in een altijd actieve agent
De bibliotheekpagina van Ollama voor dit model documenteert een snelkoppeling die een ondersteunde agent start die al naar het model verwijst:
ollama launch claude --model nemotron-3.5-lightningDe pagina vermeldt claude, opencode, openclaw en hermes op die positie. Het subcommando vereist een recente versie van Ollama, dus controleer eerst ollama --version. Als deze ontbreekt, wijs de agent dan zelf naar de API. Ollama stelt een OpenAI-compatibel eindpunt beschikbaar, wat door de meeste agent-frameworks wordt geaccepteerd:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama negeert de sleutel, maar de meeste clients weigeren te starten zonder dat er een is ingesteld. De kant van het framework wordt behandeld in een coding agent naar Ollama wijzen en in uw eigen OpenClaw-agent bouwen.
Twee serverinstellingen zijn van belang zodra de agent onbeheerd draait. OLLAMA_KEEP_ALIVE bepaalt hoe lang een model in het geheugen blijft na het laatste verzoek. De standaardinstelling ontlaadt het model na vijf minuten, waardoor de volgende aanroep opnieuw de volledige laadtijd vereist. Bij een 25 GB bestand zonder GPU is die pauze lang genoeg om een time-out te veroorzaken. Stel OLLAMA_KEEP_ALIVE=-1 in om het model in het geheugen te houden. OLLAMA_HOST=0.0.0.0:11434 maakt de API bereikbaar vanaf andere machines. Aangezien deze geen enkele vorm van authenticatie bevat, mag u deze alleen openstellen achter een firewallregel of binnen een privénetwerk.
Foutmodi en de bijbehorende meldingen
De pull mislukt direct. Error: pull model manifest: file does not exist betekent dat de tag niet bestaat. Tagnamen zijn exacte strings; kopieer deze daarom van de bibliotheekpagina in plaats van te gokken op een kwantisatiesuffix.
Het model laadt niet. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) betekent dat de tag te groot is voor dit plan in de huidige configuratie. Stap over op een kleinere kwantisatie of verlaag OLLAMA_CONTEXT_LENGTH, omdat de KV-cache wordt meegeteld in die vereiste.
Er is geen antwoord op poort 11434. curl: (7) Failed to connect to localhost port 11434 betekent dat de service niet draait of niet luistert op de verwachte locatie. Lees systemctl status ollama en journalctl -u ollama -n 50. Als u ollama serve ook handmatig hebt gestart, sluit het tweede exemplaar af met Error: listen tcp 127.0.0.1:11434: bind: address already in use.
Het antwoord is erg traag. Controleer ollama ps voordat u instellingen wijzigt. Elk CPU-aandeel in de kolom PROCESSOR op een GPU-machine betekent dat een deel van het model buiten het VRAM is geplaatst; verlaag in dat geval de context of kies de kleinere kwantisatie. Op een machine zonder GPU is traagheid het verwachte resultaat en kan geen enkele instelling dit verhelpen.
De agent vergeet halverwege een taak de instructies. Het gesprek heeft het contextvenster overschreden en de oudste tokens zijn stilletjes verwijderd. Verhoog OLLAMA_CONTEXT_LENGTH, bevestig met ollama ps dat het model nog steeds past, en als dat niet meer het geval is, is de oplossing een krachtigere machine in plaats van een kleiner venster.
Waar dit model staat ten opzichte van de alternatieven
Een 30B MoE is een omvangrijk model om te hosten voor een kleine taak. Als een dense 8B-model uw taak al kan afhandelen, zijn de kosten voor uitvoering aanzienlijk lager en laadt het in seconden. Qwen 3 op 8B en 27B op een VPS biedt de directe vergelijking voor die beslissing. Voor een breder overzicht van wat een specifiek abonnement daadwerkelijk kan bevatten, begint u bij welke AI-modellen u zelf kunt hosten. Als u van plan bent om meerdere agents tegelijk te bedienen in plaats van één, lees dan eerst Ollama vergeleken met vLLM. Ollama kan verzoeken aan één model parallel verwerken, maar OLLAMA_NUM_PARALLEL wordt standaard geleverd op 1. Hierdoor wacht het verzoek van een tweede agent standaard in een wachtrij totdat het eerste verzoek is voltooid. Voor dit model helpt het verhogen hiervan evenmin: sinds Ollama v0.40.11 dwingt de scheduler de nemotron_h_moe-architectuur die dit label draagt terug naar één verzoek per keer en logt model architecture does not currently support parallel requests. Bij modellen die dit wel accepteren, kost verhoging extra geheugen: de FAQ van Ollama stelt dat het benodigde RAM-geheugen schaalt met OLLAMA_NUM_PARALLEL keer OLLAMA_CONTEXT_LENGTH. Bij een groot model is die vermenigvuldiging het punt waarop een opstelling voor één gebruiker stopt met schalen.
FAQ
Welke Nemotron 3.5 Lightning-tag moet ik ophalen op een Linux VPS?
Gebruik nemotron-3.5-lightning:30b-a3b-q4_K_M. Deze is 25 GB groot, bevat de volledige 1M maximale context en is de build waarnaar de latest, 30b en 30b-a3b pointers verwezen toen deze op 25 oktober 2026 werden opgevraagd, ook al heeft de bibliotheek die pointers medio oktober naar een aparte digest verplaatst. Benoem de tag expliciet in plaats van latest op te halen, zodat een toekomstige herpublicatie van die pointer het gedrag van uw agent niet ongemerkt kan veranderen. De mlx-tags zijn builds voor Apple silicon, net als 30b-a3b-nvfp4, die dezelfde 30b-a3b-mlx-digest deelt. Deze werken niet op Linux.
Hoeveel RAM heeft Nemotron 3.5 Lightning nodig?
NVIDIA publiceert geen minimaal geheugenvereiste voor de Ollama-builds, dus meet dit in plaats van te schatten. Haal de tag op, voer het model één keer uit en lees ollama ps terwijl het geladen is: dit toont de werkelijk gebruikte grootte en of het model in de GPU of de CPU is geladen. De downloadgrootte, 25 GB voor de standaardtag, is een ondergrens, omdat de KV-cache hier nog bovenop komt en groeit naarmate u de contextwindow vergroot. Als het abonnement te klein is, weigert Ollama met model requires more system memory en toont het beide getallen.
Kan ik Nemotron 3.5 Lightning draaien op een VPS zonder GPU?
Ja, mits het abonnement voldoende RAM heeft om de gewichten te bevatten. Het MoE-ontwerp helpt hierbij, omdat er per token slechts ongeveer 3 van de 30 miljard parameters worden berekend. De snelheid is het knelpunt. Zonder GPU wordt het model beperkt door de geheugenbandbreedte, waardoor het toevoegen van vCPU's nauwelijks invloed heeft op het resultaat. Voer ollama run --verbose uit met een vaste prompt, lees de eval rate-regel en beoordeel dat getal op basis van de deadline van uw agent. Voor een batchtaak 's nachts is dit vaak prima. Voor interactieve toepassingen waar een gebruiker op wacht, is dit meestal niet het geval.
Waarom geeft Ollama mij niet de volledige 1M contextwindow?
1M is het maximum van het model, niet de standaardinstelling van Ollama. Ollama hanteert een veel kleinere window en verwijdert de oudste tokens zodra een gesprek deze limiet overschrijdt, zonder foutmelding. Dit resulteert erin dat de agent zijn eigen instructies lijkt te vergeten. Stel OLLAMA_CONTEXT_LENGTH in op de systemd-service of geef num_ctx mee per verzoek. Verhoog dit in stappen en controleer telkens ollama ps, omdat het geheugengebruik van de KV-cache schaalt met de window en model-layers uit de GPU kan verdringen.
Is Nemotron 3.5 Lightning gratis voor commercieel gebruik?
De modelkaart van NVIDIA plaatst het model onder de OpenMDW-1.1-licentie en markeert het als geschikt voor commercieel gebruik, zoals gecontroleerd op 25 oktober 2026. De bibliotheekpagina van Ollama labelt de licentie die bij de download wordt geleverd als de NVIDIA Open Model License Agreement; lees beide voordat u op een van beide vertrouwt. Dit heeft betrekking op de gewichten die u downloadt en zelf uitvoert. Het zegt niets over de overige software in uw stack, dus controleer de licenties van de agent-harness en alle tools die u ermee verbindt afzonderlijk, en lees de huidige modelkaart voordat u dit voor contractuele doeleinden gebruikt.