SSD Nodes Learn Hosting plans →
Guide Matt ConnorDi Matt Connor · Aggiornato 2026-10-26

Nemotron 3.5 Lightning su VPS: guida a Ollama

Scopri il tag Ollama esatto per Nemotron 3.5 Lightning, quanta RAM richiede un VPS e se le prestazioni in sola CPU sono abbastanza rapide.

A cosa serve Nemotron 3.5 Lightning

Nemotron 3.5 Lightning è il modello open di NVIDIA con architettura mixture-of-experts da 30B parametri, rilasciato nell'agosto 2026. È progettato per agenti che rimangono in esecuzione per ore, non per una singola sessione di chat. MoE (mixture of experts) significa che i pesi sono suddivisi in molte sottoreti esperte e che ogni token viene instradato soltanto attraverso alcune di esse. La scheda del modello indica 30 miliardi di parametri totali, di cui 3 miliardi attivi per token. In memoria si paga il numero più grande. In termini di velocità si ottiene il numero più piccolo.

È proprio questo compromesso a rendere il modello interessante per un server noleggiato. Un agente che svolge attività reali invia migliaia di richieste brevi nell'arco della giornata. Per questo, il throughput per unità di costo determina se il modello può essere eseguito sul proprio server. Un modello che impiega 40 secondi per ogni risposta è un assistente utilizzabile, ma un agente poco efficace: una singola attività può richiedere venti chiamate e bisogna attendere ciascuna di esse.

NVIDIA descrive l'architettura come ibrida: livelli Mamba-2 e MoE intercalati, con alcuni livelli di attenzione. La scheda del modello indica una lunghezza massima del contesto fino a 1M token e una licenza OpenMDW-1.1, contrassegnata come pronta per l'uso commerciale. Le lingue principali sono l'inglese e i linguaggi di programmazione; sono inoltre elencati spagnolo, francese, tedesco, italiano e giapponese.

Artificial Analysis ha pubblicato nell'agosto 2026 misurazioni relative al lancio che mostrano quasi 670 token di output al secondo, su un endpoint DeepInfra in pre-release che forniva i pesi NVFP4. Si tratta di un endpoint GPU gestito da un provider. Il dato indica ciò che l'architettura consente di ottenere, non le prestazioni che si possono aspettare da un VPS.

Quale tag di Ollama è adatto a ciascun VPS

La libreria Ollama pubblica diverse build degli stessi pesi. La differenza è la quantizzazione, cioè il numero di bit usati per memorizzare ciascun peso. Questo modifica notevolmente la dimensione del download.

GraficoDownload size by Ollama tag, GB (Ollama library, checked October 2026)
I dati alla base di questo grafico
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

I tag denominati latest, 30b e 30b-a3b hanno ora un digest proprio e sono indicati con dimensioni comprese tra 19 e 25 GB, dopo l'aggiornamento della libreria a metà ottobre 2026. Interrogato direttamente dal registry il 25 ottobre 2026, quel puntatore ha restituito esattamente gli stessi file di 30b-a3b-q4_K_M. Pertanto, il download predefinito su un VPS è la build a quattro bit da 25 GB con il contesto completo da 1M. Il limite inferiore di 19 GB dell'intervallo indicato corrisponde alle build MLX, il che suggerisce che queste vengano assegnate alle macchine con Apple silicon. Q8_0 occupa 35 GB e bf16 occupa 66 GB; entrambe usano un contesto da 1M. Le build MLX da 19 GB sono destinate ad Apple silicon e si fermano a un contesto di 256K, quindi sono la scelta sbagliata su un VPS Linux. La libreria elenca anche 30b-mlx e 30b-a3b-nvfp4, che hanno entrambi lo stesso digest di 30b-a3b-mlx, anche se il nome del secondo formato richiama quello di NVIDIA, oltre a 30b-a3b-mxfp8 da 34 GB e 30b-a3b-mlx-bf16 da 66 GB. Anche tutte queste build si fermano a 256K, quindi nessuna offre l'intera finestra di contesto.

Queste sono dimensioni del download, non un requisito di memoria. NVIDIA non pubblica una quantità minima di VRAM (memoria video) per le build Ollama. Considera quindi la dimensione del download soltanto come un valore minimo indicativo. I pesi devono risiedere da qualche parte: nella memoria della GPU, se la scheda è in grado di contenerli, oppure nella RAM di sistema. A questi si aggiunge la KV cache (cache key/value, cioè la memoria che il modello usa per token per conservare la conversazione). Il valore reale per il tuo hardware deriva da un comando, non da un calcolo, ed è riportato di seguito. Se non hai ancora scelto il livello di quantizzazione, quanto costano Q4, Q8 e FP16 spiega a cosa si rinuncia a ogni passaggio.

Scaricare il tag esatto, mai latest

latest è un puntatore mobile. Quando la libreria lo ripubblica, il comportamento dell'agente cambia al pull successivo, senza che nelle note ci sia nulla che spieghi il motivo. È già successo una volta con questo modello: a metà ottobre 2026 la libreria ha spostato latest su un nuovo digest. Specificare il tag.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

Lo script di installazione configura un servizio systemd eseguito dall'utente ollama e mantiene i modelli in /usr/share/ollama/.ollama/models. Nella maggior parte delle immagini VPS, quel percorso si trova sul filesystem root. Verificare quindi lo spazio disponibile prima di richiedere 25 GB. Se il filesystem è quasi pieno, conviene leggere dove Ollama memorizza i modelli e come spostarli prima del pull, non dopo che il disco si è riempito.

df -h /usr/share/ollama

Un pull che si interrompe a metà e restituisce no space left on device indica esattamente questo. I blob parziali restano sul disco finché non vengono eliminati. Verificare quindi che cosa è stato scaricato:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show stampa l'architettura, il numero di parametri, la lunghezza del contesto e la quantizzazione effettivamente contenuta nel file. Se uno di questi valori non corrisponde alla pagina della libreria, è stato scaricato un tag diverso da quello previsto.

Avvialo e verifica dove è stato effettivamente eseguito

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Mentre il modello è ancora caricato, apri una seconda shell:

ollama ps

Questo comando risponde alla domanda sulla memoria per la tua macchina. ollama ps mostra il modello caricato, lo spazio che occupa in memoria e una colonna PROCESSOR. 100% GPU indica che il modello è interamente nella VRAM. 100% CPU indica che non lo è affatto e che ogni token viene elaborato dal processore usando la RAM di sistema. Un valore suddiviso, come 65%/35% CPU/GPU, indica che i layer non entrano tutti nella VRAM e che la quota elaborata dalla CPU determina la velocità. Non stimare il requisito. Carica il modello e leggi questa riga.

Se il modello non può essere caricato, Ollama rifiuta l'operazione in modo pulito invece di terminare in modo anomalo:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

È abbastanza veloce una VPS con solo CPU?

Una VPS per uso generico non dispone di GPU, quindi tutto il lavoro viene eseguito dalla CPU, che legge dalla RAM di sistema ogni peso necessario. MoE è utile in questo caso, perché per ogni token vengono utilizzati soltanto circa 3 miliardi dei 30 miliardi di parametri. Il calcolo per token è quindi molto inferiore rispetto a quello richiesto da un modello denso da 30B. La memoria, invece, non trae alcun vantaggio. Tutti i 30 miliardi di parametri devono rimanere residenti, perché il router può selezionare qualsiasi esperto per qualsiasi token.

L'inferenza solo CPU su questo modello è quindi limitata dalla larghezza di banda della memoria, non dal numero di core. Aggiungere vCPU a un piano che ne dispone già di un numero adeguato cambia molto poco. Servono abbastanza RAM per contenere i pesi e la cache KV, oltre alla memoria più veloce disponibile nel piano.

Misura le prestazioni prima di assegnargli un agente, usando il metodo descritto in misurare i token al secondo per un LLM locale:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

La riga eval rate stampata alla fine indica la velocità di generazione in token al secondo. Questo valore determina la risposta, perché il tempo reale di esecuzione di un agente dipende soprattutto da esso. Moltiplicalo per la lunghezza della risposta prevista. Se il risultato supera il tempo che sei disposto ad attendere, limitare l'output con num_predict è il modo più diretto per porre un limite a una singola chiamata senza modificare l'hardware.

GraficoAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
I dati alla base di questo grafico
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

Si tratta di dati pubblicati da terze parti, convertiti dai minuti per attività riportati da Artificial Analysis al momento del lancio. Le misurazioni sono state eseguite su endpoint GPU ospitati, non su una VPS. Nemotron 3.5 Lightning ha registrato in media circa 30 secondi per attività; gpt-oss-120b ha richiesto circa 204, mentre Qwen3.6 35B circa 210. Usali per valutare l'ordine di grandezza della differenza, non come garanzia per il tuo hardware.

La scelta dipende da chi deve attendere. Se ad attendere l'agente è una persona, oppure se l'agente esegue lunghe catene di chiamate consecutive, conviene noleggiare capacità GPU. Se invece viene eseguito durante la notte secondo una pianificazione e nessuno ne controlla l'avanzamento, un piano CPU con molta RAM è una soluzione ragionevole. In entrambi i casi la configurazione è la stessa. eseguire Ollama su una VPS descrive il dimensionamento del piano e il confronto tra un'istanza GPU e il pagamento di un provider API in base ai token. Il punto di pareggio dipende dall'utilizzo: un'istanza GPU viene fatturata per ogni ora in cui rimane attiva, mentre i token API vengono fatturati soltanto quando vengono utilizzati. Un agente attivo per gran parte della giornata favorisce quindi la macchina che gestisci direttamente; un agente che si attiva due volte all'ora, in genere, no. Il software Ollama non aggiunge costi a nessuna delle due opzioni, perché può essere eseguito gratuitamente su un server noleggiato. cosa addebita Ollama e cosa non addebita spiega inoltre quale ruolo può avere Ollama Cloud se preferisci non noleggiare direttamente l'hardware.

La finestra di contesto da 1M non è gratuita

1M token è il limite massimo del modello, ma Ollama non lo assegna per impostazione predefinita. Ollama usa una finestra predefinita molto più piccola ed elimina i token più vecchi quando una conversazione la supera. Al livello di logging predefinito non viene registrato alcun evento, quindi per un agente sembra che il modello abbia dimenticato l'inizio della propria attività.

Imposta esplicitamente la finestra. Per l'intero server, modifica il servizio:

sudo systemctl edit ollama

Aggiungi questa configurazione, quindi esegui sudo systemctl restart ollama:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Per una singola richiesta, invia invece num_ctx nell'oggetto delle opzioni:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

Ogni aumento richiede più memoria, perché la cache KV cresce in base al numero di token consentiti. Aumenta il valore, riavvia il servizio, quindi esegui di nuovo ollama ps e osserva l'aumento della dimensione indicata. Se, dopo questa modifica, la colonna PROCESSOR passa da 100% GPU a una configurazione suddivisa, la cache KV ha spostato i layer del modello fuori dalla VRAM e la velocità diminuirà drasticamente. Scelta di num_ctx in Ollama descrive in dettaglio questo compromesso. Non impostare 1000000 solo perché la model card lo consente: l'allocazione avviene all'avvio e il caricamento fallisce.

Integrazione in un agente sempre attivo

La pagina della libreria Ollama per questo modello documenta una scorciatoia che avvia un agente supportato già configurato per usarlo:

ollama launch claude --model nemotron-3.5-lightning

La pagina elenca claude, opencode, openclaw e hermes in quella posizione. Il sottocomando richiede una versione aggiornata di Ollama, quindi controllare prima ollama --version. Se non è disponibile, configurare manualmente l'agente per usare l'API. Ollama espone un endpoint compatibile con OpenAI, accettato dalla maggior parte dei framework per agenti:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama ignora la chiave, ma la maggior parte dei client non si avvia se non ne viene impostata una. La configurazione del framework è descritta in configurare un agente di coding per usare Ollama e in creare un agente OpenClaw personalizzato.

Quando l'agente viene eseguito senza supervisione, sono importanti due impostazioni del server. OLLAMA_KEEP_ALIVE controlla per quanto tempo un modello rimane in memoria dopo l'ultima richiesta. Il valore predefinito lo scarica dopo cinque minuti, quindi la richiesta successiva deve attendere nuovamente l'intero caricamento. Con un file da 25 GB e senza GPU, questa pausa è abbastanza lunga da causare il superamento di un timeout. Impostare OLLAMA_KEEP_ALIVE=-1 per mantenerlo residente. OLLAMA_HOST=0.0.0.0:11434 rende l'API raggiungibile da altri computer e non applica alcuna autenticazione, quindi abilitarlo solo dietro una regola firewall o su una rete privata.

Modalità di errore e stringhe visualizzate

Il pull fallisce immediatamente. Error: pull model manifest: file does not exist indica che il tag non esiste. I nomi dei tag sono stringhe esatte. Copiane uno dalla pagina della libreria invece di indovinare il suffisso della quantizzazione.

Il modello non viene caricato. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) indica che, con la configurazione attuale, il tag è troppo grande per questo piano. Passa a una quantizzazione più piccola oppure riduci OLLAMA_CONTEXT_LENGTH, perché la cache KV rientra in questo requisito.

La porta 11434 non risponde. curl: (7) Failed to connect to localhost port 11434 indica che il servizio non è in esecuzione oppure non è in ascolto sull'indirizzo previsto. Leggi systemctl status ollama e journalctl -u ollama -n 50. Se hai avviato manualmente anche ollama serve, la seconda istanza termina con Error: listen tcp 127.0.0.1:11434: bind: address already in use.

Risponde, ma molto lentamente. Controlla ollama ps prima di modificare qualsiasi impostazione. Su una macchina con GPU, una percentuale di CPU nella colonna PROCESSOR indica che parte del modello non rientra nella VRAM. Riduci quindi il contesto oppure usa una quantizzazione più piccola. Su una macchina senza GPU, la lentezza è prevista e nessuna impostazione può risolverla.

L'agente dimentica le istruzioni durante l'esecuzione di un'attività. La conversazione ha superato la finestra di contesto e i token più vecchi sono stati eliminati senza messaggi. Aumenta OLLAMA_CONTEXT_LENGTH e verifica con ollama ps che il modello rientri ancora nella memoria disponibile. Se non è più così, la soluzione è una macchina più potente, non una finestra più piccola.

Confronto con le alternative

Ospitare un MoE 30B è impegnativo per un’attività di piccole dimensioni. Se un modello denso 8B gestisce già il tuo carico di lavoro, eseguirlo costerà molto meno e il caricamento richiederà pochi secondi. Per confrontare direttamente questa scelta, consulta Qwen 3 a 8B e 27B su un VPS. Per una panoramica più ampia dei modelli che un determinato piano può effettivamente contenere, inizia da quali modelli AI puoi ospitare autonomamente. Se prevedi di eseguire più agenti contemporaneamente invece di uno solo, leggi prima Ollama a confronto con vLLM. Ollama può elaborare in parallelo le richieste relative a un unico modello, ma OLLAMA_NUM_PARALLEL viene distribuito con il valore 1. Di conseguenza, nella configurazione predefinita, la richiesta di un secondo agente resta in coda finché la prima non viene completata. Per questo modello non è utile nemmeno aumentare tale valore: a partire da Ollama v0.40.11, lo scheduler forza a una richiesta alla volta l’architettura nemotron_h_moe utilizzata da questo tag e registra model architecture does not currently support parallel requests. Nei modelli che accettano questo parametro, aumentarlo richiede più memoria: la FAQ di Ollama indica che la RAM necessaria cresce di OLLAMA_NUM_PARALLEL volte OLLAMA_CONTEXT_LENGTH. Su un modello di grandi dimensioni, è proprio questa moltiplicazione a determinare il limite oltre il quale una configurazione per un singolo utente non può più scalare.

FAQ

Quale tag di Nemotron 3.5 Lightning devo scaricare su un VPS Linux?

Usa nemotron-3.5-lightning:30b-a3b-q4_K_M. Ha una dimensione di 25 GB, include l'intero contesto massimo di 1M ed è la build restituita dai riferimenti latest, 30b e 30b-a3b quando sono stati interrogati il 25 ottobre 2026, anche se a metà ottobre la libreria ha spostato quei riferimenti su un digest separato. Indicalo esplicitamente invece di scaricare latest, così una futura ripubblicazione di quel riferimento non potrà modificare il comportamento del tuo agent senza che tu te ne accorga. I tag mlx sono build per Apple silicon, così come 30b-a3b-nvfp4, che condivide il digest 30b-a3b-mlx. Non sono utili su Linux.

Quanta RAM richiede Nemotron 3.5 Lightning?

NVIDIA non pubblica un requisito minimo di memoria per le build di Ollama, quindi misura il consumo invece di stimarlo. Scarica il tag, esegui il modello una volta e leggi ollama ps mentre è caricato: stampa la dimensione effettivamente occupata e indica se il modello è stato caricato sulla GPU o sulla CPU. La dimensione del download, 25 GB per il tag predefinito, è un valore minimo, perché la cache KV viene aggiunta a questo valore e cresce in base alla finestra di contesto configurata. Se il piano è troppo piccolo, Ollama rifiuta l'avvio con model requires more system memory e indica entrambi i valori.

Posso eseguire Nemotron 3.5 Lightning su un VPS senza GPU?

Sì, se il piano dispone di RAM sufficiente per contenere i pesi. L'architettura MoE aiuta, perché per ogni token vengono calcolati soltanto circa 3 dei 30 miliardi di parametri. Il limite è la velocità. Senza una GPU, il modello è limitato dalla larghezza di banda della memoria, quindi aggiungere vCPU modifica appena il risultato. Esegui ollama run --verbose con un prompt fisso, leggi la riga eval rate e confronta quel valore con il tempo massimo previsto dal tuo agent. Per un job batch eseguito durante la notte è spesso sufficiente. Per qualsiasi attività alla quale una persona deve attendere una risposta, di solito non lo è.

Perché Ollama non mi fornisce l'intera finestra di contesto da 1M?

1M è il limite massimo del modello, non la finestra predefinita di Ollama. Ollama applica una finestra molto più piccola ed elimina i token più vecchi quando una conversazione la supera, senza stampare errori. Il risultato è che l'agent sembra dimenticare le proprie istruzioni. Imposta OLLAMA_CONTEXT_LENGTH sul servizio systemd oppure passa num_ctx per ogni richiesta. Aumenta il valore per gradi e controlla nuovamente ollama ps ogni volta, perché la memoria della cache KV cresce insieme alla finestra e può spostare i livelli del modello fuori dalla GPU.

Nemotron 3.5 Lightning è gratuito per l'uso commerciale?

La scheda del modello di NVIDIA indica che il modello è distribuito con la licenza OpenMDW-1.1 e lo contrassegna come pronto per l'uso commerciale, secondo la verifica effettuata il 25 ottobre 2026. La pagina della libreria di Ollama indica come licenza inclusa nel download la NVIDIA Open Model License Agreement. Leggi entrambe prima di basarti su una delle due. Questo riguarda i pesi che scarichi ed esegui direttamente. Non fornisce informazioni sugli altri componenti software dello stack. Controlla quindi separatamente le licenze dell'agent harness e degli eventuali strumenti collegati, e leggi la scheda del modello aggiornata prima di basarti su queste informazioni per obblighi contrattuali.

Questo articolo ti è stato utile?