SSD Nodes Learn Hosting plans →
Guide Matt ConnorDi Matt Connor

Come tenere un modello Ollama in memoria

Ollama scarica il modello dopo 5 minuti di inattivita. Imposta OLLAMA_KEEP_ALIVE in un override systemd e precaricalo dopo ogni riavvio.

Perché Ollama scarica il modello dopo alcuni minuti?

Ollama mantiene un modello caricato in memoria per cinque minuti dopo l’ultima richiesta, quindi lo rimuove. La richiesta successiva deve caricare nuovamente i pesi nella RAM o nella VRAM, causando un’attesa prima della generazione del primo token. Per questo un’interfaccia di chat o un coding agent sembra veloce, resta inattivo per un po’ e poi torna lento al messaggio successivo. Non c’è un guasto. È scaduto il timer di inattività.

Il timer si chiama keep_alive. È specifico per ogni modello e si riavvia ogni volta che termina una richiesta. Un modello che sta rispondendo a una richiesta non viene mai scaricato, perché il server rimuove solo i modelli senza richieste attive. A ottobre 2026 il valore predefinito è cinque minuti e si applica a ogni modello caricato da questo server.

Il timeout di inattività può essere impostato in due punti: nel campo keep_alive della singola richiesta oppure tramite OLLAMA_KEEP_ALIVE come valore predefinito del server. Un drop-in di systemd fa sì che il valore predefinito del server venga mantenuto dopo un riavvio. Questa guida presuppone che Ollama sia già in esecuzione come servizio. In caso contrario, inizia da installare Ollama su un VPS e poi torna qui.

Quali modelli sono attualmente residenti e quando scadono?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Un output vuoto significa che non è caricato alcun modello, quindi la richiesta successiva deve prima caricare il modello. PROCESSOR indica dove sono stati caricati i pesi. 100% GPU e 100% CPU sono i casi evidenti. Una suddivisione come 25%/75% CPU/GPU significa che solo una parte del modello si trova nella VRAM; il resto viene eseguito dal processore e la generazione è più lenta. Di solito questo accade perché il modello non entrava nella memoria disponibile, ma un'impostazione num_gpu che limita il numero di layer assegnati alla GPU produce lo stesso tipo di suddivisione.

UNTIL indica il conto alla rovescia e stampa un tempo relativo come 4 minutes from now. Stampa Forever quando il modello è stato caricato con un valore negativo di keep_alive. Dopo la scadenza stampa Stopping..., anche mentre le richieste attive ritardano lo scaricamento.

L'insieme delle colonne è cambiato tra le release, quindi leggete l'intestazione invece di contare i campi in uno script. Ollama v0.40.5, verificato il 2026-10-30, stampa anche una colonna RUNNER tra CONTEXT e UNTIL. Questa colonna indica il runner che fornisce il modello, quindi l'intestazione potrebbe contenere una colonna in più rispetto all'esempio precedente. Per qualsiasi operazione automatizzata, interrogate l'API:

curl -s http://localhost:11434/api/ps

Ogni voce contiene expires_at, un timestamp assoluto come 2026-08-09T14:38:31.83753Z, e size_vram, la parte del modello che risiede nella memoria della GPU. Un size_vram pari a 0 significa che il modello è in esecuzione sulla CPU.

Quanto costa realmente il reload

Non procedere per supposizioni. Ollama riporta il tempo di caricamento in ogni risposta, nel campo load_duration, espresso in nanosecondi.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Attendi che ollama ps non elenchi più il modello dopo ollama stop prima di eseguire le due chiamate API. La prima chiamata carica il modello, quindi il valore di load_duration è elevato. Dividilo per 1000000000 per leggerlo in secondi. La seconda chiamata viene eseguita mentre il modello è residente e riporta un valore molto più basso. La differenza tra queste due cifre rappresenta il costo per ogni utente dopo la scadenza del timer ed è il motivo per cui devi modificare keep_alive. Dopo un unload, la page cache del kernel contiene spesso ancora il file del modello. Su un sistema con RAM disponibile, un reload può quindi essere più rapido del primo caricamento dopo un boot. Quando la cache viene reclamata, i pesi vengono letti dal disco. Se hai spostato la directory del modello su un secondo volume, la velocità di quel volume determina il limite minimo di ogni cold load. Per la velocità di generazione prima e dopo questa pausa, consulta come misurare i token al secondo sul tuo sistema.

Mantieni un modello Ollama in memoria durante una richiesta

Invia keep_alive con la richiesta. L'impostazione si applica a quel modello dal momento in cui la richiesta termina.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Sono accettati quattro formati di valore:

  • una stringa di durata: "30m", "24h", "90s"
  • un numero semplice, interpretato come secondi: 3600
  • un valore negativo, -1 o "-1m", che indica l'assenza completa di timeout di inattività
  • 0, che scarica il modello quando non ci sono più richieste attive

Un valore specificato nella richiesta sostituisce il valore predefinito del server, in entrambe le direzioni. Questo è più importante di quanto possa sembrare: un client che invia il proprio keep_alive prevale su qualsiasi configurazione del server.

Puoi anche caricare un modello senza generare alcun contenuto. Invia soltanto il nome del modello. Il server lo carica e restituisce una risposta vuota con "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Questo è il comando da eseguire dopo un riavvio o dopo aver scaricato un nuovo modello, così la prima richiesta reale dell'utente non deve attendere il caricamento. La CLI svolge la stessa funzione con un flag:

ollama run --keepalive 30m qwen3:8b "hello"

Mantienilo caricato per impostazione predefinita con OLLAMA_KEEP_ALIVE

Il server legge OLLAMA_KEEP_ALIVE all’avvio e lo usa per ogni modello che non dispone di un valore proprio. Accetta gli stessi formati del campo della richiesta, quindi funzionano sia 30m sia 3600 sia -1.

Il punto critico è l’ambiente in cui deve essere definita la variabile. Eseguire export OLLAMA_KEEP_ALIVE=30m nella sessione SSH non produce alcun effetto, perché l’installazione tramite pacchetto esegue il server come servizio systemd, con un utente e un ambiente propri. La shell di login e il servizio non condividono l’ambiente. È il motivo più comune per cui l’impostazione sembra ignorata.

Rendi persistente la configurazione dopo un riavvio con un drop-in di systemd

sudo systemctl edit ollama.service

L'editor si apre con due marcatori di commento. Scrivi tra i due marcatori: systemd ignora tutto ciò che viene scritto sotto il secondo.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Il salvataggio scrive /etc/systemd/system/ollama.service.d/override.conf. Si tratta di un drop-in, non di una modifica all'unità fornita dal pacchetto. Di conseguenza, un aggiornamento del pacchetto Ollama che sostituisce ollama.service non modifica la tua impostazione. Se i drop-in e i file delle unità sono concetti nuovi, la guida ai servizi e ai timer di systemd ne descrive il funzionamento.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

L'ultimo comando stampa l'ambiente con cui il servizio verrà effettivamente eseguito. Se OLLAMA_KEEP_ALIVE=30m non compare in quella riga, il drop-in non è stato applicato. La causa è quasi sempre un'intestazione [Service] mancante oppure righe inserite sotto il marcatore. Il riavvio rimuove tutti i modelli caricati, quindi la richiesta successiva esegue un caricamento a freddo. Esegui la chiamata di precaricamento precedente per riscaldare il modello. Il drop-in mantiene l'impostazione dopo un riavvio del sistema, ma non il modello: il servizio si avvia ollama serve senza alcun modello caricato. Esegui quindi la stessa chiamata di precaricamento dopo ogni avvio.

Quanto costa mantenere un modello residente

La colonna SIZE in ollama ps indica la memoria mantenuta per tutta la finestra di inattività, non soltanto durante una richiesta. Un modello 8B con quantizzazione a 4 bit occupa circa 5-6 GB. Un modello 27B richiede una valutazione diversa, e vale la pena analizzare il calcolo della memoria necessaria per eseguirne uno su un VPS con la sola CPU prima di decidere di mantenerlo residente. Impostando keep_alive su -1 si disabilita la scadenza per inattività; le richieste successive per lo stesso modello possono sostituire il timeout oppure forzare un nuovo caricamento quando cambiano le opzioni del runner. Su un VPS di piccole dimensioni, questo riduce direttamente le risorse disponibili per il database, l'applicazione web e i job di build.

Controlla i valori effettivi invece di affidarti a una stima. Esegui questo comando mentre un modello è caricato, quindi ripetilo dopo ollama stop:

free -h

La colonna available indica la memoria che il kernel può ancora assegnare a un nuovo processo. Su un server con GPU NVIDIA, nvidia-smi mostra la stessa situazione nella VRAM. Se il server esaurisce la memoria, il kernel termina un processo per recuperarla:

sudo dmesg -T | grep -i "out of memory"

Una riga che indica ollama significa che il processo del model server è stato terminato. Una riga che indica il database significa che il modello ha prevalso e che un altro processo importante è stato terminato. Entrambi i risultati derivano dalla stessa scelta: una finestra keep-alive lunga su un server senza margine di memoria.

In questo caso è facile trascurare due costi. Una lunghezza del contesto maggiore riserva una cache KV più grande (key value cache, lo stato dell'attenzione per token che il modello conserva durante la generazione), e questa cache fa parte delle dimensioni del modello residente. Le sue dimensioni dipendono da num_ctx; di conseguenza, aumentare la finestra di contesto aumenta la memoria occupata da un modello residente per tutto il periodo di inattività, non soltanto mentre risponde. Un valore OLLAMA_NUM_PARALLEL superiore a 1 riserva questa cache una volta per ogni slot parallelo quando il modello supporta tale parallelismo. Ollama imposta il parallelismo su 1 per i modelli di embedding e per diverse architetture, tra cui mllama e qwen3next. Se prevedi di servire più utenti con un solo modello, dimensiona la memoria in base agli slot, non soltanto ai pesi.

Un valore predefinito ragionevole è questo: un modello su un server con memoria disponibile può usare -1. Un server condiviso dovrebbe usare una finestra che copra gli intervalli tra le richieste, ad esempio 30m, in modo che la memoria venga rilasciata quando smetti di lavorare.

Scaricare immediatamente un modello

ollama stop qwen3:8b

Il comando non restituisce alcun output dopo la richiesta di scadenza. Lo scaricamento attende il completamento delle richieste attive, quindi il comando può terminare prima che la memoria venga liberata. Non restituisce alcun output neppure se il modello è stato scaricato sul server ma al momento non è caricato. Il comando non verifica quali modelli siano residenti: invia la richiesta di scaricamento e il server risponde con esito positivo, indipendentemente dal fatto che ci fosse o meno qualcosa in memoria. L'errore couldn't find model "qwen3:8b" to stop compare solo quando sul server non è installato alcun modello con quel nome. Di solito indica un errore di battitura nel nome o nel tag. Un ollama stop silenzioso non dimostra quindi che sia stata liberata della memoria. ollama ps lo dimostra. La forma dell'API è una richiesta senza prompt con keep_alive impostato su 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

La risposta contiene "done_reason": "unload". Usare questa opzione invece di riavviare il servizio. systemctl restart ollama libera anch'esso la memoria, ma scarica tutti gli altri modelli caricati e interrompe qualsiasi richiesta in esecuzione.

Eseguire più modelli su un solo server

OLLAMA_MAX_LOADED_MODELS limita il numero di modelli che possono rimanere caricati contemporaneamente. A ottobre 2026, il valore predefinito è tre per GPU oppure tre su un sistema che usa solo la CPU. Il limite conta i modelli, ma il limite effettivo è la memoria. Di conseguenza, un secondo modello di grandi dimensioni può non avere memoria disponibile molto prima di raggiungere quota tre.

Quando viene richiesto un nuovo modello e non c'è memoria sufficiente per caricarlo, oppure è stato raggiunto il limite, lo scheduler scarica uno dei modelli residenti per liberare spazio. Preferisce un modello senza richieste attive. Può scaricare anche un modello il cui timer non è scaduto, incluso un modello caricato con -1, ma prova prima i modelli con finestre temporali più brevi. Pertanto, un valore negativo di keep_alive indica l'assenza di un timeout di inattività. Il modello non viene mantenuto in memoria impedendo il caricamento di un altro modello.

Queste decisioni compaiono nel log del servizio. Il superamento del limite viene registrato solo al livello di debug. Aggiungi una seconda riga Environment="OLLAMA_DEBUG=1" allo stesso drop-in, riavvia il servizio e monitora il log:

sudo journalctl -u ollama -f

Leggi il motivo indicato accanto alla richiesta che ha attivato lo scaricamento. max runners achieved, unloading one to make room indica che è stato raggiunto il limite OLLAMA_MAX_LOADED_MODELS. Questo può accadere anche quando entrambi i modelli entrerebbero in memoria, quindi aumenta il limite se free -h mostra memoria disponibile. Se una riga indica che il nuovo modello supererebbe la memoria disponibile, seguita dallo scaricamento di un modello, significa che il controllo di compatibilità dello scheduler ha rifiutato di caricare entrambi i modelli perché la memoria disponibile non era sufficiente. In questo caso, la soluzione consiste nell'usare meno modelli su questo server oppure nell'impostare una finestra lunga per il modello che deve rispondere rapidamente e 0 per quello utilizzato raramente.

Indicazioni valide anche per la prossima release

Ollama rilascia spesso nuove versioni e i valori predefiniti cambiano. Controlla quindi la build in uso invece di memorizzare i numeri:

ollama --version
ollama serve --help

ollama serve --help elenca le variabili d'ambiente che la build legge effettivamente, tra cui OLLAMA_KEEP_ALIVE. Due regole sono rimaste valide tra le release e possono essere usate come base. Un valore specificato nella richiesta prevale sul valore predefinito del server. Inoltre, ollama ps indica ciò che è effettivamente caricato, indipendentemente da quanto dichiarato in un file di configurazione.

Se un editor o un agent gestisce il server, controlla ciò che invia il client prima di attribuire la causa al server. Configurare un agent di coding per usare il proprio server Ollama descrive dove si trovano queste impostazioni della richiesta.

FAQ

Perché Ollama scarica il modello dopo 5 minuti?

Cinque minuti è il valore predefinito di keep_alive, il timer di inattività che Ollama avvia quando termina una richiesta. Alla scadenza, il server libera i pesi del modello. La richiesta successiva deve quindi caricarli di nuovo e questo ricaricamento causa la pausa percepita. Aumenta il valore per una singola richiesta inviando "keep_alive": "30m" nel corpo JSON oppure per l'intero server tramite la variabile d'ambiente OLLAMA_KEEP_ALIVE.

Come posso mantenere permanentemente un modello Ollama caricato in memoria?

Usa un valore negativo: "keep_alive": -1 nella richiesta oppure OLLAMA_KEEP_ALIVE=-1 per il server. ollama ps mostra quindi Forever nella colonna UNTIL. Questa impostazione rimuove soltanto il timer di inattività. Se viene richiesto un altro modello e la memoria disponibile non è sufficiente, lo scheduler scarica comunque questo modello per fare spazio. Le richieste successive per lo stesso modello possono inoltre sostituire il relativo timeout o attivare un nuovo caricamento quando cambiano le opzioni del runner. Anche un riavvio o un reboot cancella questa impostazione; in seguito devi quindi precaricare di nuovo il modello.

Perché OLLAMA_KEEP_ALIVE viene ignorata?

Controlla dove l'hai impostata. Esegui systemctl show ollama --property=Environment. Se la variabile non compare nell'output, il server non l'ha mai ricevuta, perché una variabile esportata nella shell non viene trasferita a un servizio systemd. Impostala con sudo systemctl edit ollama.service, quindi esegui sudo systemctl daemon-reload e sudo systemctl restart ollama. Un'altra causa è un client che invia il proprio keep_alive nella richiesta, sovrascrivendo il valore predefinito del server.

Come posso liberare la memoria senza riavviare Ollama?

ollama stop qwen3:8b richiede la scadenza del modello indicato e lascia in esecuzione il server e tutti gli altri modelli caricati. Le richieste attive devono terminare prima che il modello venga scaricato. Tramite l'API, invia una richiesta senza prompt e con "keep_alive": 0; la risposta restituisce "done_reason": "unload". Verifica con ollama ps: al termine dello scaricamento, il modello non dovrebbe più essere elencato.

Questo articolo ti è stato utile?