Eseguire GLM su un VPS con Ollama: quale modello
GLM 5.2 è solo cloud nella libreria Ollama: scopri quale modello GLM funziona davvero su un VPS e quanta RAM richiede ogni quantizzazione.
È possibile eseguire GLM 5.2 su un VPS?
Sì, ma non tramite un tag ufficiale di Ollama. Al 25 ottobre 2026, GLM 5.2 nella libreria di Ollama ha esattamente un tag, glm-5.2:cloud. Un tag :cloud viene eseguito sui server di Ollama. Il server invia il prompt e riceve i token, quindi i pesi non vengono mai scritti sul disco locale. Z.ai pubblica i pesi e documenta la distribuzione locale con SGLang e vLLM. Il repository dei pesi di Z.ai indica per il modello circa 753 miliardi di parametri. Con 4 bit per parametro, 753 miliardi di parametri richiedono circa 377 GB di pesi. Questo è un semplice calcolo aritmetico, prima di considerare contesto, attivazioni e sistema operativo. I piani VPS pubblicati superano questa quantità di memoria: Paragon indica il piano E-48 con 512 GB di RAM a 580 €/mese.
Il modello GLM che può essere eseguito su un server a noleggio è glm-4.7-flash. È pubblicato con pesi scaricabili in 4 tag. È un modello mixture-of-experts, cioè per ogni token viene eseguita solo una parte ridotta della rete. Z.ai lo descrive come 30B-A3B: 30 miliardi di parametri totali, di cui circa 3 miliardi attivi per token. Questa guida risponde quindi alla domanda utile per la configurazione. Blocca un tag, dimensiona il server, misura la velocità nel tuo ambiente e mantieni privato l'endpoint.
Verifica il tag prima di copiare qualsiasi comando, inclusi quelli riportati qui. La libreria di Ollama può cambiare senza preavviso. Apri l'elenco dei tag di glm-4.7-flash e verifica che il tag esista ancora. Se è stata pubblicata una versione GLM più recente con pesi locali, preferiscila e annota il tag effettivamente testato.
Se vuoi comunque GLM 5.2, ollama run glm-5.2:cloud funziona dopo ollama signin e, dal lato del client, si comporta come qualsiasi altro modello Ollama. Devi però comprendere cosa comporta questa scelta: il prompt lascia il tuo server. Se il motivo per cui usi il self-hosting è che i dati devono restare sul tuo computer, un tag :cloud non soddisfa questo requisito.
Quali tag GLM esistono e quale fissare
Qui sono rilevanti due voci GLM ufficiali. glm-5.2 è disponibile solo nel cloud nella libreria Ollama. glm-4.7-flash è la versione locale e questi sono i tag pubblicati, con la dimensione del download indicata da Ollama per ciascuno. Se in precedenza usavi glm-5.1, considera che Ollama lo ha ritirato il 25 settembre 2026 e che la relativa pagina nella libreria non elenca più alcun modello. Z.ai continua a pubblicare i pesi di GLM-5.1 e documenta la distribuzione locale, quindi il ritiro da parte di Ollama non rende il modello non disponibile altrove.
I dati alla base di questo grafico
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]Sono valori pubblicati nella pagina della libreria, non misurazioni. latest e q4_K_M sono entrambi indicati a 19 GB, quindi latest attualmente corrisponde alla build Q4. Questo valore può cambiare a ogni nuova pubblicazione. Per questo non devi mai inserire un ollama pull glm-4.7-flash non qualificato in uno script o in un Dockerfile. Specifica la quantizzazione. Il tag più grande, bf16, è un download da 60 GB che contiene i pesi bfloat16 non quantizzati.
Una ricerca nella libreria restituisce anche upload con namespace e una barra nel nome, ad esempio someuser/glm-5.2. La barra indica che la pubblicazione è stata effettuata da un account utente, quindi si tratta di un nuovo upload della community e non della voce ufficiale. Nessuno garantisce quali pesi contenga. Trattalo come tratteresti un binario non firmato trovato online.
Installare Ollama e scaricare il tag esatto
Il programma di installazione di Ollama per Linux richiede un solo comando.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionIl programma di installazione crea un servizio systemd eseguito dall'utente ollama. Verificare che sia stato avviato prima di scaricare qualsiasi elemento.
systemctl status ollama --no-pagerActive: active (running) indica che systemd considera il servizio in esecuzione; non conferma che l'API sia pronta né che la porta sia in ascolto. Verificare separatamente l'API con curl -fsS http://127.0.0.1:11434/api/tags sull'indirizzo e sulla porta predefiniti. Se l'unità non esiste, il programma di installazione ha eseguito un'installazione del solo binario senza servizio systemd. La documentazione di Ollama per Linux descrive il file di servizio da creare manualmente.
La pagina glm-4.7-flash indica una versione minima di Ollama. Un binario meno recente non esegue il modello lentamente: lo rifiuta. Il comando pull non riesce e mostra un messaggio secondo cui il modello richiede una versione più recente di Ollama. Eseguire di nuovo lo script di installazione per aggiornare. Al 2 novembre 2026, la versione corrente è 0.40.13, quindi supera ampiamente il requisito minimo.
Ora scaricare un tag specificandone il nome.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls dovrebbe elencare glm-4.7-flash:q4_K_M con una dimensione vicina ai 19 GB pubblicati. Se il download si interrompe, non rimane nulla di eseguibile; eseguire quindi di nuovo lo stesso comando. In un piano con risorse limitate, verificare lo spazio su disco prima del download: l'installazione Linux standard salva i modelli in /usr/share/ollama/.ollama/models, a meno che non si modifichi il percorso con OLLAMA_MODELS. Verificare con df -h /usr/share/ollama prima di iniziare.
Quanta RAM richiede ogni livello di quantizzazione?
Considera innanzitutto la dimensione del download come valore minimo, quindi aggiungi il resto. I pesi devono risiedere in memoria. Oltre a questi viene allocata la cache KV (cache key/value), cioè la memoria che il runtime usa per conservare i token già presenti nella conversazione, oltre ai buffer di calcolo e alla memoria utilizzata dal sistema operativo. Un server con esattamente 19 GB di RAM non eseguirà il tag da 19 GB.
Non esiste un unico moltiplicatore valido per tutti, perché la cache KV cresce con la lunghezza del contesto consentita e il resto varia tra le versioni del runtime. È quindi meglio misurare anziché fare supposizioni. Carica il modello con un prompt minimale, quindi leggi la quantità di memoria riservata dal server.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps stampa il modello caricato con una colonna SIZE e una colonna PROCESSOR. SIZE è la quantità di memoria effettivamente riservata dal runtime e questo è il valore da confrontare con il tuo piano. PROCESSOR indica dove vengono eseguiti i calcoli, quindi 100% CPU significa che non è stata utilizzata alcuna GPU.
Quando il modello non entra in memoria, Ollama può restituire un errore di caricamento prima dell'inizio della generazione. Altri possibili risultati sono una forte pressione sulla memoria di swap e l'interruzione del processo per esaurimento della memoria. Controlla i log del servizio con journalctl -u ollama --no-pager e i log del kernel con journalctl -k | grep -i "out of memory", invece di presumere che ogni errore di memoria non produca messaggi.
Il passaggio dal tag Q4 da 19 GB al tag Q8 da 32 GB è il principale fattore su cui puoi intervenire rispetto a questo valore. Q4 riduce in parte la qualità dell'output; l'entità della riduzione dipende dall'attività, e l'output strutturato e le lunghe catene di ragionamento ne risentono più di una conversazione informale. Differenze pratiche tra Q4, Q8 e FP16 merita una lettura prima di prendere una decisione, perché su un VPS che usa solo la CPU la scelta della quantizzazione determina spesso se il modello può essere eseguito.
Cosa succede su un VPS con sola CPU
La maggior parte dei piani VPS non include una GPU e Ollama esegue il modello sulla CPU senza avvisare l'utente. La possibilità di ottenere risultati utilizzabili dipende dal carico di lavoro e dalla pazienza disponibile.
L'architettura mixture-of-experts migliora la velocità. Per ogni token vengono utilizzati soltanto circa 3 miliardi dei 30 miliardi di parametri, quindi il calcolo richiesto per token è molto inferiore a quello di un modello denso da 30B. Il consumo di memoria, invece, non diminuisce. Ogni expert deve rimanere residente, perché il router può selezionarne uno qualsiasi per il token successivo. Un sistema con sola CPU richiede quindi ancora tutti i 19 GB o più previsti dal tag Q4 e la velocità di elaborazione dipende soprattutto dalla larghezza di banda della memoria, non dalla frequenza di clock.
Questo ha una conseguenza pratica: due piani con lo stesso numero di core e la stessa quantità di RAM possono generare testo a velocità sensibilmente diverse, perché i sottosistemi di memoria non sono uguali. Un piano condiviso aggiunge una seconda variabile: il tempo CPU sottratto da un vicino rumoroso si riflette in un valore di token al secondo che cambia di ora in ora. Per questo il numero pubblicato da altri non permette di prevedere il proprio risultato e la sezione successiva propone una procedura di misurazione anziché una tabella di risultati.
Misura i tuoi token al secondo
L’endpoint generate di Ollama restituisce i dati temporali nell’oggetto JSON finale. Dividi il numero di token generati per la durata della generazione e ottieni il valore relativo al tuo piano e al tuo prompt.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count indica il numero di token generati e eval_duration il numero di nanosecondi impiegati per generarli; eval_count / eval_duration * 1e9 indica quindi i token al secondo. prompt_eval_duration riguarda la lettura del prompt, cioè l’attesa che si verifica prima della visualizzazione del primo token. load_duration indica il tempo impiegato per caricare il modello dal disco. Per questo motivo è elevato alla prima chiamata dopo un riavvio e quasi nullo alla chiamata successiva.
Esegui la misurazione 3 volte e conserva il secondo e il terzo risultato, perché il primo include il caricamento del modello. Eseguila poi di nuovo con un prompt molto più lungo, perché il tempo di elaborazione del prompt aumenta con la lunghezza dell’input, mentre la velocità di generazione non cambia. Scrivi i valori accanto al nome del piano e alla quantizzazione utilizzata. Questa registrazione è più utile di qualsiasi benchmark consultato, perché è stata misurata sull’hardware per cui stai pagando.
Come la lunghezza del contesto moltiplica l'uso di memoria
Su un host senza GPU o con meno di 24 GiB di VRAM, Ollama imposta per impostazione predefinita un contesto di 4096 token. Il modello ne dichiara molti di più, 198K token per glm-4.7-flash, ma questo valore non viene applicato automaticamente e abilitarlo richiede memoria aggiuntiva.
La cache KV contiene un vettore key e un vettore value per ogni token, in ogni layer. Le sue dimensioni crescono linearmente con il numero di token consentiti. Passare da 4096 a 32768 token moltiplica per otto la lunghezza del contesto e, quindi, all'incirca anche le dimensioni della cache KV. Su un host dimensionato per contenere appena i pesi del modello, questa allocazione aggiuntiva è sufficiente a causare l'uso della swap. Per questo una macchina che gestisce senza problemi prompt brevi può diventare improvvisamente molto lenta quando qualcuno incolla un documento lungo. Se sullo stesso host serve un contesto più lungo, memorizzare la cache KV in q8_0 invece che in f16 dimezza all'incirca l'allocazione senza modificare i pesi. Le FAQ di Ollama indicano per q8_0 un uso di memoria pari a circa la metà di f16, che è il valore predefinito per OLLAMA_KV_CACHE_TYPE. La cache quantizzata funziona solo quando flash attention è abilitato. Ollama abilita automaticamente flash attention quando il backend e i dispositivi lo supportano, mentre OLLAMA_FLASH_ATTENTION=1 ne forza l'attivazione.
Impostalo per ogni richiesta con num_ctx nell'oggetto options, come nel comando curl precedente, oppure modifica il valore predefinito del server.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentL'ultimo comando dovrebbe stampare il valore OLLAMA_CONTEXT_LENGTH. Se stampa un Environment= vuoto, il file di override si trova nella directory errata oppure il reload è stato omesso. Dopo il caricamento del modello successivo, ollama ps dovrebbe mostrare un valore SIZE visibilmente maggiore rispetto a quello osservato con 4096. Aumenta il valore per incrementi e controlla quel numero ogni volta. Impostare la lunghezza del contesto di Ollama con num_ctx spiega come questa impostazione interagisce con keep-alive e con le richieste parallele, che moltiplicano entrambe lo stesso costo. Se il server verrà usato da più client, definisci i limiti di concorrenza insieme alla lunghezza del contesto, perché ogni slot parallelo dispone della propria cache KV e l'impostazione della coda determina se una seconda richiesta deve attendere o viene rifiutata immediatamente.
Quando l’API costa meno del server
L’hosting autonomo non è automaticamente più economico e, per questa famiglia di modelli, i prezzi di listino pubblicati lo dimostrano in modo particolarmente chiaro.
I dati alla base di questo grafico
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]Al 25 October 2026, Z.ai indica GLM-5.2 a $1.4 per milione di token in input e a $4.4 per milione di token in output. Per GLM-4.7-Flash, il modello eseguito localmente in questa guida, indica $0 per entrambe le direzioni. Sono prezzi pubblicati e possono cambiare, quindi controlla la pagina aggiornata prima di elaborare un budget basato su uno dei due modelli.
Perciò, al momento, l’argomento economico a favore dell’hosting autonomo glm-4.7-flash è debole. Un VPS con RAM sufficiente ha un costo mensile reale, mentre il fornitore mette a disposizione lo stesso modello senza costi. Eseguire il modello autonomamente offre vantaggi diversi: i prompt restano su una macchina sotto il tuo controllo e la versione del modello non cambia, a meno che non sia tu a modificarla. Sono buone ragioni per usare l’hosting autonomo. Per questo modello e a questi prezzi, il costo non è una di queste ragioni.
Il calcolo cambia quando il modello che vuoi utilizzare non è gratuito oppure quando, per motivi legali, i tuoi dati non possono lasciare la tua rete. Il punto di pareggio tra un VPS con GPU e i token API illustra il calcolo indicando ogni variabile. Se devi ancora scegliere la macchina, quanto costa davvero un VPS al mese costituisce l’altra metà della somma.
Mantieni l'endpoint su localhost
Questo è il passaggio che molti saltano, ma è anche quello più importante.
Per impostazione predefinita, Ollama si associa a 127.0.0.1 sulla porta 11434, quindi è raggiungibile soltanto dal server stesso. Verifica questa configurazione sul tuo server invece di darla per scontata.
ss -ltnp | grep 11434Devi vedere 127.0.0.1:11434. Se vedi 0.0.0.0:11434 o *:11434, significa che l'API è in ascolto su tutte le interfacce, inclusa quella pubblica.
Questo è importante perché, per impostazione predefinita, l'API locale di Ollama non richiede autenticazione. Non ci sono password, token o allowlist. Chiunque possa raggiungere la porta 11434 può elencare i tuoi modelli, eseguire generazioni usando hardware che stai pagando, scaricare nuovi modelli sul disco fino a riempirlo ed eliminare quelli già presenti. La porta 11434 è quella predefinita; OLLAMA_HOST può modificare sia l'indirizzo di bind sia la porta.
Non impostare OLLAMA_HOST=0.0.0.0. Questa variabile modifica l'indirizzo a cui Ollama si associa e molti tutorial la propongono come soluzione quando un client sul laptop non riesce a connettersi. È la soluzione sbagliata. Inoltra invece la porta.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSul laptop, SSH ascolta sulla porta 11434 e inoltra ogni connessione a 127.0.0.1:11434 visto dal server, cioè dove Ollama è già in ascolto per impostazione predefinita. Il tunnel non richiede quindi modifiche a OLLAMA_HOST, qualsiasi client configurato per http://localhost:11434 continua a funzionare senza modifiche e non viene esposto nulla di nuovo. Per più persone o più macchine, inserisci il server in una rete privata tramite tunnel e associa Ollama all'indirizzo del tunnel, mai a 0.0.0.0.
Verifica da un sistema diverso dal server. Dal laptop, con il tunnel SSH chiuso:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out o curl: (7) Failed to connect è il risultato corretto. Un elenco JSON dei tuoi modelli significa che la porta è aperta a Internet e che devi intervenire subito. Il firewall di rete del provider è un controllo distinto da quello in esecuzione sul server, quindi verifica entrambi. La questione più ampia della sicurezza dell'hosting VPS tratta gli altri requisiti di base per una macchina che lasci in esecuzione.
Se glm-4.7-flash è ancora troppo grande
Quando il tag Q4 non rientra nel piano scelto, la soluzione è usare un modello più piccolo, non ridurre il contesto. Ridurre il contesto per riuscire a caricare il modello produce un modello che si avvia, ma non gestisce il primo prompt lungo. Qwen 3 a 8B e 27B su un VPS segue lo stesso percorso di installazione con dimensioni adatte a macchine con risorse limitate, mentre la guida generale per eseguire autonomamente un LLM con Ollama su un VPS descrive gli aspetti che restano invariati indipendentemente dal modello scelto. Qualunque sia la scelta finale, fissa il tag, esegui le misurazioni sul piano che utilizzi e lascia l'endpoint in ascolto solo sull'interfaccia di loopback.
FAQ
GLM 5.2 può essere eseguito localmente su un VPS?
Sì, usando i pesi pubblicati da Z.ai e un runtime supportato come SGLang o vLLM. Al 25 ottobre 2026, GLM 5.2 è presente nella libreria di Ollama soltanto come glm-5.2:cloud, un tag che viene eseguito sull'infrastruttura di Ollama e richiede ollama signin prima di poter funzionare. Il repository dei pesi di Z.ai indica per il modello circa 753 miliardi di parametri; quindi, anche usando quattro bit per parametro, i soli pesi occupano circa 377 GB. I piani VPS pubblicati con molta memoria superano questa capacità, tra cui l'E-48 da 512 GB di Paragon, ma serve comunque spazio per l'overhead del runtime e per il contesto. Il modello GLM più piccolo con pesi scaricabili usato in questa guida è glm-4.7-flash.
Quanta RAM richiede glm-4.7-flash?
Considera la dimensione del download del tag come il valore minimo e aggiungi spazio per la cache KV e per il sistema operativo. Ollama indica per il tag Q4 19 GB, per Q8 32 GB e per il tag bfloat16 60 GB. Non esiste un moltiplicatore fisso valido per tutti, perché la cache KV cresce in base alla lunghezza del contesto configurata. Carica il modello, esegui ollama ps e leggi la colonna SIZE per conoscere il valore effettivo sul tuo server.
Come posso misurare i token al secondo sul mio VPS?
Invia una richiesta a http://localhost:11434/api/generate con "stream": false, quindi leggi eval_count e eval_duration nella risposta. I token al secondo sono eval_count / eval_duration * 1e9, perché eval_duration è espresso in nanosecondi. Ignora la prima esecuzione, perché in quel caso load_duration include anche la lettura dei pesi dal disco. Ripeti il test anche con un prompt lungo, perché prompt_eval_duration aumenta con la lunghezza dell'input, mentre la velocità di generazione non cambia.
Perché non devo impostare OLLAMA_HOST su 0.0.0.0?
Perché per impostazione predefinita l'API locale di Ollama non richiede autenticazione. Se viene associata a 0.0.0.0, risulta esposta su ogni interfaccia IPv4; l'accesso pubblico dipende quindi dal routing e dai firewall. Chiunque raggiunga la porta 11434 può eseguire generazioni sul tuo hardware e modificare i modelli installati. Mantieni l'associazione predefinita a 127.0.0.1, verifica l'impostazione con ss -ltnp | grep 11434 e accedi all'API dal laptop tramite un tunnel SSH come ssh -N -L 11434:127.0.0.1:11434 you@your-server.