GLM 5.2 su VPS con Ollama: cosa puoi usare davvero

È possibile eseguire GLM 5.2 su un VPS?

No. È importante saperlo prima di noleggiare qualsiasi risorsa. Al 18 agosto 2026, GLM 5.2 nella libreria di Ollama ha esattamente un tag, glm-5.2:cloud. Un tag :cloud viene eseguito sui server di Ollama. Il server invia il prompt e riceve i token, quindi i pesi non vengono mai scritti sul disco. Il modello ha 756 miliardi di parametri. Quattro bit per parametro su 756 miliardi di parametri corrispondono a circa 378 GB di pesi. Questo è un semplice calcolo aritmetico, prima di considerare contesto, attivazioni e sistema operativo. Nessun piano VPS standard offre una quantità di memoria simile.

Il modello GLM compatibile con un server noleggiato è glm-4.7-flash. È pubblicato con pesi scaricabili in 4 tag. È un modello mixture-of-experts: per ogni token viene eseguita soltanto una piccola parte della rete. Z.ai lo descrive come 30B-A3B: 30 miliardi di parametri complessivi e circa 3 miliardi attivi per token. Questa guida risponde quindi alla domanda su cui puoi intervenire. Blocca un tag, dimensiona il server, misura la velocità effettiva nel tuo ambiente e mantieni privato l'endpoint.

Verifica il tag prima di copiare qualsiasi comando, inclusi quelli riportati qui. La libreria di Ollama può cambiare senza preavviso. Apri l'elenco dei tag di glm-4.7-flash e verifica che il tag esista ancora. Se è stata pubblicata una versione GLM più recente con pesi locali, preferiscila e annota quale tag hai effettivamente testato.

Se vuoi comunque usare GLM 5.2, ollama run glm-5.2:cloud funziona dopo ollama signin e, dal lato client, si comporta come qualsiasi altro modello Ollama. Devi però comprendere cosa comporta: il prompt lascia il tuo server. Se il motivo per cui esegui il self-hosting è che i dati devono restare sul tuo computer, un tag :cloud non soddisfa questo requisito.

Quali tag GLM esistono e quale fissare

Qui sono rilevanti tre voci GLM ufficiali. glm-5.2 e glm-5.1 sono disponibili solo nel cloud. glm-4.7-flash è quella locale; questi sono i tag pubblicati e le dimensioni del download indicate da Ollama per ciascuno.

[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

Sono valori pubblicati nella pagina della libreria, non misurazioni. latest e q4_K_M sono entrambi indicati con 19 GB, quindi latest attualmente punta alla build Q4. Questo può cambiare a ogni nuova pubblicazione; per questo non devi mai inserire un ollama pull glm-4.7-flash senza specificare il tag in uno script o in un Dockerfile. Specifica la quantizzazione. Il tag più grande, bf16, è un download da 60 GB che contiene i pesi bfloat16 non quantizzati.

Una ricerca nella libreria restituisce anche upload con namespace e una slash nel nome, come someuser/glm-5.2. La slash indica che la pubblicazione è stata effettuata da un account utente; si tratta quindi di un nuovo upload della community, non della voce ufficiale. Nessuno garantisce quali pesi contenga. Trattalo come tratteresti un binario non firmato trovato online.

Installa Ollama e scarica il tag esatto

Il programma di installazione di Ollama per Linux richiede un solo comando.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Il programma di installazione crea un servizio systemd eseguito dall'utente ollama. Verifica che sia stato avviato prima di scaricare qualsiasi elemento.

systemctl status ollama --no-pager

Active: active (running) indica che l'API è in ascolto sulla porta 11434. Se l'unità non esiste, il programma di installazione ha eseguito un'installazione del solo binario, senza servizio. La documentazione di Ollama per Linux indica il file di servizio da creare manualmente.

La pagina glm-4.7-flash elenca una versione minima di Ollama. Un binario meno recente non esegue il modello lentamente: lo rifiuta. Il download del modello non riesce e viene visualizzato un messaggio che indica che il modello richiede una versione più recente di Ollama. Esegui nuovamente lo script di installazione per effettuare l'aggiornamento. Al 18 agosto 2026, la versione corrente è 0.32.14, quindi è ampiamente superiore al minimo richiesto.

Ora scarica un tag specificandone il nome.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls dovrebbe elencare glm-4.7-flash:q4_K_M con una dimensione vicina ai 19 GB pubblicati. Se il download si interrompe, non rimane nulla di eseguibile, quindi esegui nuovamente lo stesso comando. Nei piani con poco spazio, la causa più comune di un download non riuscito è il disco pieno, non un problema di rete, perché il modello viene scritto in /usr/share/ollama/.ollama/models sul filesystem root. Verifica con df -h /usr/share/ollama prima di iniziare.

Quanta RAM richiede ogni quantizzazione?

Considera la dimensione del download come valore minimo, quindi aggiungi il resto. I pesi devono rimanere residenti in memoria. A questi si aggiunge la cache KV (cache key/value), cioè la memoria che il runtime usa per conservare i token già presenti nella conversazione, oltre ai buffer di calcolo e alla memoria utilizzata dal sistema operativo. Un server con esattamente 19 GB di RAM non eseguirà il tag da 19 GB.

Non esiste un unico moltiplicatore corretto per tutti, perché la cache KV cresce in base alla lunghezza del contesto consentita e il resto varia tra le versioni del runtime. Misura quindi il consumo invece di stimarlo. Carica il modello con un prompt minimale, quindi leggi la quantità di memoria riservata dal server.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps mostra il modello caricato con una colonna SIZE e una colonna PROCESSOR. SIZE indica la quantità effettivamente riservata dal runtime; è questo il valore da confrontare con il dimensionamento previsto. PROCESSOR indica dove viene eseguito il lavoro: 100% CPU significa che non è stata utilizzata alcuna GPU.

Quando il modello non entra in memoria, il problema si manifesta senza messaggi chiari e in due modi. Con lo swap abilitato, il caricamento sembra riuscire, ma la generazione rallenta drasticamente perché le pagine vengono spostate tra disco e RAM per ogni token. Senza swap, il processo viene terminato direttamente e journalctl -k | grep -i "out of memory" mostra la riga Out of memory: Killed process del kernel, che identifica ollama. Controlla entrambe le informazioni, perché nessuna delle due visualizza un messaggio utile nel terminale in cui stavi digitando.

Il passaggio dal tag Q4 da 19 GB al tag Q8 da 32 GB è il principale fattore su cui puoi intervenire per modificare questo valore. Q4 riduce in parte la qualità dell'output; l'entità della riduzione dipende dall'attività, e l'output strutturato e le lunghe catene di ragionamento ne risentono più della chat informale. Differenze pratiche tra Q4, Q8 e FP16 merita una lettura prima di scegliere, perché su un VPS che usa soltanto la CPU la quantizzazione determina spesso se il modello può essere eseguito.

Cosa accade su un VPS con sola CPU

La maggior parte dei piani VPS non include una GPU e Ollama esegue il modello sulla CPU senza avvisare l’utente. L’utilizzabilità del risultato dipende dal carico di lavoro e dalla pazienza disponibile.

L’architettura mixture-of-experts migliora la velocità. Per ogni token vengono usati solo circa 3 miliardi dei 30 miliardi di parametri, quindi i calcoli necessari per token sono molto inferiori rispetto a quelli di un modello denso da 30B. Il consumo di memoria, invece, non diminuisce. Ogni esperto deve restare residente, perché il router può selezionarne uno qualsiasi per il token successivo. Un sistema con sola CPU deve quindi disporre comunque dell’intero valore di 19 GB o più per il tag Q4. La velocità di elaborazione dipende soprattutto dalla larghezza di banda della memoria, non dalla frequenza di clock.

Questo ha una conseguenza pratica: due piani con lo stesso numero di core e la stessa quantità di RAM possono generare testo a velocità sensibilmente diverse, perché i rispettivi sottosistemi di memoria non sono uguali. Un piano condiviso aggiunge una seconda variabile: il tempo CPU sottratto da un vicino rumoroso si riflette in un valore di token al secondo che varia di ora in ora. Per questo il valore pubblicato da altri non consente di prevedere il proprio, e per questo la sezione successiva propone una procedura di misurazione invece di una tabella di risultati.

Misura i tuoi token al secondo

L'endpoint generate di Ollama restituisce i dati temporali nell'oggetto JSON finale. Dividi il numero di token generati per la durata della generazione e ottieni il valore relativo al tuo piano e al tuo prompt.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count indica quanti token sono stati generati e eval_duration i nanosecondi impiegati per generarli; quindi eval_count / eval_duration * 1e9 indica i token al secondo. prompt_eval_duration riguarda la lettura del prompt, cioè il tempo di attesa percepito prima che venga visualizzato il primo token. load_duration indica il tempo impiegato per caricare il modello dal disco; per questo è elevato alla prima chiamata dopo un riavvio e quasi nullo alla chiamata successiva.

Esegui il test tre volte e conserva il secondo e il terzo risultato, perché il primo include il caricamento del modello. Poi ripetilo con un prompt molto più lungo, perché l'elaborazione del prompt aumenta con la lunghezza dell'input, mentre la velocità di generazione non cambia. Scrivi i valori accanto al nome del piano e alla relativa quantizzazione. Questo dato è più utile di qualsiasi benchmark letto altrove, perché è stato misurato sull'hardware per cui stai pagando.

Come la lunghezza del contesto moltiplica il consumo di memoria

Ollama usa per impostazione predefinita un contesto di 4096 token. Il modello dichiara un valore molto più alto, 198K token per glm-4.7-flash, ma questo limite non è disponibile per impostazione predefinita e abilitarlo ha un costo in termini di memoria.

La cache KV contiene un vettore key e un vettore value per ogni token, in ogni livello. Le sue dimensioni crescono linearmente con il numero di token consentiti. Passare da 4096 a 32768 token significa moltiplicare per otto la lunghezza del contesto, quindi la cache KV aumenta all'incirca di otto volte. Su un server dimensionato per contenere appena i pesi del modello, questa allocazione aggiuntiva è sufficiente a causare l'uso della swap. Per questo una macchina che gestiva senza problemi prompt brevi può diventare improvvisamente molto lenta quando qualcuno incolla un documento lungo.

Impostalo per ogni richiesta con num_ctx nell'oggetto delle opzioni, come nel comando curl precedente, oppure modifica il valore predefinito del server.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

L'ultimo comando dovrebbe stampare il valore di OLLAMA_CONTEXT_LENGTH. Se stampa un Environment= vuoto, il file di override si trova nella directory errata oppure il reload è stato omesso. Dopo il caricamento successivo del modello, ollama ps dovrebbe mostrare un valore SIZE visibilmente più alto rispetto a quello rilevato con 4096. Aumenta il valore gradualmente e controlla quel numero ogni volta. Impostare la lunghezza del contesto di Ollama con num_ctx spiega come questa impostazione interagisce con keep-alive e con le richieste parallele, che moltiplicano entrambe lo stesso costo.

Quando l’API costa meno del server

L’hosting autonomo non è automaticamente più economico e, per questa famiglia di modelli, i prezzi di listino pubblicati lo dimostrano in modo particolarmente chiaro.

[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

Al 18 agosto 2026, Z.ai indica GLM-5.2 a $1.4 per milione di token di input e a $4.4 per milione di token di output. Per GLM-4.7-Flash, il modello eseguito localmente in questa guida, indica $0 per entrambe le direzioni. Questi sono prezzi pubblicati e possono cambiare, quindi controlla la pagina aggiornata prima di elaborare un budget basato su uno dei due modelli.

Di conseguenza, l’argomento economico a favore dell’hosting autonomo glm-4.7-flash è oggi debole. Un VPS con RAM sufficiente ha un costo mensile reale, mentre il fornitore mette a disposizione lo stesso modello gratuitamente. Eseguire il modello autonomamente offre vantaggi diversi: i prompt restano su una macchina sotto il tuo controllo e la versione del modello non cambia, a meno che non sia tu a modificarla. Sono motivi validi per scegliere l’hosting autonomo. Per questo modello e a questi prezzi, il costo non è uno di questi motivi.

Il calcolo cambia quando il modello che vuoi usare non è gratuito o quando i tuoi dati, per motivi legali, non possono uscire dalla tua rete. Il punto di pareggio tra un VPS con GPU e i token dell’API illustra il calcolo indicando ogni variabile. Se devi ancora scegliere la macchina, quanto costa davvero un VPS al mese completa l’altro lato della somma.

Mantieni l’endpoint su localhost

Questo è il passaggio che spesso viene saltato, ma è il più importante.

Per impostazione predefinita, Ollama si associa a 127.0.0.1 sulla porta 11434, quindi è raggiungibile solo dal server stesso. Verificalo sul tuo server, senza darlo per scontato.

ss -ltnp | grep 11434

Devi vedere 127.0.0.1:11434. Se visualizzi 0.0.0.0:11434 o *:11434, significa che l’API è in ascolto su tutte le interfacce, inclusa quella pubblica.

Questo è importante perché l’API di Ollama non usa autenticazione. Non sono presenti password, token o allowlist. Chiunque possa raggiungere la porta 11434 può elencare i tuoi modelli, eseguire generazioni sull’hardware che stai pagando, scaricare nuovi modelli sul disco fino a esaurire lo spazio e eliminare quelli già presenti. La porta 11434 è fissa e ben nota, quindi gli scanner individuano rapidamente quelle esposte.

Non impostare OLLAMA_HOST=0.0.0.0. Molte guide lo suggeriscono come soluzione quando un client sul laptop non riesce a connettersi, ma è la soluzione sbagliata. Inoltra invece la porta.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

Questo inoltra la porta 11434 del laptop all’indirizzo di loopback del server tramite SSH. In questo modo qualsiasi client configurato per http://localhost:11434 continua a funzionare senza modifiche e non viene esposto nulla di nuovo. Per più utenti o più macchine, inserisci il server in una rete privata tramite tunnel e associa Ollama all’indirizzo del tunnel, mai a 0.0.0.0.

Verifica il risultato da un sistema diverso dal server. Dal laptop, con il tunnel SSH chiuso:

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out o curl: (7) Failed to connect è il risultato corretto. Se ottieni un elenco JSON dei tuoi modelli, la porta è aperta a Internet e devi correggere subito la configurazione. Il firewall di rete del provider è un controllo separato da quello in esecuzione sul server, quindi verifica entrambi. La questione più ampia della sicurezza dell’hosting VPS tratta gli altri requisiti di base per una macchina che lasci in esecuzione.

Se glm-4.7-flash è ancora troppo grande

Quando il tag Q4 non rientra nel piano scelto, la soluzione è usare un modello più piccolo, non ridurre il contesto. Ridurre il contesto per riuscire a caricare il modello produce un servizio che si avvia, ma fallisce alla prima richiesta con un prompt lungo. Qwen 3 da 8B e 27B su un VPS segue lo stesso percorso di installazione con dimensioni adatte a server con risorse limitate, mentre la guida generale all'hosting autonomo di un LLM con Ollama su un VPS illustra gli aspetti che restano invariati indipendentemente dal modello scelto. In ogni caso, blocca il tag, misura le prestazioni sul tuo piano e lascia l'endpoint in ascolto sull'interfaccia di loopback.

FAQ

Ollama può eseguire GLM 5.2 localmente su un VPS?

No. Al 18 agosto 2026, GLM 5.2 esiste nella libreria di Ollama soltanto come glm-5.2:cloud, un tag che viene eseguito sull'infrastruttura di Ollama e richiede ollama signin prima di funzionare. Il modello ha 756 miliardi di parametri, quindi, anche con quattro bit per parametro, i soli pesi occupano centinaia di gigabyte, ben oltre la capacità offerta da qualsiasi piano VPS standard. Il modello GLM con pesi scaricabili adatto a un server a noleggio è glm-4.7-flash.

Quanta RAM richiede glm-4.7-flash?

Considera la dimensione del download del tag come valore minimo e aggiungi spazio per la cache KV e per il sistema operativo. Ollama indica 19 GB per il tag Q4, 32 GB per Q8 e 60 GB per il tag bfloat16. Non esiste un moltiplicatore fisso valido per tutti, perché la cache KV cresce in base alla lunghezza del contesto impostata. Carica il modello, esegui ollama ps e leggi la colonna SIZE per conoscere il valore effettivo sul tuo server.

Come posso misurare i token al secondo sul mio VPS?

Invia una richiesta a http://localhost:11434/api/generate con "stream": false, quindi leggi eval_count e eval_duration nella risposta. I token al secondo sono eval_count / eval_duration * 1e9, perché eval_duration è espresso in nanosecondi. Scarta la prima esecuzione, perché in quel caso load_duration include anche la lettura dei pesi dal disco. Ripeti il test usando anche un prompt lungo, perché prompt_eval_duration cresce con la lunghezza dell'input, mentre la velocità di generazione non cambia.

Perché non devo impostare OLLAMA_HOST su 0.0.0.0?

Perché l'API di Ollama non dispone di autenticazione. Associarla a 0.0.0.0 espone quindi su Internet un endpoint privo di autenticazione. Chiunque possa raggiungere la porta 11434 può generare contenuti sul tuo hardware e modificare l'elenco dei modelli installati. Mantieni l'associazione predefinita a 127.0.0.1, verificala con ss -ltnp | grep 11434 e accedi all'API dal laptop tramite un tunnel SSH come ssh -N -L 11434:127.0.0.1:11434 you@your-server.