SSD Nodes Learn Hosting plans →
Gidsen Matt ConnorDoor Matt Connor

GLM 5.2 draaien op een VPS: de mogelijkheden en limieten

GLM 5.2 is enkel beschikbaar via de cloud. Ontdek welk GLM-model wel op uw VPS past en hoeveel RAM u per kwantisatie nodig heeft om dit model lokaal te kunnen draaien.

Kunt u GLM 5.2 op een VPS uitvoeren?

Ja, maar niet via de officiële tag van Ollama. Op 25 oktober 2026 heeft GLM 5.2 in de bibliotheek van Ollama precies één tag: glm-5.2:cloud. Een :cloud-tag draait op de servers van Ollama. Uw server verstuurt de prompt en ontvangt de tokens, waardoor de gewichten nooit op uw schijf komen te staan. Z.ai publiceert gewichten en documenteert lokale implementatie met SGLang en vLLM. De eigen repository van Z.ai met gewichten vermeldt voor het model ongeveer 753 miljard parameters. Vier bits per parameter voor 753 miljard parameters komt neer op ongeveer 377 GB aan gewichten. Dat is een eenvoudige berekening zonder context, activaties of het besturingssysteem mee te rekenen. Gepubliceerde VPS-abonnementen overschrijden deze geheugengrootte: Paragon vermeldt voor zijn E-48 512 GB RAM voor €580 per maand.

Het GLM-model dat wel past op een server die u huurt, is glm-4.7-flash. Het wordt gepubliceerd met downloadbare gewichten in 4 tags. Het is een mixture-of-experts-model. Dat betekent dat per token slechts een klein deel van het netwerk wordt uitgevoerd. Z.ai beschrijft het als 30B-A3B: in totaal 30 miljard parameters, waarvan per token ongeveer 3 miljard actief zijn. Deze handleiding beantwoordt daarom de vraag waarmee u daadwerkelijk aan de slag kunt. Leg een tag vast, bepaal de benodigde servercapaciteit, meet uw eigen snelheid en houd het endpoint privé.

Controleer de tag voordat u een opdracht kopieert, ook de opdrachten in deze handleiding. De bibliotheek van Ollama kan zonder aankondiging wijzigen. Open de taglijst van glm-4.7-flash en controleer of de tag nog bestaat. Als er een nieuwere GLM-release met lokale gewichten beschikbaar is, geeft u daaraan de voorkeur en noteert u welke tag u daadwerkelijk hebt getest.

Als u toch GLM 5.2 zelf wilt uitvoeren, werkt ollama run glm-5.2:cloud na ollama signin en gedraagt het model zich aan de clientzijde als elk ander Ollama-model. Begrijp waarmee u instemt: de prompt verlaat uw server. Als u voor zelfhosting kiest omdat gegevens op uw eigen machine moeten blijven, voldoet een :cloud-tag niet aan die eis.

Welke GLM-tags bestaan er en welke moet u vastzetten

Hier zijn twee officiële GLM-vermeldingen relevant. glm-5.2 is in de bibliotheek van Ollama alleen in de cloud beschikbaar. glm-4.7-flash is de lokale variant. Hieronder staan de gepubliceerde tags en de downloadgrootte die Ollama voor elke tag vermeldt. Als u eerder glm-5.1 gebruikte, houd er dan rekening mee dat Ollama deze op 25 september 2026 heeft uitgefaseerd en dat de bibliotheekpagina nu geen modellen meer vermeldt. Z.ai publiceert nog steeds GLM-5.1-gewichten en documenteert lokale implementatie. De uitfasering door Ollama betekent dus niet dat het model elders niet beschikbaar is.

Grafiekglm-4.7-flash tags in Ollama's library, checked 2026-10-25
De gegevens achter deze grafiek
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

Dit zijn gepubliceerde waarden van de bibliotheekpagina, geen metingen. latest en q4_K_M staan beide vermeld met 19 GB. Daarom verwijst latest momenteel naar de Q4-build. Dat kan bij elke nieuwe publicatie veranderen. Schrijf daarom nooit een ongespecificeerde ollama pull glm-4.7-flash in een script of Dockerfile. Vermeld de quantisatie. De grootste tag, bf16, is een download van 60 GB met de niet-gequantiseerde bfloat16-gewichten.

Een zoekopdracht in de bibliotheek levert ook uploads met een namespace op, waarbij een slash in de naam staat, zoals someuser/glm-5.2. Een slash betekent dat een gebruikersaccount de upload heeft gepubliceerd. Het gaat dus om een opnieuw geüploade communityversie en niet om de officiële vermelding. Niemand garandeert welke gewichten deze bevat. Behandel deze zoals u elk niet-ondertekend binair bestand zou behandelen dat u online hebt gevonden.

Installeer Ollama en haal de exacte tag op

Het Linux-installatieprogramma van Ollama bestaat uit één opdracht.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Het installatieprogramma maakt een systemd-service die wordt uitgevoerd als de gebruiker ollama. Controleer of deze is gestart voordat u iets ophaalt.

systemctl status ollama --no-pager

Active: active (running) betekent dat systemd de service als actief beschouwt. Dit bevestigt niet dat de API klaar is voor gebruik of op de poort luistert. Controleer de API afzonderlijk met curl -fsS http://127.0.0.1:11434/api/tags op het standaardadres en de standaardpoort. Als de unit niet bestaat, is het installatieprogramma teruggevallen op een installatie met alleen een binair bestand. In de Ollama Linux-documentatie staat welk servicebestand u handmatig kunt maken.

Op de pagina glm-4.7-flash staat een minimale Ollama-versie. Een ouder binair bestand voert het model niet langzaam uit, maar weigert het. Het ophalen mislukt dan met een melding dat het model een nieuwere versie van Ollama vereist. Voer het installatiescript opnieuw uit om een upgrade uit te voeren. Op 2 november 2026 is de huidige release 0.40.13. Die ligt ruim boven de minimale versie.

Haal nu één tag op naam op.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls moet glm-4.7-flash:q4_K_M vermelden, met een grootte die dicht bij de gepubliceerde 19 GB ligt. Als het ophalen halverwege mislukt, blijft er niets uitvoerbaars achter. Voer dezelfde opdracht daarom opnieuw uit. Controleer bij een klein plan eerst de beschikbare schijfruimte. De standaard Linux-installatie schrijft modellen naar /usr/share/ollama/.ollama/models, tenzij u de locatie wijzigt met OLLAMA_MODELS. Controleer dit met df -h /usr/share/ollama voordat u begint.

Hoeveel RAM heeft elke kwantisatie nodig?

Begin met de downloadgrootte als ondergrens en tel daar extra geheugen bij op. De gewichten moeten in het geheugen aanwezig zijn. Daarbovenop komt de KV-cache (key/value-cache). Dit is het geheugen dat de runtime gebruikt om de tokens te onthouden die al in het gesprek staan. Daarnaast zijn er rekenbuffers en het geheugen dat het besturingssysteem gebruikt. Een systeem met precies 19 GB RAM kan de tag van 19 GB niet uitvoeren.

Er is geen enkele vermenigvuldigingsfactor die voor iedereen klopt. De KV-cache groeit namelijk mee met de contextlengte die u toestaat, en de overige geheugengegevens verschillen per runtimeversie. Meet daarom in plaats van te schatten. Laad het model met een eenvoudige prompt en lees daarna af hoeveel geheugen de server heeft gereserveerd.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps toont het geladen model met een kolom SIZE en een kolom PROCESSOR. SIZE is de hoeveelheid geheugen die de runtime daadwerkelijk heeft gereserveerd. Dat is het getal waarmee u uw planning moet vergelijken. PROCESSOR geeft aan waar het werk wordt uitgevoerd. 100% CPU betekent dat er helemaal geen GPU is gebruikt.

Wanneer het model niet in het geheugen past, kan Ollama een laadfout retourneren voordat de generatie begint. Swapdruk en een out-of-memory-kill zijn andere mogelijke uitkomsten. Controleer de servicelogs met journalctl -u ollama --no-pager en de kernel­logs met journalctl -k | grep -i "out of memory". Ga er niet van uit dat elke geheugenfout stil blijft.

De stap van de 19 GB Q4-tag naar de 32 GB Q8-tag is de belangrijkste factor waarop u invloed hebt. Q4 kost u enige uitvoerkwaliteit. Hoeveel dat is, hangt af van de taak. Gestructureerde uitvoer en lange redeneerstappen hebben er doorgaans meer last van dan gewone chat. Hoe Q4, Q8 en FP16 zich in de praktijk onderscheiden is het lezen waard voordat u een keuze maakt. Op een CPU-only VPS bepaalt de kwantisatiekeuze meestal of het model überhaupt wordt uitgevoerd.

Wat gebeurt er op een VPS zonder GPU

De meeste VPS-abonnementen worden geleverd zonder GPU, en Ollama zal het model op de CPU uitvoeren zonder u hiervoor te waarschuwen. Of het resultaat bruikbaar is, hangt af van de werklast en uw geduld.

Het mixture-of-experts-ontwerp helpt bij de snelheid. Slechts ongeveer 3 miljard van de 30 miljard parameters worden gebruikt voor een willekeurige token, waardoor het rekenwerk per token veel kleiner is dan wat een dense 30B-model nodig zou hebben. Wat niet afneemt, is het geheugengebruik. Elke expert moet in het geheugen blijven, omdat de router voor de volgende token elk van hen kan kiezen. Een systeem met alleen een CPU heeft dus nog steeds de volledige 19 GB of meer nodig voor de Q4-tag, en de doorvoer wordt grotendeels bepaald door de geheugenbandbreedte in plaats van door de kloksnelheid.

Dit heeft een praktisch gevolg: twee abonnementen met hetzelfde aantal cores en dezelfde hoeveelheid RAM kunnen op merkbaar verschillende snelheden genereren omdat hun geheugensubsystemen verschillen. Een gedeeld abonnement voegt een tweede variabele toe, aangezien CPU-steltijd door een luidruchtige buur zich manifesteert als een tokens-per-seconde-cijfer dat van uur tot uur verandert. Dit is de reden waarom de gepubliceerde cijfers van anderen niet voorspellen wat u zult behalen, en de reden waarom de volgende sectie een meetrecept is in plaats van een tabel met resultaten.

Meet uw eigen tokens per seconde

Het generate-eindpunt van Ollama retourneert timingvelden in het uiteindelijke JSON-object. Deel het aantal gegenereerde tokens door de generatieduur om uw snelheid te bepalen, gebaseerd op uw plan en uw prompt.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count staat voor het aantal gegenereerde tokens en eval_duration voor het aantal nanoseconden dat aan de generatie is besteed, dus eval_count / eval_duration * 1e9 is het aantal tokens per seconde. prompt_eval_duration omvat het lezen van uw prompt; dit is de wachttijd die een gebruiker ervaart voordat het eerste token verschijnt. load_duration is de tijd die nodig is om het model vanaf de schijf te laden; deze waarde is hoog bij de eerste aanroep na een herstart en bijna nul bij de daaropvolgende aanroepen.

Voer de test drie keer uit en behoud de tweede en derde resultaten, aangezien de eerste meting het laden van het model bevat. Voer de test vervolgens opnieuw uit met een veel langere prompt, aangezien de verwerking van de prompt schaalt met de invoerlengte, terwijl de generatiesnelheid dat niet doet. Noteer de getallen naast uw plannaam en uw kwantisatie. Deze registratie is waardevoller dan elk benchmarkrapport dat u leest, omdat deze is gemeten op de hardware waarvoor u betaalt.

Hoe contextlengte het geheugengebruik vermenigvuldigt

Op een systeem zonder GPU, of met minder dan 24 GiB VRAM, hanteert Ollama standaard een context van 4096 tokens. Het model ondersteunt er veel meer, namelijk 198K tokens voor glm-4.7-flash, maar dit is niet de standaardinstelling en het inschakelen hiervan brengt kosten met zich mee.

De KV-cache bevat voor elk token, in elke laag, een key-vector en een value-vector. De omvang hiervan groeit lineair met het aantal tokens dat u toestaat. Een verhoging van 4096 naar 32768 tokens betekent een acht keer zo grote context, en dus ongeveer een acht keer zo grote KV-cache. Op een systeem dat precies genoeg geheugen heeft voor de gewichten, zorgt deze extra toewijzing ervoor dat het systeem naar swap uitwijkt. Dit verklaart waarom een machine die korte prompts probleemloos verwerkt, plotseling traag wordt wanneer iemand een lang document plakt. Als u op hetzelfde systeem een langere context nodig heeft, kan het opslaan van de KV-cache als q8_0 in plaats van f16 die toewijzing ongeveer halveren zonder de gewichten aan te passen. De FAQ van Ollama stelt dat q8_0 ongeveer de helft van het geheugen inneemt van f16, wat de standaard is voor OLLAMA_KV_CACHE_TYPE, en de gekwantiseerde cache is alleen van toepassing wanneer flash attention is ingeschakeld. Ollama schakelt flash attention automatisch in wanneer de backend en apparaten dit ondersteunen, en OLLAMA_FLASH_ATTENTION=1 dwingt dit af.

Stel dit per verzoek in met num_ctx in het options-object, zoals in het bovenstaande curl-commando, of wijzig de standaardinstelling van de server.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Het laatste commando hoort uw OLLAMA_CONTEXT_LENGTH-waarde weer te geven. Als het een lege Environment= toont, staat het override-bestand in de verkeerde map of is het herladen overgeslagen. Na het laden van het volgende model hoort ollama ps een zichtbaar grotere SIZE te tonen dan bij 4096. Verhoog de waarde in stappen en controleer dat getal telkens opnieuw. Het instellen van de contextlengte van Ollama met num_ctx beschrijft hoe dit samenwerkt met keep-alive en parallelle verzoeken, die beide dezelfde kosten vermenigvuldigen. Als meer dan één client de server gebruikt, bepaal dan de gelijktijdigheidslimieten tegelijk met de context, omdat elke parallelle slot een eigen KV-cache heeft en de queue-instelling bepaalt of een tweede verzoek wacht of direct wordt geweigerd.

Wanneer de API goedkoper is dan de eigen server

Zelf-hosting is niet automatisch goedkoper, en voor deze familie van modellen maken de gepubliceerde catalogusprijzen dat punt ongewoon duidelijk.

GrafiekZ.ai published list prices per million tokens, checked 2026-10-25
De gegevens achter deze grafiek
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

Per 25 oktober 2026 vermeldt Z.ai GLM-5.2 voor $1.4 per miljoen input-tokens en $4.4 per miljoen output-tokens. Het vermeldt GLM-4.7-Flash, het model dat in deze handleiding lokaal wordt gedraaid, voor $0 in beide richtingen. Dit zijn gepubliceerde prijzen die kunnen wijzigen; controleer daarom de actuele pagina voordat u een budget plant op basis van een van beide.

Het financiële argument voor zelf-hosting glm-4.7-flash is op dit moment dus zwak. Een VPS met voldoende RAM kost elke maand echt geld, terwijl de uitgever hetzelfde model gratis aanbiedt. Wat u koopt door het zelf te draaien is anders: uw prompts blijven op een machine die u beheert, en de modelversie verandert nooit tenzij u dat zelf doet. Dat zijn goede redenen voor zelf-hosting. Kosten zijn dat voor dit model, tegen deze prijzen, niet.

De rekensom verandert wanneer het model dat u wilt niet gratis is, of wanneer uw data uw eigen netwerk wettelijk niet mag verlaten. Het omslagpunt tussen een GPU VPS en API-tokens werkt die berekening uit met elke variabele benoemd. Als u nog bezig bent met het kiezen van de machine, is wat een VPS daadwerkelijk per maand kost de andere helft van de som.

Het eindpunt op localhost houden

Dit is de stap die mensen overslaan, terwijl dit de belangrijkste stap is.

Ollama bindt standaard aan 127.0.0.1 op poort 11434. De service is daardoor alleen vanaf de server zelf bereikbaar. Controleer dit op uw server en ga er niet zomaar van uit.

ss -ltnp | grep 11434

U moet 127.0.0.1:11434 zien. Als u 0.0.0.0:11434 of *:11434 ziet, luistert de API op elke interface, waaronder de publieke interface.

Dit is belangrijk omdat de lokale API van Ollama standaard geen authenticatie vereist. Er is geen wachtwoord, token of allowlist. Iedereen die poort 11434 kan bereiken, kan uw modellen opvragen, generatie uitvoeren op hardware waarvoor u betaalt, nieuwe modellen naar uw schijf downloaden totdat deze vol is en uw bestaande modellen verwijderen. Poort 11434 is de bekende standaardpoort; met OLLAMA_HOST kunt u zowel het bindadres als de poort wijzigen.

Stel OLLAMA_HOST=0.0.0.0 niet in. Deze variabele wijzigt het adres waaraan Ollama bindt. Veel tutorials adviseren dit als oplossing wanneer een client op uw laptop geen verbinding kan maken. Dat is de verkeerde oplossing. Stuur de poort door.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

SSH luistert op poort 11434 op uw laptop en stuurt elke verbinding door naar 127.0.0.1:11434, gezien vanaf de server. Daar luistert Ollama standaard al. De tunnel vereist daarom geen wijziging van OLLAMA_HOST. Elke client die voor http://localhost:11434 is geconfigureerd, blijft ongewijzigd werken en er wordt niets nieuws blootgesteld. Gebruik voor meerdere personen of machines een privé-tunnelnetwerk op de server en bind Ollama aan het tunneladres, nooit aan 0.0.0.0.

Controleer dit vanaf een andere locatie dan de server. Sluit op uw laptop eerst de SSH-tunnel:

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out of curl: (7) Failed to connect is het juiste resultaat. Als u een JSON-lijst van uw modellen krijgt, staat de poort open voor internetverkeer. Los dit onmiddellijk op. De netwerkfirewall van uw provider is een afzonderlijke beveiligingsmaatregel naast de firewall op de server. Controleer daarom beide. De bredere vraag of VPS-hosting veilig is behandelt de overige basismaatregelen voor een machine die u continu laat draaien.

Als glm-4.7-flash nog steeds te groot is

Wanneer de Q4-tag niet in uw plan past, is de oplossing een kleiner model, niet een kleinere context. Het inkorten van de context om een model passend te maken, resulteert in een model dat wel laadt, maar faalt bij de eerste lange prompt. Qwen 3 op 8B en 27B op een VPS doorloopt hetzelfde installatiepad voor formaten die geschikt zijn voor bescheiden systemen, en de algemene handleiding voor het zelf hosten van een LLM met Ollama op een VPS behandelt de onderdelen die gelijk blijven, ongeacht welk model u kiest. Waar u ook voor kiest, zet de tag vast, meet de prestaties op uw eigen plan en laat het eindpunt op loopback staan.

FAQ

Kan GLM 5.2 lokaal op een VPS draaien?

Ja, met de door Z.ai gepubliceerde weights en een ondersteunde runtime zoals SGLang of vLLM. Op 25 oktober 2026 bestaat GLM 5.2 in de bibliotheek van Ollama alleen als glm-5.2:cloud, een tag die op de eigen infrastructuur van Ollama draait en ollama signin nodig heeft voordat deze werkt. In de weights-repository van Z.ai staat het model op ongeveer 753 miljard parameters. Zelfs met vier bits per parameter nemen alleen de weights al ongeveer 377 GB in beslag. Gepubliceerde VPS-plannen met veel geheugen overschrijden dat getal, waaronder Paragon's 512 GB E-48. U hebt echter ook ruimte nodig voor runtime-overhead en de context. Het kleinere GLM-model met downloadbare weights dat in deze handleiding wordt gebruikt, is glm-4.7-flash.

Hoeveel RAM heeft glm-4.7-flash nodig?

Beschouw de downloadgrootte van de tag als ondergrens en reserveer daarnaast ruimte voor de KV-cache en het besturingssysteem. Ollama vermeldt voor de Q4-tag 19 GB, voor Q8 32 GB en voor de bfloat16-tag 60 GB. Er is geen vaste vermenigvuldigingsfactor die voor iedereen klopt, omdat de KV-cache groeit met de contextlengte die u instelt. Laad het model, voer ollama ps uit en lees de kolom SIZE voor de werkelijke waarde op uw eigen systeem.

Hoe meet ik tokens per seconde op mijn eigen VPS?

Stuur één verzoek naar http://localhost:11434/api/generate met "stream": false en lees daarna eval_count en eval_duration uit de response. Tokens per seconde is eval_count / eval_duration * 1e9, omdat eval_duration in nanoseconden wordt gerapporteerd. Negeer de eerste uitvoering, omdat load_duration daarin ook het inlezen van de weights vanaf de schijf omvat. Herhaal de meting ook met een lange prompt, omdat prompt_eval_duration toeneemt met de lengte van de invoer, terwijl de generatiesnelheid niet toeneemt.

Waarom moet ik OLLAMA_HOST niet instellen op 0.0.0.0?

Omdat de lokale API van Ollama standaard geen authenticatie vereist. Als u deze aan 0.0.0.0 bindt, wordt de API op elke IPv4-interface beschikbaar. Publieke toegang hangt dan af van routing en firewalls. Iedereen die poort 11434 kan bereiken, kan op uw hardware genereren en wijzigen welke modellen zijn geïnstalleerd. Behoud de standaardbinding op 127.0.0.1, controleer deze met ss -ltnp | grep 11434 en gebruik vanaf uw laptop een SSH-tunnel naar de API, zoals ssh -N -L 11434:127.0.0.1:11434 you@your-server.

Was dit artikel nuttig?