GLM 5.2 auf VPS mit Ollama ausführen
GLM 5.2 ist in Ollama nur als :cloud verfügbar. Erfahren Sie, welches GLM-Modell auf einen VPS passt und wie viel RAM jede Quantisierung benötigt.
Kann man GLM 5.2 auf einem VPS ausführen?
Nein, und es ist wichtig, den Grund dafür zu kennen, bevor Sie Ressourcen anmieten. Stand 12. Oktober 2026 besitzt GLM 5.2 in der Ollama-Bibliothek genau ein Tag, glm-5.2:cloud. Ein :cloud-Tag läuft auf den Servern von Ollama. Ihr System sendet den Prompt und empfängt die Tokens; die Gewichte gelangen also nie auf Ihren Datenträger. Das offizielle Gewichte-Repository von Z.ai beziffert das Modell auf etwa 753 Milliarden Parameter. Vier Bits pro Parameter bei 753 Milliarden Parametern entsprechen grob 377 GB an Gewichten – und das ist die reine Rechnung vor Berücksichtigung von Kontext, Aktivierungen oder dem Betriebssystem. Kein Standard-VPS-Tarif bietet so viel Arbeitsspeicher.
Das GLM-Modell, das auf einen gemieteten Server passt, ist glm-4.7-flash. Es wird mit herunterladbaren Gewichten in 4 Tags veröffentlicht. Es handelt sich um ein Mixture-of-Experts-Modell, bei dem für jeden Token nur ein kleiner Teil des Netzwerks ausgeführt wird. Z.ai beschreibt es als 30B-A3B: 30 Milliarden Parameter insgesamt, davon etwa 3 Milliarden aktiv pro Token. Diese Anleitung beantwortet daher die Frage, auf deren Basis Sie handeln können. Legen Sie ein Tag fest, dimensionieren Sie den Server, messen Sie Ihre eigene Geschwindigkeit und halten Sie den Endpunkt privat.
Überprüfen Sie das Tag, bevor Sie Befehle kopieren, auch die in diesem Dokument. Die Ollama-Bibliothek ändert sich ohne Vorankündigung. Öffnen Sie die glm-4.7-flash Tag-Liste und bestätigen Sie, dass das Tag noch existiert. Falls ein neueres GLM-Release mit lokalen Gewichten erschienen ist, bevorzugen Sie dieses und protokollieren Sie, welches Tag Sie tatsächlich getestet haben.
Wenn Sie GLM 5.2 dennoch nutzen möchten, funktioniert ollama run glm-5.2:cloud nach ollama signin, und aus Sicht des Clients verhält es sich wie jedes andere Ollama-Modell. Seien Sie sich bewusst, womit Sie einverstanden sind: Der Prompt verlässt Ihren Server. Wenn Ihr Grund für das Self-Hosting darin besteht, dass Daten auf Ihrer Maschine bleiben müssen, erfüllt ein :cloud-Tag diesen Zweck nicht.
Welche GLM-Tags existieren und welches sollte man festlegen
Hier sind zwei offizielle GLM-Einträge relevant. glm-5.2 ist ausschließlich für die Cloud bestimmt. glm-4.7-flash ist die lokale Variante; dies sind die veröffentlichten Tags zusammen mit der von Ollama jeweils angegebenen Download-Größe. Falls Sie zuvor glm-5.1 verwendet haben, beachten Sie, dass Ollama dieses am 25. September 2026 eingestellt hat. Die entsprechende Bibliotheksseite führt keine Modelle mehr auf, sodass es weder in der Cloud noch lokal verfügbar ist.
Die Daten hinter diesem Diagramm
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]Dies sind die veröffentlichten Zahlen von der Bibliotheksseite, keine eigenen Messungen. latest und q4_K_M werden beide mit 19 GB gelistet, weshalb latest derzeit auf den Q4-Build verweist. Dies kann sich bei jeder Neuveröffentlichung ändern; schreiben Sie daher niemals ein bloßes ollama pull glm-4.7-flash in ein Skript oder ein Dockerfile. Geben Sie die Quantisierung explizit an. Das größte Tag, bf16, ist ein 60 GB großer Download, der die unquantisierten bfloat16-Gewichte enthält.
Eine Suche in der Bibliothek liefert auch Uploads mit Namensraum, die einen Schrägstrich im Namen enthalten, wie etwa someuser/glm-5.2. Ein Schrägstrich bedeutet, dass ein Benutzerkonto das Modell veröffentlicht hat; es handelt sich also um einen Community-Re-Upload und nicht um den offiziellen Eintrag. Niemand garantiert, welche Gewichte darin enthalten sind. Behandeln Sie ein solches Modell wie jede andere unsignierte Binärdatei, die Sie im Internet finden.
Installation von Ollama und Abrufen des exakten Tags
Der Linux-Installer von Ollama besteht aus einem einzigen Befehl.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionDer Installer erstellt einen systemd-Dienst, der als Benutzer ollama ausgeführt wird. Stellen Sie sicher, dass dieser gestartet wurde, bevor Sie etwas herunterladen.
systemctl status ollama --no-pagerActive: active (running) bedeutet, dass die API auf Port 11434 auf Anfragen wartet. Falls die Unit nicht existiert, ist der Installer auf eine einfache Binärinstallation ausgewichen. Die Ollama Linux-Dokumentation enthält die Service-Datei, die in diesem Fall manuell erstellt werden muss.
Die Seite glm-4.7-flash listet eine Mindestversion für Ollama auf. Eine veraltete Binärdatei führt das Modell nicht langsam aus, sondern verweigert den Dienst: Der Pull-Vorgang schlägt mit der Meldung fehl, dass das Modell eine neuere Version von Ollama erfordert. Führen Sie das Installationsskript erneut aus, um ein Upgrade durchzuführen. Stand 12. Oktober 2026 ist die aktuelle Version 0.40.3, welche die Mindestanforderungen weit übertrifft.
Rufen Sie nun ein Tag anhand seines Namens ab.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls sollte glm-4.7-flash:q4_K_M mit einer Größe auflisten, die nahe bei den veröffentlichten 19 GB liegt. Ein Pull-Vorgang, der vorzeitig abbricht, hinterlässt keine ausführbaren Daten; führen Sie den Befehl in diesem Fall einfach erneut aus. Die häufigste Ursache für einen fehlgeschlagenen Pull bei kleinen Instanzen ist ein voller Datenträger und kein Netzwerkproblem, da das Modell unter /usr/share/ollama/.ollama/models auf dem Root-Dateisystem gespeichert wird. Prüfen Sie dies mit df -h /usr/share/ollama, bevor Sie beginnen.
Wie viel RAM benötigt jede Quantisierung?
Beginnen Sie mit der Download-Größe als Untergrenze und addieren Sie weitere Werte hinzu. Die Gewichte müssen vollständig im Arbeitsspeicher geladen sein. Zusätzlich belegt der KV-Cache (Key/Value-Cache) Speicherplatz; dies ist der Bereich, den die Laufzeitumgebung nutzt, um sich die bereits im Gespräch generierten Tokens zu merken. Hinzu kommen Rechenpuffer und der Speicherbedarf des Betriebssystems. Ein System mit exakt 19 GB RAM wird das 19 GB-Tag nicht ausführen können.
Es gibt keinen universellen Multiplikator, da der KV-Cache mit der zugelassenen Kontextlänge wächst und der restliche Speicherbedarf zwischen verschiedenen Laufzeitversionen variiert. Messen Sie daher, anstatt zu schätzen. Laden Sie das Modell mit einem einfachen Prompt und lesen Sie ab, wie viel Speicher der Server reserviert hat.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps gibt das geladene Modell mit einer SIZE-Spalte und einer PROCESSOR-Spalte aus. SIZE entspricht dem tatsächlich von der Laufzeitumgebung reservierten Speicher; dies ist der Wert, den Sie mit Ihrer Planung vergleichen sollten. PROCESSOR zeigt an, wo die Berechnung stattfindet; 100% CPU bedeutet beispielsweise, dass keine GPU beteiligt war.
Wenn das Modell nicht in den Speicher passt, erfolgt der Fehler ohne explizite Meldung und äußert sich auf zwei Arten. Bei aktiviertem Swap scheint der Ladevorgang erfolgreich zu sein, aber die Generierung verläuft extrem langsam, da für jedes Token Speicherseiten zwischen Festplatte und RAM verschoben werden. Ohne Swap wird der Prozess sofort beendet, und journalctl -k | grep -i "out of memory" zeigt in der Out of memory: Killed process-Zeile des Kernels den Namen ollama an. Überprüfen Sie beides, da in keinem der Fälle eine hilfreiche Fehlermeldung im Terminal erscheint, in dem Sie den Befehl eingegeben haben.
Der Schritt vom 19 GB Q4-Tag zum 32 GB Q8-Tag ist der wichtigste Hebel, den Sie zur Beeinflussung dieses Wertes haben. Q4 kostet etwas Ausgabequalität. Wie stark sich dies auswirkt, hängt von der Aufgabe ab; strukturierte Ausgaben und lange logische Schlussfolgerungen leiden stärker darunter als einfache Konversationen. Unterschiede zwischen Q4, Q8 und FP16 in der Praxis zu lesen ist empfehlenswert, bevor Sie sich festlegen, da auf einem reinen CPU-VPS die Wahl der Quantisierung meist darüber entscheidet, ob das Modell überhaupt läuft.
Was passiert auf einem VPS ohne GPU
Die meisten VPS-Tarife enthalten keine GPU, und Ollama führt das Modell ohne Warnung auf der CPU aus. Ob das Ergebnis brauchbar ist, hängt von der Arbeitslast und Ihrer Geduld ab.
Das Mixture-of-Experts-Design hilft bei der Geschwindigkeit. Da für jedes Token nur etwa 3 Milliarden der 30 Milliarden Parameter verwendet werden, ist der Rechenaufwand pro Token deutlich geringer als bei einem dichten 30B-Modell. Was jedoch nicht schrumpft, ist der Speicherbedarf. Jeder Experte muss im Arbeitsspeicher resident bleiben, da der Router für das nächste Token jeden von ihnen auswählen kann. Ein System ohne GPU benötigt daher weiterhin die vollen 19 GB oder mehr für das Q4-Tag, und der Durchsatz wird primär durch die Speicherbandbreite und weniger durch die Taktfrequenz bestimmt.
Dies hat eine praktische Konsequenz: Zwei Tarife mit der gleichen Anzahl an Kernen und dem gleichen RAM können spürbar unterschiedliche Geschwindigkeiten aufweisen, da sich ihre Speichersubsysteme unterscheiden. Ein Shared-Tarif fügt eine zweite Variable hinzu, da sich CPU-Steal-Time durch einen lauten Nachbarn in einer Tokens-pro-Sekunde-Zahl niederschlägt, die sich von Stunde zu Stunde ändert. Aus diesem Grund lassen die veröffentlichten Zahlen anderer Anbieter keine Rückschlüsse auf Ihre eigene Leistung zu, und deshalb ist der nächste Abschnitt ein Rezept für Messungen anstelle einer Ergebnistabelle.
Messen der eigenen Tokens pro Sekunde
Der generate-Endpunkt von Ollama liefert Zeitmessungsdaten im abschließenden JSON-Objekt. Teilen Sie die Anzahl der generierten Tokens durch die Dauer der Generierung, um Ihren Wert für Ihren Tarif und Ihren Prompt zu erhalten.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count gibt an, wie viele Tokens generiert wurden, und eval_duration ist die für die Generierung benötigte Zeit in Nanosekunden; eval_count / eval_duration * 1e9 entspricht somit den Tokens pro Sekunde. prompt_eval_duration umfasst das Einlesen Ihres Prompts, was der Benutzer als Wartezeit wahrnimmt, bevor das erste Token erscheint. load_duration ist die Zeit, die für das Laden des Modells von der Festplatte benötigt wird; dieser Wert ist beim ersten Aufruf nach einem Neustart hoch und bei nachfolgenden Aufrufen nahezu null.
Führen Sie den Test dreimal aus und verwenden Sie die Ergebnisse des zweiten und dritten Durchlaufs, da der erste Durchlauf die Ladezeit enthält. Wiederholen Sie den Test anschließend mit einem deutlich längeren Prompt, da die Verarbeitung des Prompts mit der Eingabelänge skaliert, die Generierungsgeschwindigkeit hingegen nicht. Notieren Sie die Werte neben Ihrem Tarifnamen und Ihrer Quantisierung. Diese Aufzeichnung ist wertvoller als jeder Benchmark, den Sie lesen, da sie auf der Hardware gemessen wurde, für die Sie bezahlen.
Wie die Kontextlänge den Speicherbedarf vervielfacht
Auf einem System ohne GPU oder mit weniger als 24 GiB VRAM verwendet Ollama standardmäßig einen Kontext von 4096 Token. Das Modell gibt zwar eine deutlich höhere Kapazität an, nämlich 198K Token für glm-4.7-flash, diese steht jedoch nicht standardmäßig zur Verfügung, und ihre Aktivierung ist mit Kosten verbunden.
Der KV-Cache enthält für jedes Token in jeder Schicht jeweils einen Key-Vektor und einen Value-Vektor. Seine Größe wächst linear mit der Anzahl der zugelassenen Token. Die Erhöhung von 4096 auf 32768 Token vervielfacht den Kontext auf das Achtfache und damit ungefähr auch den KV-Cache. Auf einem System, dessen Arbeitsspeicher gerade für die Gewichte ausreicht, führt diese zusätzliche Allokation unmittelbar zu Swap-Aktivität. Deshalb arbeitet ein System, das kurze Prompts problemlos verarbeitet hat, plötzlich sehr langsam, wenn jemand ein langes Dokument einfügt. Wenn Sie den längeren Kontext auf demselben System benötigen, halbiert das Speichern des KV-Cache mit q8_0 statt f16 diese Allokation ungefähr, ohne die Gewichte zu verändern. Flash Attention muss dafür jedoch zuerst aktiviert werden.
Legen Sie den Wert pro Anfrage über num_ctx im Options-Objekt fest, wie im obigen curl-Befehl gezeigt, oder ändern Sie den Standardwert des Servers.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentDer letzte Befehl sollte Ihren OLLAMA_CONTEXT_LENGTH-Wert ausgeben. Wenn ein leeres Environment= ausgegeben wird, befindet sich die Override-Datei im falschen Verzeichnis oder das Neuladen wurde übersprungen. Nach dem nächsten Laden des Modells sollte ollama ps ein sichtbar größeres SIZE anzeigen als bei 4096. Erhöhen Sie den Wert schrittweise und beobachten Sie diese Zahl bei jedem Durchgang. Festlegen der Kontextlänge von Ollama mit num_ctx erläutert, wie dies mit keep-alive und parallelen Anfragen interagiert, da beide Faktoren die gleichen Kosten vervielfachen. Wenn mehr als ein Client den Server nutzt, sollten Sie die Nebenläufigkeitslimits gleichzeitig mit dem Kontext festlegen, da jeder parallele Slot einen eigenen KV-Cache benötigt und die Warteschlangeneinstellung bestimmt, ob eine zweite Anfrage wartet oder direkt abgelehnt wird.
Wenn die API günstiger ist als der Server
Self-Hosting ist nicht automatisch kostengünstiger, und für diese Modellfamilie verdeutlichen die veröffentlichten Listenpreise diesen Punkt ungewöhnlich klar.
Die Daten hinter diesem Diagramm
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]Stand 12. Oktober 2026 listet Z.ai das Modell GLM-5.2 mit $1.4 pro Million Input-Token und $4.4 pro Million Output-Token. GLM-4.7-Flash, das Modell, das in dieser Anleitung lokal betrieben wird, wird mit $0 für beide Richtungen geführt. Dies sind veröffentlichte Preise, die sich ändern können; prüfen Sie daher die aktuelle Seite, bevor Sie ein Budget auf Basis dieser Werte planen.
Das finanzielle Argument für Self-Hosting glm-4.7-flash ist derzeit also schwach. Ein VPS mit ausreichend RAM kostet jeden Monat echtes Geld, während der Anbieter dasselbe Modell kostenlos bereitstellt. Was Sie durch den Eigenbetrieb gewinnen, ist etwas anderes: Ihre Prompts verbleiben auf einer Maschine, die Sie kontrollieren, und die Modellversion ändert sich nie, es sei denn, Sie ändern sie selbst. Das sind gute Gründe für Self-Hosting. Die Kosten gehören bei diesem Modell und zu diesen Preisen nicht dazu.
Die Rechnung ändert sich, wenn das gewünschte Modell nicht kostenlos ist oder wenn Ihre Daten das eigene Netzwerk aus rechtlichen Gründen nicht verlassen dürfen. Der Break-even-Punkt zwischen einem GPU-VPS und API-Token erläutert diese Berechnung unter Berücksichtigung aller Variablen. Wenn Sie noch bei der Auswahl der Hardware sind, ist was ein VPS tatsächlich pro Monat kostet die andere Hälfte der Kalkulation.
Den Endpunkt auf localhost belassen
Dies ist der Schritt, den die meisten überspringen, obwohl er am wichtigsten ist.
Ollama bindet standardmäßig an 127.0.0.1 auf Port 11434, sodass es nur vom Server selbst aus erreichbar ist. Überprüfen Sie dies auf Ihrem System, anstatt es vorauszusetzen.
ss -ltnp | grep 11434Sie sollten 127.0.0.1:11434 sehen. Wenn Sie 0.0.0.0:11434 oder *:11434 sehen, bedeutet dies, dass die API auf allen Schnittstellen lauscht, einschließlich der öffentlichen.
Dies ist kritisch, da die API von Ollama keine Authentifizierung besitzt. Es gibt kein Passwort, kein Token und keine Whitelist. Jeder, der Port 11434 erreichen kann, kann Ihre Modelle auflisten, Berechnungen auf Ihrer Hardware ausführen, für die Sie bezahlen, neue Modelle auf Ihre Festplatte laden, bis diese voll ist, und Ihre vorhandenen Modelle löschen. Port 11434 ist fest definiert und bekannt, daher finden Scanner offene Ports schnell.
Setzen Sie nicht OLLAMA_HOST=0.0.0.0. Viele Anleitungen schlagen dies als Lösung vor, wenn ein Client auf Ihrem Laptop keine Verbindung herstellen kann; dies ist jedoch die falsche Lösung. Leiten Sie stattdessen den Port weiter.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverDies leitet Port 11434 auf Ihrem Laptop über SSH an die Loopback-Adresse des Servers weiter. Dadurch funktioniert jeder Client, der für http://localhost:11434 konfiguriert ist, unverändert, und es wird nichts Neues nach außen hin exponiert. Für mehrere Personen oder mehrere Rechner sollten Sie den Server in ein privates Tunnel-Netzwerk einbinden und Ollama an die Tunnel-Adresse binden, niemals an 0.0.0.0.
Überprüfen Sie dies von einem anderen Ort als dem Server aus. Führen Sie dies von Ihrem Laptop aus, während der SSH-Tunnel geschlossen ist:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out oder curl: (7) Failed to connect ist das korrekte Ergebnis. Eine JSON-Liste Ihrer Modelle bedeutet, dass der Port zum Internet hin offen ist und sofort korrigiert werden muss. Die Netzwerk-Firewall Ihres Providers ist eine separate Kontrollebene neben der Firewall auf dem Server selbst; prüfen Sie daher beide. Die allgemeinere Frage, ob VPS-Hosting sicher ist behandelt die restlichen Grundlagen für einen Rechner, den Sie dauerhaft betreiben.
Wenn glm-4.7-flash weiterhin zu groß ist
Wenn das Q4-Tag nicht in Ihren Plan passt, ist die Lösung ein kleineres Modell, nicht ein kleinerer Kontext. Den Kontext zu kürzen, um ein Modell unterzubringen, führt dazu, dass es zwar geladen wird, aber bei der ersten langen Eingabeaufforderung fehlschlägt. Qwen 3 mit 8B und 27B auf einem VPS beschreibt denselben Installationspfad für Größen, die für bescheidenere Systeme geeignet sind, und der allgemeine Leitfaden zum Self-Hosting eines LLM mit Ollama auf einem VPS behandelt die Aspekte, die unabhängig von der Modellwahl gleich bleiben. Wofür auch immer Sie sich entscheiden: Fixieren Sie das Tag, testen Sie es auf Ihrem eigenen Plan und belassen Sie den Endpunkt auf dem Loopback-Interface.
FAQ
Kann GLM 5.2 lokal auf einem VPS ausgeführt werden?
Nein. Seit dem 12. Oktober 2026 ist GLM 5.2 in der Ollama-Bibliothek nur als glm-5.2:cloud verfügbar, ein Tag, der auf der Infrastruktur von Ollama läuft und ollama signin erfordert, bevor er funktioniert. Das Gewichts-Repository von Z.ai beziffert das Modell auf etwa 753 Milliarden Parameter. Selbst bei vier Bit pro Parameter betragen die Gewichte allein hunderte Gigabytes und übersteigen damit die Kapazitäten jedes Standard-VPS-Tarifs bei weitem. Das GLM-Modell mit herunterladbaren Gewichten, das auf einen gemieteten Server passt, ist glm-4.7-flash.
Wie viel RAM benötigt glm-4.7-flash?
Betrachten Sie die Download-Größe des Tags als Untergrenze und addieren Sie den Speicherbedarf für den KV-Cache sowie das Betriebssystem. Ollama gibt den Q4-Tag mit 19 GB, Q8 mit 32 GB und den bfloat16-Tag mit 60 GB an. Es gibt keinen allgemeingültigen Multiplikator, da der KV-Cache mit der von Ihnen festgelegten Kontextlänge wächst. Laden Sie das Modell, führen Sie ollama ps aus und lesen Sie die Spalte SIZE für den tatsächlichen Wert auf Ihrem System ab.
Wie messe ich die Tokens pro Sekunde auf meinem eigenen VPS?
Senden Sie eine Anfrage an http://localhost:11434/api/generate mit "stream": false und lesen Sie anschließend eval_count sowie eval_duration aus der Antwort ab. Die Tokens pro Sekunde ergeben sich aus eval_count / eval_duration * 1e9, da eval_duration in Nanosekunden angegeben wird. Ignorieren Sie den ersten Durchlauf, da load_duration dabei das Laden der Gewichte von der Festplatte beinhaltet. Wiederholen Sie den Test auch mit einem langen Prompt, da prompt_eval_duration mit der Eingabelänge wächst, während die Generierungsgeschwindigkeit konstant bleibt.
Warum sollte ich OLLAMA_HOST nicht auf 0.0.0.0 setzen?
Da die API von Ollama keine Authentifizierung besitzt, macht eine Bindung an 0.0.0.0 einen ungeschützten Endpunkt im öffentlichen Internet verfügbar. Jeder, der Port 11434 erreicht, kann auf Ihrer Hardware Modelle generieren und die installierten Modelle verändern. Behalten Sie die Standard-Bindung 127.0.0.1 bei, überprüfen Sie diese mit ss -ltnp | grep 11434 und greifen Sie über einen SSH-Tunnel wie ssh -N -L 11434:127.0.0.1:11434 you@your-server von Ihrem Laptop auf die API zu.