SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor · Aktualisiert 2026-10-26

Muse Glimmer 30B auf einem VPS ausführen

Die Linux-Tags von Muse Glimmer belegen 18 bis 59 GB. Ermitteln Sie RAM und Speicherplatz für den VPS, bevor Sie laden, und prüfen Sie CPU-Inferenz.

Was Muse Glimmer auf einem VPS benötigt

Muse Glimmer läuft auf einem gewöhnlichen Linux-VPS ohne GPU. Der abgerufene Tag entscheidet, ob das Modell in den Arbeitsspeicher passt. Meta Superintelligence Labs hat das Modell am 10 August 2026 unter Apache 2.0 veröffentlicht: mit 30 Milliarden Parametern, einem Kontextfenster von 128K und einem dedizierten Perception Encoder mit 1.8B Parametern, sodass das Modell Bilder zusammen mit Text verarbeiten kann. Meta positioniert es für dauerhaft laufende lokale Agents und nicht primär für Chat. Die Stärke des Reasoning legen Sie für jede Anfrage fest.

Die veröffentlichten Ollama-Tags, die unter Linux laufen und am 25 October 2026 geprüft wurden, belegen 18 GB bis 59 GB. Diese Spanne bestimmt die gesamte Dimensionierung. Die vollständige Tag-Liste beginnt niedriger und endet höher, bei 17 GB und 65 GB. Beide Varianten sind jedoch MLX-Tags für Apple Silicon und zählen daher nicht für einen Linux-Server. Der Standard-Tag ist mit ungefähr 18 GB angegeben. Das kleinste sinnvolle System benötigt daher deutlich mehr als 18 GB freien Arbeitsspeicher. Der Speicherplatz für den Download und der Arbeitsspeicher für das Kontextfenster kommen zusätzlich hinzu.

Welchen muse-glimmer-Tag sollten Sie abrufen?

DiagrammPublished muse-glimmer tag sizes on 25 October 2026 (Linux tags only)
Die Daten hinter diesem Diagramm
[
  {
    "label": "30b (default)",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M-dflash",
    "size_gb": 20
  },
  {
    "label": "30b-q8_0",
    "size_gb": 31
  },
  {
    "label": "30b-q8_0-dflash",
    "size_gb": 33
  },
  {
    "label": "30b-bf16",
    "size_gb": 57
  },
  {
    "label": "30b-bf16-dflash",
    "size_gb": 59
  }
]

Ollama listete 7 Tags für dieses Modell ohne das MLX-Label auf, ohne den latest-Alias mitzuzählen. Die einfachen Tags enthalten dieselben 30 Milliarden Gewichte, die mit unterschiedlichen numerischen Präzisionen gespeichert sind. Die -dflash-Tags enthalten diese Gewichte plus ein zweites, kleineres Netzwerk, das weiter unten beschrieben wird. Deshalb ist jeder dieser Tags größer als sein einfaches Gegenstück. Die angezeigte Größe entspricht dem Download und ungefähr auch dem Speicherbedarf, bevor zusätzlicher Kontext berücksichtigt wird.

Der 4-Bit-Build ist die kleine Variante: 30b-q4_K_M mit 18 GB. Der Standard-Tag 30b bezeichnet denselben Build unter einem anderen Namen und hat auf der Tag-Seite denselben Digest. Der 8-Bit-Build ist 30b-q8_0 mit 31 GB. 30b-bf16 ist das unquantisierte 16-Bit-Release mit 57 GB. Das benötigt mehr RAM, als die meisten gemieteten Server zu einem für ein Nebenprojekt vertretbaren Preis anbieten. Der 30b-nvfp4-Tag mit 17 GB ist auf dem Papier kleiner. Der 8-Bit-Tag 30b-mxfp8 mit 33 GB trägt ebenso wie dieser das MLX-Label und bleibt deshalb in der Tabelle unberücksichtigt. Der nächste Abschnitt erklärt den Grund.

Die -dflash-Tags fügen Metas DFlash-Drafter hinzu, den die Model Card als „ein kleines begleitendes Netzwerk beschreibt, das ganze Token-Blöcke auf einmal vorschlägt“: 5 Draft-Layer, die Blöcke mit 16 Token vorhersagen. Das ist eine Funktion zur Beschleunigung der spekulativen Decodierung. Ollamas Modellseite führt die DFlash-Unterstützung als Bestandteil seiner MLX-Engine auf Apple Silicon auf. Auf einem reinen CPU-VPS benötigt ein Drafter etwa 2 GB zusätzlichen realen Speicher, ohne dass Sie dessen Nutzen auf Ihrer Hardware gemessen haben. Beginnen Sie deshalb mit dem einfachen Tag und ändern Sie jeweils nur eine Sache.

Beginnen Sie mit 4 Bit, sofern kein konkreter Grund dagegen spricht. Beim Wechsel von 4 Bit auf 8 Bit verdoppelt sich ungefähr die Byte-Menge, die die CPU für jedes erzeugte Token lesen muss. Dadurch sinkt der Durchsatz, während der Speicherbedarf steigt. Diese Abwägung wird unter was q4-, q8- und fp16-Quantisierung tatsächlich kostet erläutert. Auf einem CPU-Server lautet die kurze Antwort: Der 4-Bit-Build ist die einzige Variante, mit der Sie beginnen sollten.

Warum MLX-Tags auf einem Linux-Server nichts bewirken

MLX ist Apples Array-Framework. Ollamas MLX-Engine ist das Backend für Apple Silicon. Als Ollama die Engine ankündigte, lautete die Anweisung, dass ein Mac mit mehr als 32GB Unified Memory erforderlich ist. Jeder Tag, den die Tag-Seite als MLX kennzeichnet, wurde für diese Engine und diese Hardware erstellt. Das Label ist nicht immer im Namen enthalten: Bei diesem Modell betrifft es 30b-nvfp4, 30b-mxfp8 und deren -dflash-Varianten sowie jeden Tag mit mlx. Auf einem x86-Linux-VPS ist jeder dieser Downloads mehrere Dutzend Gigabyte groß, lässt sich dort nicht ausführen und belegt lediglich Speicherplatz. Jede auf einem Mac gemessene Geschwindigkeitsangabe gilt für diese Tags. Sie beschreibt daher nicht die Leistung Ihres Servers. Wenn Sie die Tag-Liste auf der Modellseite lesen, filtern Sie zuerst alle Tags mit dem MLX-Label heraus. Ermitteln Sie die erforderlichen Ressourcen anschließend anhand der verbleibenden Tags.

Wie viel RAM und Festplattenspeicher wird wirklich benötigt?

Zwei Komponenten beanspruchen Speicher, und nur eine davon ist die Größe des Tags. Die Gewichte werden durch das abgerufene Tag festgelegt. Der KV-Cache, also der Zustand pro Token, den das Modell für die Unterhaltung speichert, wächst mit der konfigurierten Kontextlänge. Die Ollama-Dokumentation weist darauf hin, dass parallele Anfragen den Kontext mit der Anzahl der gleichzeitig verarbeiteten Anfragen multiplizieren. Ein Server, der zwei Agenten gleichzeitig beantwortet, benötigt daher mehr Speicher als derselbe Server für einen Agenten.

Übernehmen Sie keine RAM-Angabe aus einem Leitfaden, auch nicht aus diesem. Rufen Sie das Tag ab, senden Sie ihm eine Eingabeaufforderung und führen Sie diese beiden Befehle aus, während das Modell noch im Speicher resident ist.

ollama ps
free -h

ollama ps zeigt, was aktuell geladen ist und wie die Arbeit zwischen CPU und GPU aufgeteilt wird. free -h zeigt, wie viel Speicher noch verfügbar ist. Diese beiden Ausgaben von Ihrem eigenen Server sind aussagekräftiger als jede veröffentlichte Tabelle, weil sie bereits Ihre Kontexteinstellung, Ihre Quantisierung und alles andere berücksichtigen, was der Server ausführt.

Beim Festplattenspeicher ist die Situation einfacher. Ollama speichert Modelle unter /usr/share/ollama/.ollama/models auf Linux. Bei den meisten VPS-Images liegt dieses Verzeichnis auf dem Root-Dateisystem. Ein Root-Volume mit 40GB reicht weder für den bf16-Build mit 57 GB noch für die parallele Speicherung der 8-Bit- und 4-Bit-Builds. Wenn Sie noch nie geprüft haben, welche Dateien ein Pull tatsächlich schreibt, erklärt wo Ollama Modelle speichert und wie Sie sie verschieben dieses Verzeichnis ausführlich. Verschieben Sie den Speicher auf ein eingebundenes Volume, bevor Sie irgendetwas abrufen.

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_MODELS=/mnt/models"
sudo mkdir -p /mnt/models
sudo chown -R ollama:ollama /mnt/models
sudo systemctl daemon-reload
sudo systemctl restart ollama

Der Benutzer ollama muss Eigentümer dieses Verzeichnisses sein, weil der Dienst als ollama ausgeführt wird und seine Blobs dort unter diesem Benutzer selbst schreibt. Wenn ein Pull wegen fehlender Berechtigungen fehlschlägt, erscheint der Grund in journalctl -u ollama -n 50.

Für Swap ist eine klare Aussage wichtig: Swap ermöglicht nicht die Ausführung eines größeren Tags. Bei der Generierung greift das Modell für jedes erzeugte Token auf die Gewichte zu. Gewichte im Swap werden daher wiederholt von der Festplatte gelesen. In vmstat 1 sind dann die Spalten si und so stark ausgelastet, und die Ausgabe verlangsamt sich auf Sekunden pro Token. Halten Sie eine kleine Swap-Datei als Schutz gegen den Out-of-Memory-Killer bereit. Dimensionieren Sie den RAM für das Tag, das Sie tatsächlich verwenden möchten.

Ollama installieren und ein benanntes Tag festlegen

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Das Installationsskript richtet einen systemd-Dienst ein. Der Server startet daher nach einem Reboot wieder. Wenn Sie Ollama nicht als von root verwalteten Systemdienst ausführen möchten, beschreibt Ollama rootless unter Podman ausführen diesen Weg. Laden Sie anschließend ein explizites Tag herunter.

ollama pull muse-glimmer:30b
ollama list

Lesen Sie die Spalte für die Größe in ollama list selbst und vergleichen Sie sie mit der aktuellen Tag-Liste auf der Modellseite. Veröffentlichte Tags werden hinzugefügt, umbenannt und entfernt. Eine Größenangabe in einer Anleitung ist daher eine Momentaufnahme von einem bestimmten Tag.

Verwenden Sie ollama pull muse-glimmer niemals auf einem Server, von dem Sie abhängig sind. Ein Modellname ohne Tag wird in das latest-Tag aufgelöst. latest ist ein Zeiger, den der Herausgeber auf einen anderen Build verschieben kann. Ein routinemäßiger Pull ersetzt dann das Modell unterhalb Ihres Agenten. Dadurch können sich Speicherbedarf und Verhalten ändern, ohne dass dies in Ihren Logs angekündigt wird. Schreiben Sie das Tag in Ihre Skripte, Unit-Dateien und Agent-Konfiguration. Ein LLM mit Ollama auf einem VPS selbst hosten beschreibt die weitere Serverkonfiguration.

Können Sie Muse Glimmer ohne GPU ausführen?

Ja, aber die Leistungsgrenze sollte klar benannt werden. Für die Generierung eines Tokens müssen die Modellgewichte aus dem Speicher gelesen werden. Die Geschwindigkeit hängt daher stärker von der Speicherbandbreite als von der Anzahl der vom Tarif beworbenen vCPUs ab. Nach einigen Kernen bringen zusätzliche Kerne nur noch sehr wenig. Auf einem gemeinsam genutzten VPS wird diese Bandbreite mit allen anderen Mandanten auf dem Host geteilt. Ein 30B-Modell in 4-Bit erzeugt daher nur wenige Tokens pro Sekunde.

Übernehmen Sie dafür keine fremden Angaben, auch nicht meine. Messen Sie die Tokens pro Sekunde auf Ihrem eigenen System und entscheiden Sie anhand der Ergebnisse.

Das führt zu einem deutlichen Unterschied bei den geeigneten Einsatzbereichen des Modells. Interaktiver Chat ist mühsam, weil Sie schneller lesen, als der Server schreibt, und jede Antwort mit einer langen Pause beginnt. Hintergrundaufgaben für Agents funktionieren dagegen gut. Eine Aufgabe, die zehn Minuten unbeaufsichtigt läuft, ist nicht davon abhängig, dass sie schnell ist. Genau diesen zweiten Anwendungsfall beschreibt Meta für dieses Modell.

Wenn Sie interaktive Geschwindigkeit benötigen, gibt es zwei ehrliche Antworten: eine GPU oder eine gehostete API. Ermitteln Sie den Break-even-Point zwischen einem GPU-VPS und API-Tokens, bevor Sie etwas mieten. Was ein GPU-VPS tatsächlich bietet beschreibt, was Sie dafür erwerben. Für die umfassendere Frage, welches Modell auf einen bestimmten Server passt, beginnen Sie mit Welche Modelle Sie selbst hosten können. Ein ähnlich großes Qwen-Modell auf einem VPS ausführen ist der nächstliegende Vergleich in dieser Größenklasse. Wenn die von Ihnen gemessenen Werte zu langsam für den praktischen Einsatz sind, stellt Nemotron 3.5 Lightning auf einem VPS dieselben Fragen zu RAM und Tokens pro Sekunde für ein Modell, das auf Geschwindigkeit statt auf Größe ausgelegt ist.

Warum vergisst das Modell Inhalte lange vor 128K Tokens?

Auf einem Rechner ohne GPU beträgt Ollamas standardmäßiges Kontextfenster 4096 Tokens, unabhängig davon, was das Modell unterstützt. In Ollamas FAQ ist dieser Standardwert mit 4096 angegeben. Die am 25. Oktober 2026 gelesene Dokumentation zur Kontextlänge skaliert den Standardwert anhand des GPU-Speichers: 4k bei weniger als 24 GiB VRAM, 32k von 24 bis 48 GiB und 256k ab 48 GiB. Ein VPS, der nur die CPU verwendet, fällt in die unterste Kategorie. Der Tag gibt 128K an, aber der Server übergibt dem Modell 4096, bis Sie einen anderen Wert festlegen. Deshalb verliert ein langer Agentenverlauf seine frühen Nachrichten, und es wirkt, als hätte das Modell sein Gedächtnis verloren.

Erhöhen Sie den Wert auf dem Server für jede Anfrage:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

In einer interaktiven Sitzung ändert /set parameter num_ctx 32768 den Wert nur für diese Sitzung. Über die API senden Sie num_ctx in den Request-Optionen.

Jedes zusätzliche Kontext-Token benötigt zusätzlich zum Speicher für die Gewichte Arbeitsspeicher. Fordern Sie auf einem Rechner, der nur für die Gewichte dimensioniert ist, das vollständige 128K-Kontextfenster an, schlägt das Laden fehl oder fällt auf eine langsamere Variante zurück. Erhöhen Sie den Wert schrittweise und führen Sie nach jedem Schritt ollama ps aus. So funktionieren num_ctx und die Kontextlänge in Ollama erklärt die Berechnung.

Stärke des Reasoning: low, medium, high und xhigh

Meta dokumentiert für Muse Glimmer vier Reasoning-Stufen von low bis xhigh und empfiehlt die beiden höheren Stufen für komplexe Programmier- und Agent-Aufgaben. In Ollama wird diese Einstellung über den Parameter think gesteuert. Verwenden Sie --think= in der Befehlszeile oder senden Sie think im API-Body.

ollama run muse-glimmer:30b --think=high "Summarise the changes in /tmp/patch.diff"

In einer interaktiven Sitzung können Sie die Einstellung mit /set think und /set nothink umschalten. Die am 25 October 2026 gelesene Thinking-Dokumentation von Ollama empfiehlt /api/show, um die von einem Modell unterstützten Werte zu ermitteln. Ein Modell mit Thinking-Metadaten führt diese unter thinking.values auf. Dabei handelt es sich entweder um boolesche Werte für eine Ein-/Aus-Steuerung oder um vom Modell definierte Namen für die einzelnen Stufen. Die Dokumentation empfiehlt, genau den dort aufgeführten Wert zu verwenden. Nicht jedes Modell veröffentlicht diese Liste: Fehlt thinking in der Antwort, verfügt das Modell über keine Thinking-Metadaten. Auf derselben Seite steht, dass ein nicht unterstützter Name auf den Standardwert des Modells zurückfällt. Ein falsch geschriebener Wert löst daher keinen Fehler aus, sondern wird stillschweigend mit dem Standardwert ausgeführt. Die Hilfe für die Befehlszeile nennt nur true, false, high, medium und low und übergibt jede andere Zeichenfolge ungeprüft an den Server. Prüfen Sie daher, was /api/show für muse-glimmer:30b meldet, statt den Wert zu erraten, und testen Sie ihn zunächst manuell, bevor Sie ihn in einen Agenten integrieren.

Auf einem System, das nur eine CPU verwendet, wirkt sich diese Einstellung deutlich aus. Eine höhere Stufe erzeugt mehr Thinking-Tokens, bevor das erste Wort der Antwort erscheint. Ein Thinking-Token benötigt dabei genauso viel reale Zeit wie ein Antwort-Token. Lassen Sie routinemäßige Aufgaben auf der Stufe low laufen. Auch die Länge der Antwort sollte begrenzt werden. Verwenden Sie daher die Antwort mit num_predict begrenzen, statt eine langatmige Antwort mehrere Minuten lang ein langsames System blockieren zu lassen.

Halten Sie das Modell für einen ständig aktiven Agenten geladen

Ollama entlädt ein inaktives Modell standardmäßig nach fünf Minuten. Bei einem Agenten, der alle zehn Minuten ausgeführt wird, bedeutet das, dass bei jedem einzelnen Lauf 18 GB vollständig von der Festplatte geladen werden müssen. Auf einem VPS mit netzwerkgebundenem Speicher dauert dieser Ladevorgang nicht kurz. Halten Sie das Modell stattdessen im Arbeitsspeicher.

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"

Ein negativer Wert hält das Modell resident, bis es entladen wird. Mit keep_alive in einer API-Anfrage überschreiben Sie den Serverstandard für diesen einzelnen Aufruf. Der Preis dafür ist eindeutig: Der Arbeitsspeicher bleibt belegt, während nichts ausgeführt wird. Diese Einstellung eignet sich daher für einen Server, der dem Agenten gewidmet ist. Ein Ollama-Modell geladen halten beschreibt die verschiedenen Varianten.

Einen Coding-Agent auf das Modell richten

Ollama stellt unter http://127.0.0.1:11434/v1 eine OpenAI-kompatible API bereit. Die meisten Agent-Tools verbinden sich über eine Base-URL und einen beliebigen nicht leeren API-Key. Die Ollama-Seite zu Muse Glimmer dokumentiert außerdem eine Startabkürzung, mit der sich ein unterstützter Agent in einem Befehl mit einem lokalen Modell verbinden lässt. Dabei sollten Sie auch dort den Tag fest vorgeben.

ollama launch claude --model muse-glimmer:30b

Agents senden große Prompts. Dateiinhalte, Tool-Ausgaben und ein wachsendes Transkript werden vollständig als Input-Tokens übertragen. Auf einem CPU-System ist die Verarbeitung des Prompts der belastende Teil, noch bevor die Generierung beginnt. Halten Sie die Context-Einstellung so klein wie für die Aufgabe möglich. Einen Coding-Agent auf Ollama richten behandelt die Client-Seite, Einen Coding-Agent auf einem VPS ausführen behandelt das System, auf dem der Agent läuft, und Agent-Kosten auf einem VPS kontrollieren behandelt den Betrieb über den ganzen Tag.

Die Verarbeitung von Bildeingaben funktioniert auf dieselbe Weise. Die Ollama-API erwartet Bilder im Feld images einer Nachricht. Ein Client, der nur Text unterstützt, sendet daher niemals Bilder, unabhängig davon, wie leistungsfähig der Perception-Encoder ist.

Öffnen Sie Port 11434 nicht

Die Ollama API bietet keine Authentifizierung. Wenn Sie OLLAMA_HOST=0.0.0.0:11434 setzen, damit Sie von Ihrem Laptop darauf zugreifen können, stellen Sie einen nicht authentifizierten Model Runner ins öffentliche Internet. Jeder, der ihn findet, kann Modelle auf Ihre Festplatte laden und alles lesen, was Ihr Agent darüber sendet. Lassen Sie den Dienst an localhost gebunden und verwenden Sie stattdessen einen Tunnel.

ssh -N -L 11434:127.0.0.1:11434 user@your-vps

Ollama API-Endpunkt absichern behandelt die geeigneten Optionen, darunter einen Reverse Proxy, der Anmeldedaten anfordert.

Was fehlschlägt und was Sie sehen

Der Pull-Vorgang bricht teilweise ab. Ursache ist der Speicherplatz. Führen Sie df -h für das Modellverzeichnis aus. Ein 57 GB großes bf16-Modell passt nicht auf ein Root-Volume mit 40GB. Dasselbe gilt für die 8-Bit- und 4-Bit-Modelle nebeneinander.

Das Modell wird geladen, anschließend beendet sich der Prozess. Ursache ist ein Speichermangel. dmesg -T protokolliert, welchen Prozess der Out-of-Memory-Killer des Kernels beendet. journalctl -u ollama -n 100 zeigt dasselbe Ereignis aus Sicht des Dienstes. Verwenden Sie einen kleineren Tag oder einen kleineren num_ctx. Mehr Swap ist keine Lösung.

Das Modell verarbeitet nur wenige Tokens pro Sekunde. Führen Sie vmstat 1 aus und beobachten Sie die Spalten si und so. Anhaltende Swap-Aktivität bedeutet, dass die Gewichte nicht in den Arbeitsspeicher passen und das System sie während des Betriebs wiederholt von der Festplatte liest.

Ein Tag, der letzte Woche funktioniert hat, ist nicht mehr verfügbar. Tag-Listen ändern sich. Lesen Sie die Modellseite erneut, pinnen Sie den aktuellen Tag und notieren Sie den Tag-Namen an einer Stelle, an der Sie später wieder nachsehen.

Prüfen Sie die Größen vor dem Pull-Vorgang selbst erneut

Die Größen in der Tabelle wurden am 25 October 2026 von der Tag-Seite des Modells abgelesen. Eine veröffentlichte Tag-Liste ist keine Garantie. Lesen Sie die aktuelle Liste auf der Modellseite und prüfen Sie anschließend, was tatsächlich auf der Festplatte gespeichert wurde:

ollama pull muse-glimmer:30b
ollama list
sudo du -sh /usr/share/ollama/.ollama/models

Ollama speichert Modell-Layer als gemeinsam verwendete Blobs. Zwei Tags, die sich einen Layer teilen, belegen daher nicht doppelt so viel Speicherplatz. Vergleichen Sie die von du gemeldete Größe mit der veröffentlichten Größe. Planen Sie den Speicherplatz anhand des größeren Werts.

FAQ

Wie viel RAM benötigt Muse Glimmer auf einem VPS?

Beginnen Sie mit der Tag-Größe und addieren Sie das Kontextfenster. Der Standard-Tag ist am 25 October 2026 mit etwa 18 GB angegeben. Ein System mit 16GB kann ihn daher überhaupt nicht aufnehmen. Ein System mit 24GB kann ihn laden, bietet für den Kontext aber nur wenig zusätzlichen Speicher. Betrachten Sie diesen Wert als Ausgangspunkt, nicht als endgültige Antwort. Rufen Sie den Tag ab, laden Sie ihn einmal und führen Sie anschließend ollama ps und free -h auf Ihrem eigenen System aus. Lesen Sie Ihre eigenen Werte ab. Ein längerer Kontext und parallele Anfragen benötigen zusätzlich Speicher neben den Modellgewichten.

Kann ich Muse Glimmer ohne GPU ausführen?

Ja. Das Modell wird auf einem VPS ausschließlich mit der CPU geladen und ausgeführt. Die Generierungsgeschwindigkeit wird stärker durch die Speicherbandbreite als durch die Anzahl der Kerne begrenzt. Auf einem gemeinsam genutzten Host wird diese Bandbreite zudem geteilt. Rechnen Sie daher bei 4-bit mit wenigen Tokens pro Sekunde. Das ist für unbeaufsichtigte Hintergrundaufgaben eines Agenten nutzbar, aber für interaktiven Chat langsam. Führen Sie während einer Anfrage ollama ps aus und lesen Sie die Prozessorspalte ab, um zu bestätigen, wo die Verarbeitung läuft.

Sind die MLX-Tags auf einem Linux-VPS brauchbar?

Nein. Jeder Tag, den die Tag-Seite als MLX kennzeichnet, ist für Ollamas MLX-Engine erstellt. Dabei handelt es sich um das Apple-Silicon-Backend. Dazu gehören auch 30b-nvfp4 und 30b-mxfp8, obwohl ihre Namen nicht auf mlx hinweisen. Auf einem x86-Linux-Server sind diese Tags große Downloads, die Sie nicht ausführen können. Verwenden Sie den einfachen 30b-Tag oder einen anderen Tag ohne MLX. Ignorieren Sie die Apple-Hardware-Benchmarks, die zu den MLX-Builds gehören.

Warum vergisst das Modell Inhalte lange vor 128K Tokens?

Weil Ollamas Standard-Kontextfenster auf einem System ohne GPU unabhängig von der Modellunterstützung 4096 Tokens beträgt. Der Server kürzt lange Unterhaltungen daher, bevor das Modell sie überhaupt sieht. Setzen Sie OLLAMA_CONTEXT_LENGTH auf dem Server oder /set parameter num_ctx für eine Sitzung. Alternativ können Sie num_ctx in den Optionen der API-Anfrage senden. Der Speicherbedarf steigt dadurch. Erhöhen Sie den Wert daher schrittweise und prüfen Sie jedes Mal ollama ps.

Sollte ich den Tag festlegen oder einfach latest verwenden?

Legen Sie ihn fest. muse-glimmer ohne Tag wird zu latest aufgelöst. Dabei handelt es sich um einen Verweis, den der Herausgeber jederzeit auf einen anderen Build umstellen kann. Ein routinemäßiger Abruf kann daher das Modell ändern, das Ihr Agent ausführt. Schreiben Sie muse-glimmer:30b in Skripte, Unit-Dateien und die Agent-Konfiguration. Prüfen Sie vor dem Festlegen die Tag-Liste auf der Modellseite, da sich veröffentlichte Tags ändern.

War dieser Artikel hilfreich?