SSD Nodes Learn Hosting plans →
Gidsen Matt ConnorDoor Matt Connor · Bijgewerkt 2026-10-26

Muse Glimmer 30B op een VPS draaien

Linux-tags van Muse Glimmer zijn 18 tot 59 GB. Bereken RAM en schijfruimte voor uw VPS voordat u downloadt en ontdek wat CPU-inferentie kost.

Wat Muse Glimmer vereist op een VPS

Muse Glimmer draait op een standaard Linux VPS zonder GPU, en de tag die u ophaalt bepaalt of het model in het geheugen past. Meta Superintelligence Labs heeft het model op 10 augustus 2026 gepubliceerd onder de Apache 2.0-licentie: 30 miljard parameters, een contextvenster van 128K en een toegewezen perception encoder van 1,8B parameters, waardoor het naast tekst ook afbeeldingen kan lezen. Meta positioneert het model voor altijd actieve lokale agents in plaats van voor chat, met een redeneerkracht die u per verzoek instelt.

De gepubliceerde Ollama-tags die op Linux draaien, geraadpleegd op 25 oktober 2026, variëren van 18 GB tot 59 GB. Dat bereik vormt de kern van het capaciteitsvraagstuk. De volledige lijst met tags begint lager en eindigt hoger, op 17 GB en 65 GB, maar beide uitersten zijn MLX-tags die zijn gebouwd voor Apple Silicon; deze zijn dus niet bruikbaar op een Linux-server. De standaardtag wordt vermeld op ongeveer 18 GB, dus de kleinste verstandige configuratie beschikt over duidelijk meer dan 18 GB vrij RAM-geheugen. Schijfruimte voor de download en geheugen voor het contextvenster komen daar nog bovenop.

Welke muse-glimmer tag moet u ophalen?

GrafiekPublished muse-glimmer tag sizes on 25 October 2026 (Linux tags only)
De gegevens achter deze grafiek
[
  {
    "label": "30b (default)",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M-dflash",
    "size_gb": 20
  },
  {
    "label": "30b-q8_0",
    "size_gb": 31
  },
  {
    "label": "30b-q8_0-dflash",
    "size_gb": 33
  },
  {
    "label": "30b-bf16",
    "size_gb": 57
  },
  {
    "label": "30b-bf16-dflash",
    "size_gb": 59
  }
]

Ollama vermeldt 7 tags voor dit model zonder het MLX-label, de latest-alias niet meegerekend. De standaard tags bevatten dezelfde 30 miljard gewichten, opgeslagen in verschillende numerieke precisies. De -dflash-tags bevatten die gewichten plus een tweede, kleiner netwerk (hieronder besproken); daarom is elke tag groter dan zijn standaard tegenhanger. De grootte die u ziet is wat u downloadt, en dit is ook ongeveer de hoeveelheid geheugen die u beschikbaar moet hebben voordat er context wordt toegevoegd.

De 4-bit build is de kleine variant: 30b-q4_K_M met 18 GB. De standaard 30b-tag is dezelfde build onder een andere naam, met dezelfde digest op de tag-pagina. De 8-bit build is 30b-q8_0 met 31 GB. 30b-bf16 is de ongekwantiseerde 16-bit release van 57 GB; dit vereist meer RAM dan de meeste gehuurde servers bieden voor een prijs die redelijk is voor een zijproject. De 17 GB 30b-nvfp4-tag en de 8-bit 30b-mxfp8-tag van 33 GB dragen beide het MLX-label en zijn daarom buiten de tabel gelaten. De volgende sectie legt uit waarom.

De -dflash-tags voegen Meta's DFlash-drafter toe, die in de modelkaart wordt beschreven als "een klein begeleidend netwerk dat hele blokken tokens tegelijk voorstelt": 5 draft-lagen die blokken van 16 tokens voorspellen. Dit is een functie voor speculatieve decoding-snelheid, en de modelpagina van Ollama presenteert DFlash-ondersteuning als onderdeel van de MLX-engine op Apple Silicon. Op een VPS met alleen een CPU kost dit ongeveer 2 GB extra fysiek geheugen voor een drafter waarvan u de winst op uw hardware nog niet heeft gemeten. Begin daarom met de standaard tag en wijzig slechts één ding tegelijk.

Begin bij 4-bit, tenzij u een specifieke reden heeft om dat niet te doen. De overstap van 4-bit naar 8-bit verdubbelt ruwweg het aantal bytes dat de CPU moet lezen voor elk gegenereerd token, waardoor de doorvoer daalt terwijl het geheugengebruik stijgt. Die afweging is het onderwerp van wat q4, q8 en fp16 kwantisatie u werkelijk kosten, en op een CPU-server is het korte antwoord dat de 4-bit build de enige is waarmee het de moeite waard is om te beginnen.

Waarom MLX-tags niets doen op een Linux-server

MLX is het arrayframework van Apple en de MLX-engine van Ollama is de backend voor Apple Silicon. Toen Ollama deze engine aankondigde, luidde de instructie: "zorg dat u een Mac met meer dan 32GB unified memory hebt". Elke tag die op de tagpagina als MLX is gemarkeerd, is gebouwd voor die engine en die hardware. Het label staat niet altijd in de naam: voor dit model geldt het voor 30b-nvfp4, 30b-mxfp8 en hun -dflash-varianten, en voor elke tag waarin mlx voorkomt. Op een x86 Linux-VPS is elke tag een download van tientallen gigabytes die u niet kunt uitvoeren. De bestanden nemen alleen schijfruimte in beslag. Snelheidsmetingen die op een Mac zijn uitgevoerd, hebben betrekking op deze tags. Ze zeggen daarom niets over uw server. Filter bij het lezen van de taglijst op de modelpagina eerst elke tag met het MLX-label weg. Bepaal daarna de benodigde resources op basis van de overgebleven tags.

Hoeveel RAM en schijfruimte heeft het echt nodig?

Twee onderdelen gebruiken geheugen. Slechts één daarvan is de omvang van de tag. De gewichten worden bepaald door de tag die u downloadt. De KV-cache, de toestand per token die het model voor de conversatie bijhoudt, groeit mee met de geconfigureerde contextlengte. In de eigen documentatie van Ollama staat dat parallel verwerkte aanvragen de context vermenigvuldigen met het aantal aanvragen dat gelijktijdig wordt verwerkt. Een server die twee agents tegelijk bedient, heeft daarom meer geheugen nodig dan dezelfde server die er één bedient.

Neem geen RAM-waarde over uit een handleiding, ook niet uit deze handleiding. Download de tag, stuur het model één prompt en voer deze twee opdrachten uit terwijl het model nog in het geheugen staat.

ollama ps
free -h

ollama ps toont wat momenteel is geladen en hoe het werk over CPU en GPU is verdeeld. free -h toont hoeveel geheugen overblijft. Deze twee uitvoerresultaten op uw eigen server zijn betrouwbaarder dan elke gepubliceerde tabel, omdat ze al rekening houden met uw contextinstelling, uw kwantisering en alles wat de server verder uitvoert.

Schijfruimte is het eenvoudigere deel. Ollama slaat modellen op onder /usr/share/ollama/.ollama/models op Linux. Op de meeste VPS-images bevindt die locatie zich op het rootbestandssysteem. Een rootvolume van 40GB kan de bf16-build van 57 GB niet bevatten. Het kan ook de 8-bit- en 4-bit-builds niet naast elkaar bevatten. Als u nog nooit hebt bekeken wat een pull daadwerkelijk wegschrijft, legt waar Ollama modellen opslaat en hoe u ze verplaatst die directory uit. Verplaats de opslag naar een aangekoppeld volume voordat u iets downloadt.

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_MODELS=/mnt/models"
sudo mkdir -p /mnt/models
sudo chown -R ollama:ollama /mnt/models
sudo systemctl daemon-reload
sudo systemctl restart ollama

De gebruiker ollama moet eigenaar zijn van die directory, omdat de service als ollama wordt uitgevoerd en de blobs daar onder die gebruiker zelf wegschrijft. Als een pull door rechten mislukt, staat de oorzaak in journalctl -u ollama -n 50.

Over swap is één duidelijke opmerking nodig: met swap kunt u geen grotere tag uitvoeren. Bij het genereren worden de gewichten voor elk geproduceerd token geraadpleegd. Gewichten die in swap staan, worden daardoor steeds opnieuw van schijf gelezen. vmstat 1 toont dat de kolommen si en so actief zijn, en de uitvoer vertraagt tot seconden per token. Houd een klein swapbestand aan als bescherming tegen de out-of-memory-killer. Stem de hoeveelheid RAM af op de tag die u daadwerkelijk wilt gebruiken.

Ollama installeren en een specifieke tag vastzetten

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Het installatiescript configureert een systemd-service, zodat de server na een herstart weer opkomt. Als u het liever niet als een door root beheerde systeemservice uitvoert, behandelt Ollama rootless uitvoeren onder Podman dat alternatief. Haal daarna een expliciete tag op.

ollama pull muse-glimmer:30b
ollama list

Lees zelf de kolom met de grootte in ollama list en vergelijk deze met de huidige lijst met tags op de modelpagina. Gepubliceerde tags worden toegevoegd, hernoemd en verwijderd; een grootte in een handleiding is slechts een momentopname van één dag.

Gebruik nooit ollama pull muse-glimmer op een server waar u afhankelijk van bent. Een kale modelnaam verwijst naar de latest-tag, en latest is een verwijzing die de uitgever naar een andere build kan verplaatsen. Een routine-pull vervangt dan het model onder uw agent, met andere geheugenvereisten en ander gedrag, zonder dat dit in uw logs wordt aangekondigd. Noteer de tag in uw scripts, in uw unit-bestanden en in uw agent-configuratie. Een LLM zelf hosten met Ollama op een VPS behandelt de rest van de serverconfiguratie.

Kan Muse Glimmer zonder GPU worden uitgevoerd?

Ja, al moet men realistisch zijn over de beperkingen. Het genereren van één token vereist het inlezen van de modelgewichten uit het geheugen; de snelheid wordt daarom bepaald door de geheugenbandbreedte en niet door het aantal vCPU's in uw abonnement. Boven een handvol cores levert extra rekenkracht nauwelijks winst op. Op een gedeelde VPS wordt deze bandbreedte gedeeld met alle andere huurders op de host, waardoor een 30B-model op 4-bit slechts een klein aantal tokens per seconde genereert.

Neem de cijfers van anderen, inclusief de mijne, niet zomaar aan. Meet het aantal tokens per seconde op uw eigen systeem en trek uw eigen conclusies op basis van de resultaten.

Dit leidt tot een duidelijk onderscheid in de toepasbaarheid van het model. Interactieve chat is moeizaam, omdat u sneller leest dan de server schrijft en elk antwoord begint met een lange pauze. Achtergrondtaken voor agents werken prima, omdat het bij een taak die tien minuten onbeheerd draait niet uitmaakt of deze traag is. Dat tweede type werklast is precies waar Meta dit model voor bedoeld heeft.

Als u interactieve snelheid nodig heeft, zijn er twee eerlijke opties: een GPU of een gehoste API. Bereken het omslagpunt tussen een GPU VPS en API-tokens voordat u iets huurt, en wat een GPU VPS u daadwerkelijk biedt beschrijft wat u precies aanschaft. Voor de bredere vraag over wat een bepaalde server aankan, begint u bij welke modellen u zelf kunt hosten, en het draaien van een vergelijkbaar Qwen-model op een VPS is de meest nauwkeurige vergelijking in deze grootteklasse. Als de gemeten snelheid te laag is voor uw behoeften, stelt Nemotron 3.5 Lightning op een VPS dezelfde vragen over RAM en tokens per seconde voor een model dat is geoptimaliseerd voor snelheid in plaats van omvang.

Waarom vergeet het dingen lang voordat de 128K tokens zijn bereikt?

Omdat de standaard context window van Ollama op een systeem zonder GPU 4096 tokens is, ongeacht wat het model ondersteunt. De FAQ van Ollama stelt dat deze standaardwaarde van 4096, en de documentatie over contextlengte zoals gelezen op 25 oktober 2026, de standaardwaarde schaalt op basis van GPU-geheugen: 4k bij minder dan 24 GiB VRAM, 32k tussen 24 en 48 GiB, en 256k bij 48 GiB of meer. Een VPS die alleen op CPU draait, valt in de laagste categorie. De tag adverteert 128K, maar de server geeft het model 4096 tokens totdat u anders aangeeft. Hierdoor verliest een lang agent-transcript de eerdere interacties en lijkt het alsof het model geheugenverlies heeft.

Verhoog dit op de server voor elk verzoek:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Binnen een interactieve sessie wijzigt /set parameter num_ctx 32768 dit alleen voor die sessie. Via de API stuurt u num_ctx mee in de request-opties.

Elke extra token aan context kost geheugen bovenop de gewichten. Vraagt u de volledige 128K aan op een systeem dat enkel voor de gewichten is gedimensioneerd, dan zal de belasting falen of terugvallen op een tragere verwerking. Verhoog de waarde in stappen en voer ollama ps uit na elke stap. Hoe num_ctx en contextlengte werken in Ollama behandelt de berekeningen hiervan.

Redeneerkracht: low, medium, high en xhigh

Meta documenteert vier redeneerkrachten voor Muse Glimmer, van low tot xhigh, en raadt de twee hoogste aan voor complexe programmeertaken en agent-taken. In Ollama wordt dit aangestuurd via de think-parameter. Gebruik --think= op de opdrachtregel of stuur think in de API-body.

ollama run muse-glimmer:30b --think=high "Summarise the changes in /tmp/patch.diff"

Binnen een interactieve sessie schakelen /set think en /set nothink dit in of uit. De documentatie over thinking van Ollama, geraadpleegd op 25 oktober 2026, adviseert om /api/show te gebruiken om de waarden te achterhalen die een model ondersteunt. Een model met thinking-metadata somt deze op onder thinking.values; dit zijn ofwel booleans voor een aan/uit-schakelaar, of door het model gedefinieerde namen voor niveaus. De documentatie stelt dat u de exacte waarde moet gebruiken die daar vermeld staat. Niet elk model publiceert deze lijst: als thinking ontbreekt in de respons, bevat het model geen thinking-metadata. Dezelfde pagina vermeldt dat een niet-ondersteunde naam terugvalt op de standaardinstelling van het model; een typefout in het niveau levert dus geen foutmelding op, maar zorgt er simpelweg voor dat het model op de standaardinstelling draait. De helpfunctie van de opdrachtregel noemt alleen true, false, high, medium en low, en geeft elke andere string ongecontroleerd door aan de server. Controleer daarom wat /api/show rapporteert voor muse-glimmer:30b in plaats van te gokken, en test eerst handmatig een waarde voordat u deze in een agent integreert.

Op een systeem dat alleen op CPU draait, heeft deze instelling aanzienlijke impact. Een hogere kracht betekent dat er meer thinking-tokens worden gegenereerd voordat het eerste woord van het antwoord verschijnt, en een thinking-token kost evenveel verwerkingstijd als een antwoord-token. Laat routinematig werk op de low-instelling staan. De lengte van het antwoord vereist dezelfde zorg, dus begrens het antwoord met num_predict in plaats van één langdradige respons een traag systeem minutenlang te laten bezetten.

Houd het model geladen voor een agent die altijd actief is

Ollama laadt een inactief model standaard na vijf minuten uit. Voor een agent die elke tien minuten wordt uitgevoerd, betekent dit dat bij elke uitvoering de volledige 18 GB vanaf schijf moet worden geladen. Op een VPS met netwerkopslag duurt dat laden niet kort. Houd het model daarom in het geheugen.

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"

Een negatieve waarde houdt het model resident totdat iets het uitlaadt. Met keep_alive in een API-aanvraag overschrijft u de standaardinstelling van de server voor die ene aanroep. De kosten zijn duidelijk: het RAM-geheugen blijft bezet terwijl er niets gebeurt. Gebruik deze instelling daarom op een systeem dat speciaal voor de agent is ingericht. Een Ollama-model geladen houden behandelt de varianten.

Een coding agent koppelen

Ollama biedt een OpenAI-compatibele API op http://127.0.0.1:11434/v1, waardoor de meeste agent-tools verbinding maken met een basis-URL en een willekeurige, niet-lege API-sleutel. De Muse Glimmer-pagina van Ollama documenteert ook een opstart-shortcut die een ondersteunde agent in één commando aan een lokaal model koppelt; het is raadzaam om daar ook de tag vast te pinnen.

ollama launch claude --model muse-glimmer:30b

Agents versturen grote prompts. Bestandsinhoud, tool-output en een groeiend transcript komen allemaal binnen als input-tokens. Op een systeem dat enkel op CPU draait, is de verwerking van de prompt het onderdeel dat vertraging veroorzaakt nog voordat de generatie is begonnen. Houd de context-instelling zo klein als de taak toelaat. Een coding agent koppelen aan Ollama behandelt de client-zijde, een coding agent draaien op een VPS behandelt de server waarop deze actief is, en kosten van agents op een VPS beheersen behandelt wat er gebeurt wanneer deze de hele dag draait.

Image-input werkt op dezelfde manier. De Ollama API accepteert afbeeldingen in het images-veld van een bericht. Een client die alleen tekst ondersteunt, zal er dus nooit een versturen, ongeacht hoe capabel de perception encoder is.

Stel poort 11434 niet open

De Ollama API beschikt niet over authenticatie. Door OLLAMA_HOST=0.0.0.0:11434 zo in te stellen dat u deze vanaf uw laptop kunt bereiken, plaatst u een niet-geauthenticeerde model-runner op het openbare internet. Iedereen die de server vindt, kan modellen op uw schijf laden en alles lezen wat uw agent erdoorheen stuurt. Laat de service gebonden aan localhost en gebruik in plaats daarvan een tunnel.

ssh -N -L 11434:127.0.0.1:11434 user@your-vps

Het beveiligen van het Ollama API-eindpunt behandelt de juiste opties, waaronder een reverse proxy die om inloggegevens vraagt.

Wat er misgaat en wat u zult zien

De pull stopt halverwege. Schijfruimte. Voer df -h uit in de modeldirectory. Een 57 GB bf16-build past niet op een 40GB root-volume, en de 8-bit en 4-bit builds passen ook niet naast elkaar.

Het model laadt en daarna stopt het proces. Onvoldoende geheugen. dmesg -T registreert dat de kernel out-of-memory killer een proces kiest, en journalctl -u ollama -n 100 toont de service-kant van dezelfde gebeurtenis. De oplossing is een kleinere tag of een kleinere num_ctx. Meer swap is niet de oplossing.

Het draait met seconden per token. Voer vmstat 1 uit en bekijk de kolommen si en so. Constante swap-activiteit betekent dat de gewichten niet in het RAM passen en dat de machine ze tijdens het werken terugleest van de schijf.

Een tag die vorige week werkte, is verdwenen. Taglijsten veranderen. Lees de modelpagina opnieuw, pin de huidige versie vast en noteer de tagnaam op een plek waar u deze later weer kunt terugvinden.

Controleer de groottes zelf voordat u een pull uitvoert

De groottes in de tabel zijn op 25 oktober 2026 afgelezen van de tagpagina van het model; een gepubliceerde taglijst is geen garantie. Lees de actuele lijst op de modelpagina en bevestig daarna wat er daadwerkelijk op uw schijf is terechtgekomen:

ollama pull muse-glimmer:30b
ollama list
sudo du -sh /usr/share/ollama/.ollama/models

Ollama slaat modellagen op als gedeelde blobs, dus twee tags die een laag delen, kosten niet dubbel zoveel schijfruimte. Vergelijk wat du rapporteert met de gepubliceerde grootte en plan uw schijfruimte op basis van de grootste van de twee.

FAQ

Hoeveel RAM heeft Muse Glimmer nodig op een VPS?

Begin bij de grootte van de tag en tel daar het contextvenster bij op. De standaard-tag is op 25 oktober 2026 ongeveer 18 GB groot, dus een server met 16GB RAM kan deze niet laden en een server met 24GB RAM heeft nauwelijks ruimte over voor de context. Beschouw dit als uitgangspunt, niet als definitief antwoord. Haal de tag op, laad deze eenmaal, voer daarna ollama ps en free -h uit op uw eigen server en lees de waarden af. Een grotere context en gelijktijdige verzoeken verhogen het geheugengebruik bovenop de gewichten van het model.

Kan ik Muse Glimmer draaien zonder GPU?

Ja. Het model laadt en beantwoordt verzoeken op een VPS die enkel over een CPU beschikt. De generatiesnelheid wordt beperkt door de geheugenbandbreedte in plaats van het aantal cores. Op een gedeelde host wordt deze bandbreedte gedeeld, dus verwacht een laag aantal tokens per seconde bij 4-bit. Dit is bruikbaar voor achtergrondtaken die onbeheerd draaien, maar traag voor interactieve chat. Voer ollama ps uit tijdens een verzoek en controleer de processor-kolom om te bevestigen waar de berekeningen plaatsvinden.

Heb ik iets aan de MLX-tags op een Linux VPS?

Nee. Elke tag op de pagina die als MLX is gemarkeerd, is gebouwd voor de MLX-engine van Ollama, wat de backend voor Apple Silicon is. Dit geldt ook voor 30b-nvfp4 en 30b-mxfp8, ook al staat mlx niet in hun naam. Op een x86 Linux-server zijn deze tags een grote download die u niet kunt uitvoeren. Gebruik de standaard 30b-tag of een van de andere niet-MLX-tags en negeer de benchmarks voor Apple-hardware die bij de MLX-builds horen.

Waarom vergeet het model dingen lang voordat de 128K tokens zijn bereikt?

Omdat op een server zonder GPU het standaard contextvenster van Ollama 4096 tokens is, ongeacht wat het model ondersteunt. De server kort lange gesprekken in voordat het model ze kan verwerken. Stel OLLAMA_CONTEXT_LENGTH in op de server, of /set parameter num_ctx voor één sessie, of stuur num_ctx mee in de API-verzoekopties. Het geheugengebruik stijgt naarmate dit getal hoger wordt; verhoog het daarom in stappen en controleer telkens ollama ps.

Moet ik de tag vastzetten (pinnen) of gewoon latest gebruiken?

Zet de tag vast. muse-glimmer zonder tag verwijst naar latest, wat een pointer is die de uitgever op elk moment naar een andere build kan verplaatsen. Een routine-update kan er dus voor zorgen dat uw agent plotseling op een ander model draait. Gebruik muse-glimmer:30b in scripts, unit-bestanden en agent-configuraties. Controleer de taglijst op de modelpagina voordat u een tag vastzet, aangezien gepubliceerde tags kunnen wijzigen.

Was dit artikel nuttig?