Meta Muse Glimmer 30B VPS uzerinde nasil calistirilir?
Meta Muse Glimmer 30B modelini Linux VPS uzerinde calistirmak icin gereken RAM ve disk kapasitesini ogrenin. 18GB ile 59GB arasindaki etiket boyutlari icin CPU cikarim maliyeti.
Muse Glimmer için VPS gereksinimleri
Muse Glimmer, GPU içermeyen standart bir Linux VPS üzerinde çalışır ve belleğe sığıp sığmayacağını çektiğiniz etiket belirler. Meta Superintelligence Labs, modeli 10 Ağustos 2026 tarihinde Apache 2.0 lisansı ile yayınlamıştır: 30 milyar parametre, 128K bağlam penceresi ve metinle birlikte görselleri okuyabilmesi için özel 1.8B parametreli algı kodlayıcı. Meta, bu modeli sohbet odaklı değil, sürekli çalışan yerel aracılar için tasarlamıştır ve akıl yürütme gücünü her istekte siz belirlersiniz.
Linux üzerinde çalışan ve 25 Ekim 2026 tarihinde incelenen yayınlanmış Ollama etiketleri, 18 GB ile 59 GB arasında değişmektedir. Bu aralık, boyutlandırma konusundaki temel sorunu oluşturur. Tam etiket listesi daha düşük değerlerden başlayıp 17 GB ve 65 GB gibi daha yüksek değerlere ulaşsa da, bu uç değerler Apple Silicon için oluşturulmuş MLX etiketleridir; dolayısıyla Linux sunucularında dikkate alınmazlar. Varsayılan etiket yaklaşık 18 GB olarak listelenmiştir, bu nedenle en küçük mantıklı sunucu, 18 GB'den belirgin şekilde daha fazla boş RAM alanına sahip olmalıdır. İndirme işlemi için disk alanı ve bağlam penceresi için gereken bellek, bu değerlerin üzerine eklenmelidir.
Hangi muse-glimmer etiketi çekilmelidir?
Bu grafiğin arkasındaki veriler
[
{
"label": "30b (default)",
"size_gb": 18
},
{
"label": "30b-q4_K_M",
"size_gb": 18
},
{
"label": "30b-q4_K_M-dflash",
"size_gb": 20
},
{
"label": "30b-q8_0",
"size_gb": 31
},
{
"label": "30b-q8_0-dflash",
"size_gb": 33
},
{
"label": "30b-bf16",
"size_gb": 57
},
{
"label": "30b-bf16-dflash",
"size_gb": 59
}
]Ollama, latest takma adı hariç, bu model için MLX etiketi içermeyen 7 adet etiket listeler. Sade etiketler, farklı sayısal hassasiyetlerde saklanan aynı 30 milyar ağırlığı barındırır. -dflash etiketleri ise bu ağırlıklara ek olarak aşağıda açıklanan daha küçük bir ağ taşır; bu nedenle her biri sade ikizinden daha büyük olarak listelenir. Gördüğünüz boyut, indireceğiniz boyuttur ve aynı zamanda herhangi bir bağlam eklenmeden önce bellekte tutmanız gereken yaklaşık miktardır.
4-bit sürüm küçük olandır: 18 GB ile 30b-q4_K_M. Varsayılan 30b etiketi, etiket sayfasında aynı özet (digest) değerine sahip, aynı sürümün başka bir isim altındaki halidir. 8-bit sürüm, 31 GB ile 30b-q8_0 etiketidir. 30b-bf16, 57 GB boyutundaki kuantize edilmemiş 16-bit sürümdür; bu miktar, çoğu kiralık sunucunun yan projeler için makul bir fiyata sunduğu RAM miktarından daha fazladır. Kağıt üzerinde daha küçük görünen 17 GB boyutundaki 30b-nvfp4 etiketi ve 33 GB boyutundaki 8-bit 30b-mxfp8 etiketi MLX etiketini taşır, bu nedenle tabloya dahil edilmemişlerdir. Bir sonraki bölüm bunun nedenini açıklamaktadır.
-dflash etiketleri, model kartında "bir kerede tüm token bloklarını öneren küçük bir yardımcı ağ" olarak tanımlanan Meta'nın DFlash taslak oluşturucusunu ekler: 16 token'lık blokları tahmin eden 5 taslak katmanı. Bu, spekülatif kod çözme hızına yönelik bir özelliktir ve Ollama'nın model sayfası, DFlash desteğini Apple Silicon üzerindeki MLX motorunun bir parçası olarak sunar. Yalnızca CPU içeren bir VPS üzerinde, donanımınızdaki verimini henüz ölçmediğiniz bir taslak oluşturucu için yaklaşık 2 GB fazladan gerçek bellek harcar; bu yüzden sade etiketle başlayın ve her seferinde tek bir değişiklik yapın.
Özel bir nedeniniz yoksa 4-bit ile başlayın. 4-bit'ten 8-bit'e geçmek, CPU'nun her token üretimi için okuması gereken bayt miktarını kabaca iki katına çıkarır; bu da bellek kullanımı artarken iş hacminin (throughput) düşmesine neden olur. Bu takas, q4, q8 ve fp16 kuantizasyonunun size gerçek maliyeti konusunun içeriğidir ve bir CPU sunucusunda kısa cevap şudur: 4-bit sürüm, başlangıç için dikkate değer tek sürümdür.
MLX etiketleri Linux sunucuda neden hiçbir işe yaramaz
MLX, Apple'ın dizi çerçevesidir ve Ollama'nın MLX motoru, Apple Silicon donanımları için geliştirilmiş arka uçtur. Ollama bu motoru duyurduğunda, "32GB'tan fazla birleşik belleğe sahip bir Mac kullandığınızdan emin olun" talimatı verilmiştir. Etiket sayfasında MLX olarak işaretlenen her etiket, bu motor ve donanım için oluşturulmuştur; üstelik bu etiket her zaman ismin içinde yer almaz: Bu modelde söz konusu durum 30b-nvfp4, 30b-mxfp8 ve bunların -dflash varyantlarının yanı sıra içinde mlx geçen tüm etiketleri kapsar. x86 mimarili bir Linux VPS üzerinde bunların her biri, çalıştıramayacağınız onlarca gigabaytlık indirme dosyasıdır ve diskinizde boş yere yer kaplar. Mac üzerinde ölçülen herhangi bir hız değeri bu etiketlere aittir, dolayısıyla sunucunuzun performansını yansıtmaz. Model sayfasındaki etiket listesini incelerken, önce MLX etiketine sahip tüm seçenekleri filtreleyin, ardından kalanlar arasından boyut seçimi yapın.
Gerçekte ne kadar RAM ve disk alanı gerekiyor?
Bellek kullanımını iki unsur belirler; bunlardan yalnızca biri etiket boyutudur. Ağırlıklar, çektiğiniz etikete göre sabittir. Modelin konuşma boyunca tuttuğu her bir belirteç (token) durumu olan KV önbelleği, yapılandırdığınız bağlam uzunluğuyla birlikte büyür. Ollama belgeleri, eş zamanlı isteklerin sunulmasının bağlamı, işlemdeki istek sayısıyla çarptığını belirtir; bu nedenle aynı anda iki aracıya yanıt veren bir sunucu, tek bir aracıya yanıt veren sunucudan daha fazla belleğe ihtiyaç duyar.
Bu kılavuz dahil olmak üzere hiçbir rehberdeki RAM değerini mutlak kabul etmeyin. Etiketi çekin, tek bir komut gönderin ve model bellekteyken şu iki komutu çalıştırın.
ollama ps
free -hollama ps, şu anda nelerin yüklü olduğunu ve iş yükünün CPU ile GPU arasında nasıl paylaşıldığını gösterir. free -h ise geriye ne kadar boş alan kaldığını belirtir. Kendi sunucunuzdan alacağınız bu iki çıktı, yayınlanmış tüm tablolardan daha değerlidir; çünkü bu çıktılar bağlam ayarlarınızı, nicemleme (quantisation) değerlerinizi ve sunucuda çalışan diğer her şeyi zaten içerir.
Disk alanı işin daha kolay kısmıdır. Ollama, modelleri Linux üzerinde /usr/share/ollama/.ollama/models dizininde saklar; bu dizin çoğu VPS imajında kök dosya sisteminde yer alır. 40 GB'lık bir kök birimi, 57 GB boyutundaki bf16 sürümünü barındırmayacaktır; ayrıca 8-bit ve 4-bit sürümleri yan yana tutmaya da yetmeyecektir. Bir pull işleminin gerçekte ne yazdığını hiç incelemediyseniz, Ollama'nın modelleri nerede sakladığı ve nasıl taşınacağı rehberi bu dizini adım adım açıklar. Herhangi bir çekme işlemi yapmadan önce depolama alanını bağlı bir birime taşıyın.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_MODELS=/mnt/models"sudo mkdir -p /mnt/models
sudo chown -R ollama:ollama /mnt/models
sudo systemctl daemon-reload
sudo systemctl restart ollamaollama kullanıcısı olarak çalıştığı ve blob dosyalarını kendi yetkisiyle yazdığı için, ilgili dizinin sahibi ollama kullanıcısı olmalıdır. Bir pull işlemi izin hataları nedeniyle başarısız olursa, nedenini journalctl -u ollama -n 50 dosyasında görebilirsiniz.
Swap (takas alanı) hakkında tek bir net ifade yeterlidir: swap, daha büyük bir etiketi çalıştırmanızı sağlamaz. Üretim süreci, oluşturulan her belirteç için ağırlıklara erişir; bu nedenle swap içinde bulunan ağırlıklar sürekli olarak diskten geri okunur. vmstat 1 komutu, si ve so sütunlarının meşgul olduğunu gösterir ve çıktı hızı belirteç başına saniyelere düşer. OOM (Out of Memory) katiline karşı bir önlem olarak küçük bir swap dosyası tutun. RAM boyutunu, gerçekten kullanmak istediğiniz etikete göre belirleyin.
Ollama kurulumu ve adlandırılmış bir etiket sabitleme
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollamaKurulum betiği bir systemd servisi oluşturur, böylece sunucu yeniden başlatıldıktan sonra servis otomatik olarak ayağa kalkar. Eğer servisi root tarafından yönetilen bir sistem servisi olarak çalıştırmak istemiyorsanız, Ollama'yı Podman altında rootless çalıştırma rehberi bu yöntemi açıklamaktadır. Ardından, belirli bir etiketi (tag) çekin.
ollama pull muse-glimmer:30b
ollama listollama list içindeki boyut sütununu kendiniz inceleyin ve model sayfasındaki güncel etiket listesiyle karşılaştırın. Yayınlanan etiketler eklenir, yeniden adlandırılır veya kaldırılır; rehberdeki bir boyut bilgisi yalnızca o güne ait bir anlık görüntüdür.
Bağımlı olduğunuz bir sunucuda asla ollama pull muse-glimmer yazmayın. Yalın bir model adı, latest etiketine çözümlenir ve latest, yayıncının farklı bir sürüme yönlendirebileceği bir işaretçidir. Rutin bir çekme işlemi (pull), ajanınızın altındaki modeli değiştirir; bu durum farklı bellek gereksinimlerine ve farklı davranışlara yol açar ve loglarınızda buna dair hiçbir uyarı yer almaz. Etiketi betiklerinizde, unit dosyalarınızda ve ajan yapılandırmanızda mutlaka belirtin. VPS üzerinde Ollama ile LLM self-hosting rehberi, sunucu kurulumunun geri kalanını kapsamaktadır.
Muse Glimmer GPU olmadan çalıştırılabilir mi?
Evet, ancak performans sınırları konusunda açık olmak gerekir. Bir token üretmek, model ağırlıklarının bellekten okunması anlamına gelir; bu nedenle hız, planın sunduğu vCPU sayısından ziyade bellek bant genişliği ile belirlenir. Birkaç çekirdekten sonra, daha fazla çekirdek eklemek çok az performans artışı sağlar. Paylaşımlı bir VPS üzerinde bu bant genişliği, sunucudaki diğer tüm kullanıcılarla paylaşılır; bu yüzden 4-bit seviyesindeki 30B bir model, saniyede çok az sayıda token üretir.
Bu konuda kimsenin verdiği rakamı, benimkiler dahil, doğrudan kabul etmeyin. Kendi sunucunuzda saniyedeki token sayısını ölçün ve elde ettiğiniz sonuca göre karar verin.
Sonuç, modelin kullanım alanları açısından net bir ayrım yaratır. Etkileşimli sohbet oldukça yavaştır; çünkü okuma hızınız sunucunun yazma hızından fazladır ve her yanıt uzun bir bekleme süresiyle başlar. Arka plan aracı görevleri ise sorunsuzdur; çünkü on dakika boyunca gözetimsiz çalışan bir görev için yavaşlık bir sorun teşkil etmez. Meta'nın bu model için tanımladığı kullanım senaryosu tam olarak bu ikinci iş yüküdür.
Etkileşimli hız gerekiyorsa, dürüst iki seçenek GPU veya barındırılan bir API kullanmaktır. Herhangi bir kiralama yapmadan önce GPU VPS ile API token maliyetleri arasındaki başa baş noktasını hesaplayın ve bir GPU VPS'in size gerçekte ne sağladığını inceleyerek ne satın aldığınızı anlayın. Belirli bir sunucunun kapasitesine ilişkin daha geniş bir soru için kendi sunucunuzda barındırabileceğiniz modellere göz atın; benzer boyuttaki bir Qwen modelini VPS üzerinde çalıştırmak, bu boyut sınıfındaki en yakın karşılaştırmayı sunar. Ölçtüğünüz değerler kabul edilemeyecek kadar düşükse, Nemotron 3.5 Lightning on a VPS makalesi, boyut yerine hıza odaklanan bir model için aynı RAM ve saniyedeki token sorularını ele almaktadır.
Neden 128K token sınırına ulaşmadan önce hatırlama yetisini kaybediyor?
GPU bulunmayan bir sunucuda, modelin desteklediği değer ne olursa olsun Ollama'nın varsayılan bağlam penceresi 4096 tokendır. Ollama'nın FAQ bölümü bu 4096 varsayılan değerini belirtir ve 25 Ekim 2026 tarihinde incelenen bağlam uzunluğu dokümantasyonu, varsayılan değerin GPU belleğine göre ölçeklendiğini ifade eder: 24 GiB VRAM altı için 4k, 24 ile 48 GiB arası için 32k ve 48 GiB veya üzeri için 256k. Sadece CPU kullanan bir VPS, en alt kademede yer alır. Etiket 128K değerini duyursa da, siz aksini belirtmedikçe sunucu modele 4096 değerini atar; bu nedenle uzun bir aracı dökümü ilk kısımlarını kaybeder ve model amnezi yaşıyormuş gibi görünür.
Sunucu tarafında her istek için bu değeri yükseltin:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"Etkileşimli bir oturum içerisinde, /set parameter num_ctx 32768 bu değeri yalnızca o oturum için değiştirir. API üzerinden yapılan işlemlerde, istek seçenekleri içerisinde num_ctx gönderin.
Her bir ek bağlam tokenı, ağırlıkların üzerine ek bir bellek yükü getirir. Yalnızca ağırlıklar için boyutlandırılmış bir sunucuda 128K değerinin tamamını talep ederseniz, yükleme başarısız olur veya daha yavaş bir işleme biçimine geri döner. Değeri kademeli olarak artırın ve her adımdan sonra ollama ps komutunu çalıştırın. Ollama içerisinde num_ctx ve bağlam uzunluğu nasıl çalışır başlıklı içerik, bu hesaplamaların detaylarını açıklar.
Akıl yürütme gücü: low, medium, high ve xhigh
Meta, Muse Glimmer için low seviyesinden xhigh seviyesine kadar dört farklı akıl yürütme gücü tanımlar ve karmaşık kodlama ile ajan görevleri için en yüksek iki seviyenin kullanılmasını önerir. Ollama üzerinde bu ayar think parametresi ile yönetilir. Komut satırında --think= bayrağını kullanın veya API gövdesinde think değerini gönderin.
ollama run muse-glimmer:30b --think=high "Summarise the changes in /tmp/patch.diff"Etkileşimli bir oturum sırasında, /set think ve /set nothink komutları bu ayarı değiştirir. 25 Ekim 2026 tarihinde okunan Ollama düşünme dokümantasyonuna göre, bir modelin desteklediği değerleri keşfetmek için /api/show kullanılmalıdır. Düşünme meta verisine sahip bir model, bu değerleri thinking.values altında listeler; bunlar ya açma/kapama kontrolü için boolean değerlerdir ya da seviyeler için model tarafından tanımlanmış isimlerdir. Dokümantasyon, burada listelenen tam değerin kullanılmasını belirtir. Her model bu listeyi yayınlamaz: Eğer thinking yanıt içerisinde yer almıyorsa, modelin düşünme meta verisi bulunmuyor demektir. Aynı sayfa, desteklenmeyen bir ismin modelin varsayılan değerine döneceğini belirtir; bu nedenle yanlış yazılmış bir seviye hata vermez, sadece sessizce varsayılan ayarda çalışır. Komut satırı yardım menüsü yalnızca true, false, high, medium ve low değerlerini belirtir ve diğer tüm dizeleri sunucuya kontrol etmeden iletir. Bu yüzden tahmin yürütmek yerine muse-glimmer:30b için /api/show çıktısının ne bildirdiğini okuyun ve bir ajana entegre etmeden önce manuel olarak bir seviyeyi deneyin.
Yalnızca CPU kullanılan bir sistemde bu ayar ciddi bir yük oluşturabilir. Daha yüksek bir güç seviyesi, yanıtın ilk kelimesi görünmeden önce daha fazla düşünme token'ı üretilmesi anlamına gelir ve bir düşünme token'ı, bir yanıt token'ı ile aynı sürede işlenir. Rutin işleri low ayarında bırakın. Yanıtın uzunluğu da aynı özeni hak eder; bu nedenle uzun bir yanıtın yavaş bir sistemi dakikalarca meşgul etmesine izin vermek yerine num_predict ile yanıtı sınırlandırın.
Modeli her zaman açık bir ajan için bellekte tutma
Ollama, boşta kalan bir modeli varsayılan olarak beş dakika sonra bellekten kaldırır. Her on dakikada bir tetiklenen bir ajan için bu, her çalıştırmada diskten 18 GB boyutunda tam bir yükleme yapmak anlamına gelir; ağ tabanlı depolama birimine sahip bir VPS üzerinde bu yükleme işlemi hızlı gerçekleşmez. Bunun yerine modeli belleğe sabitleyin.
[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"Negatif bir değer, modelin bir şey onu bellekten kaldırana kadar yerleşik kalmasını sağlar; bir API isteğindeki keep_alive parametresi ise sunucunun varsayılan ayarını o çağrı için geçersiz kılar. Bunun maliyeti bellidir: hiçbir işlem yapılmadığı sırada da RAM meşgul kalır, bu nedenle bu ayar yalnızca ajana ayrılmış bir sunucu için uygundur. Bir Ollama modelini bellekte tutma dokümanı, bu konudaki farklı yöntemleri kapsamaktadır.
Bir kodlama aracını ona yönlendirme
Ollama, http://127.0.0.1:11434/v1 adresinde OpenAI uyumlu bir API sunar; bu nedenle çoğu araç, bir temel URL ve boş olmayan herhangi bir API anahtarı ile bağlantı kurar. Ollama'nın Muse Glimmer sayfası, desteklenen bir aracı tek bir komutla yerel bir modele bağlayan bir başlatma kısayolunu da belgeler; buradaki etiketi de sabitlemeniz önerilir.
ollama launch claude --model muse-glimmer:30bAraçlar büyük istemler gönderir. Dosya içerikleri, araç çıktıları ve sürekli büyüyen bir döküm, girdi belirteçleri olarak ulaşır; CPU tabanlı bir sunucuda, üretim aşaması başlamadan önce istem işleme süreci en çok kaynak tüketen kısımdır. Bağlam ayarını görevin izin verdiği ölçüde küçük tutun. Bir kodlama aracını Ollama'ya yönlendirme istemci tarafını, bir VPS üzerinde kodlama aracı çalıştırma aracın barındığı sunucuyu ve bir VPS üzerinde araç maliyetlerini kontrol etme ise aracın gün boyu çalışması durumunda neler yaşanacağını ele alır.
Görüntü girdisi de aynı şekilde çalışır. Ollama API, görüntüleri bir mesajın images alanından alır; bu nedenle, algı kodlayıcısı ne kadar yetenekli olursa olsun, yalnızca metin destekleyen bir istemci asla görüntü gönderemez.
11434 numaralı portu dışarıya açmayın
Ollama API üzerinde kimlik doğrulama mekanizması bulunmamaktadır. OLLAMA_HOST=0.0.0.0:11434 ayarını yaparak servisi dizüstü bilgisayarınızdan erişilebilir hale getirmek, kimlik doğrulaması olmayan bir model çalıştırıcısını genel internete açmak anlamına gelir. Bu durumda, servisi bulan herhangi bir kişi diskinize modeller yükleyebilir ve ajanınızın bu servis üzerinden gönderdiği tüm verileri okuyabilir. Servisi localhost üzerinde tutun ve bunun yerine bir tünel kullanın.
ssh -N -L 11434:127.0.0.1:11434 user@your-vpsOllama API uç noktasının güvenliğini sağlama bölümü, kimlik doğrulama talep eden bir reverse proxy kullanımı da dahil olmak üzere uygun seçenekleri kapsamaktadır.
Neler bozulur ve ne ile karşılaşırsınız
Çekme işlemi yarıda durur. Disk alanı. Model dizinine karşı df -h komutunu çalıştırın. 57 GB boyutundaki bir bf16 derlemesi 40GB'lık bir kök dizin bölümüne sığmaz; 8-bit ve 4-bit derlemeler yan yana da sığmayacaktır.
Model yüklenir ve ardından süreç sonlanır. Bellek yetersizliği. dmesg -T, çekirdeğin bellek yetersizliği nedeniyle bir süreci sonlandırdığını (OOM killer) kaydeder ve journalctl -u ollama -n 100 aynı olayın servis tarafındaki yansımasını gösterir. Çözüm, daha küçük bir etiket veya daha küçük bir num_ctx kullanmaktır. Çözüm, swap alanını artırmak değildir.
Token başına saniyeler süren bir hızla çalışır. vmstat 1 komutunu çalıştırın ve si ile so sütunlarını izleyin. Sürekli bir swap etkinliği, ağırlıkların RAM'e sığmadığı ve sistemin çalışırken bunları diskten tekrar okuduğu anlamına gelir.
Geçen hafta çalışan bir etiket artık yok. Etiket listeleri değişebilir. Model sayfasını tekrar okuyun, güncel olanı sabitleyin ve etiket adını tekrar bakabileceğiniz bir yere kaydedin.
Çekme işleminden önce boyutları kendiniz tekrar kontrol edin
Tablodaki boyutlar 25 Ekim 2026 tarihinde modelin etiket sayfasından alınmıştır; yayınlanan bir etiket listesi garanti teşkil etmez. Model sayfasındaki güncel listeyi okuyun ve ardından diskinize gerçekte ne kadar veri indiğini doğrulayın:
ollama pull muse-glimmer:30b
ollama list
sudo du -sh /usr/share/ollama/.ollama/modelsOllama, model katmanlarını paylaşılan blob'lar olarak saklar; bu nedenle bir katmanı paylaşan iki etiket, diskte iki kat yer kaplamaz. du komutunun raporladığı değerleri yayınlanan boyutla karşılaştırın ve disk planlamanızı bu iki değerden büyük olanına göre yapın.
FAQ
Muse Glimmer bir VPS üzerinde ne kadar RAM gerektirir?
Etiket boyutundan başlayın ve bağlam penceresini (context window) ekleyin. Varsayılan etiket 25 Ekim 2026 itibarıyla yaklaşık 18 GB olarak listelenmiştir; bu nedenle 16GB bir sunucu bunu hiç barındıramaz, 24GB bir sunucu ise bağlam için çok az boş alan bırakır. Bunu bir cevap değil, başlangıç noktası olarak kabul edin. Etiketi çekin, bir kez yükleyin, ardından kendi sunucunuzda ollama ps ve free -h komutlarını çalıştırarak kendi değerlerinizi okuyun. Daha uzun bağlam ve eşzamanlı isteklerin her biri, ağırlıkların üzerine ek bellek yükü bindirir.
Muse Glimmer'ı GPU olmadan çalıştırabilir miyim?
Evet. Yalnızca CPU içeren bir VPS üzerinde yüklenir ve yanıt verir. Üretim hızı çekirdek sayısından ziyade bellek bant genişliği ile sınırlıdır ve paylaşımlı bir sunucuda bu bant genişliği paylaşıldığı için 4-bit seviyesinde saniyede düşük sayıda token beklemelisiniz. Bu, gözetimsiz çalışan arka plan aracı işleri için kullanılabilir, ancak interaktif sohbet için yavaştır. Bir istek sırasında ollama ps komutunu çalıştırın ve işlemin nerede yürütüldüğünü doğrulamak için işlemci sütununu inceleyin.
MLX etiketleri bir Linux VPS üzerinde işe yarar mı?
Hayır. Etiket sayfasında MLX olarak etiketlenen her etiket, Apple Silicon arka ucu olan Ollama'nın MLX motoru için oluşturulmuştur; isimlerinde mlx geçmese bile 30b-nvfp4 ve 30b-mxfp8 buna dahildir. x86 bir Linux sunucuda bu etiketler çalıştıramayacağınız büyük dosyalardır. Sade 30b etiketini veya MLX olmayan diğer etiketlerden birini kullanın ve MLX sürümleriyle birlikte verilen Apple donanım kıyaslamalarını dikkate almayın.
Model neden 128K token sınırından çok önce bir şeyleri unutuyor?
Çünkü GPU olmayan bir sunucuda, model neyi desteklerse desteklesin Ollama'nın varsayılan bağlam penceresi 4096 tokendır; bu nedenle sunucu, uzun konuşmaları model görmeden önce keser. Sunucuda OLLAMA_CONTEXT_LENGTH ayarını yapın, tek bir oturum için /set parameter num_ctx kullanın veya API istek seçenekleri içinde num_ctx gönderin. Bellek kullanımı bununla birlikte artar, bu yüzden kademeli olarak yükseltin ve her seferinde ollama ps ile kontrol edin.
Etiketi sabitlemeli miyim yoksa sadece latest mı kullanmalıyım?
Sabitleyin. Etiketsiz muse-glimmer, yayıncının istediği zaman farklı bir sürüme yönlendirebileceği bir işaretçi olan latest değerine çözümlenir; bu nedenle rutin bir çekme işlemi, aracınızın üzerinde çalıştığı modeli değiştirebilir. Betiklerde, unit dosyalarında ve aracı yapılandırmalarında muse-glimmer:30b kullanın. Sabitlemeden önce model sayfasındaki etiket listesini kontrol edin, çünkü yayınlanan etiketler değişebilir.