SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor

VPS üzerinde Ollama ile GLM 5.2 çalışır mı?

Ollama'da GLM 5.2 yalnızca cloud olarak sunulur. VPS'e sığan modeli, indirilebilir etiketleri ve her quantisation için gereken RAM'i öğrenin.

GLM 5.2 bir VPS üzerinde çalıştırılabilir mi?

Evet, ancak Ollama'nın resmi etiketi üzerinden değil. 25 Ekim 2026 itibarıyla Ollama kütüphanesindeki GLM 5.2 tam olarak bir etikete sahiptir: glm-5.2:cloud. :cloud etiketi Ollama'nın sunucularında çalışır. Sunucunuz istemi gönderir ve belirteçleri (tokens) alır; bu nedenle ağırlıklar diskinize asla dokunmaz. Z.ai ağırlıkları yayınlar ve SGLang ile vLLM kullanarak yerel dağıtımı belgeler. Z.ai'nin kendi ağırlık deposu, modeli yaklaşık 753 milyar parametre olarak belirtir. 753 milyar parametrenin her biri için dört bit, yaklaşık 377 GB ağırlık demektir; bu, bağlam, aktivasyonlar veya işletim sistemi hesaba katılmadan önceki basit aritmetiktir. Yayınlanan VPS planları bu bellek miktarını aşmaktadır: Paragon, 512 GB RAM'e sahip E-48 modelini aylık 580 € fiyatla listelemektedir.

Kiraladığınız bir sunucuya sığabilecek GLM modeli glm-4.7-flash modelidir. Bu model, 4 etikette indirilebilir ağırlıklarla yayınlanmıştır. Bu, uzmanların karışımı (mixture-of-experts) yapısında bir modeldir; yani her belirteç için ağın yalnızca küçük bir kısmı çalışır. Z.ai bunu 30B-A3B olarak tanımlar: toplamda 30 milyar parametre, belirteç başına yaklaşık 3 milyar aktif parametre. Dolayısıyla bu kılavuz, üzerinde işlem yapabileceğiniz soruyu yanıtlar. Bir etiketi sabitleyin, sunucuyu boyutlandırın, kendi hızınızı ölçün ve uç noktayı gizli tutun.

Buradakiler de dahil olmak üzere herhangi bir komutu kopyalamadan önce etiketi doğrulayın. Ollama kütüphanesi bildirimde bulunmaksızın değişir. glm-4.7-flash etiket listesini açın ve etiketin hala mevcut olduğunu onaylayın. Yerel ağırlıklara sahip daha yeni bir GLM sürümü çıktıysa onu tercih edin ve gerçekte hangi etiketi test ettiğinizi kaydedin.

Yine de GLM 5.2'nin kendisini istiyorsanız, ollama run glm-5.2:cloud, ollama signin sonrasında çalışır ve istemci tarafında diğer tüm Ollama modelleri gibi davranır. Neyi kabul ettiğinizi anlayın: istem sunucunuzdan ayrılır. Self-host etme nedeniniz verilerin makinenizde kalması zorunluluğu ise, :cloud etiketi bu gereksinimi karşılamaz.

Hangi GLM etiketleri mevcut ve hangisi sabitlenmeli

Burada iki resmi GLM girişi önem taşır. glm-5.2, Ollama kütüphanesinde yalnızca bulut tabanlıdır. glm-4.7-flash yerel sürümdür ve aşağıda, Ollama tarafından her biri için listelenen indirme boyutlarıyla birlikte yayınlanmış etiketleri yer almaktadır. Daha önce glm-5.1 kullandıysanız, Ollama'nın bu etiketi 25 Eylül 2026 tarihinde kullanımdan kaldırdığını ve kütüphane sayfasında artık hiçbir model listelemediğini unutmayın. Z.ai, GLM-5.1 ağırlıklarını yayınlamaya ve yerel dağıtım dokümanlarını sunmaya devam etmektedir; bu nedenle Ollama'nın bu etiketi kaldırması, modelin başka yerlerde erişilemez olduğu anlamına gelmez.

Grafikglm-4.7-flash tags in Ollama's library, checked 2026-10-25
Bu grafiğin arkasındaki veriler
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

Bunlar kütüphane sayfasındaki yayınlanmış verilerdir, ölçüm sonuçları değildir. latest ve q4_K_M etiketlerinin her ikisi de 19 GB olarak listelenmiştir, bu nedenle latest şu anda Q4 sürümüne yönlendirmektedir. Bu durum herhangi bir yeniden yayınlamada değişebilir; bu yüzden bir betik veya Dockerfile içerisine asla yalın bir ollama pull glm-4.7-flash yazmamalısınız. Kuantizasyon türünü mutlaka belirtin. En büyük etiket olan bf16, kuantize edilmemiş bfloat16 ağırlıklarını içeren 60 GB boyutunda bir indirmedir.

Kütüphanede yapılan bir arama, someuser/glm-5.2 gibi isim içerisinde eğik çizgi (slash) barındıran adlandırılmış yüklemeleri de döndürür. Eğik çizgi, modelin bir kullanıcı hesabı tarafından yüklendiği anlamına gelir; yani bu, resmi girişten ziyade topluluk tarafından yapılmış bir yeniden yüklemedir. İçerisinde hangi ağırlıkların bulunduğu konusunda kimse garanti vermez. Bu tür bir dosyayı, internette bulduğunuz herhangi bir imzalanmamış ikili dosyaya nasıl yaklaşıyorsanız öyle değerlendirin.

Ollama kurulumu ve belirli etiketin çekilmesi

Ollama Linux yükleyicisi tek bir komuttan oluşur.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Yükleyici, ollama kullanıcısı olarak çalışan bir systemd servisi oluşturur. Herhangi bir işlem yapmadan önce servisin başladığını doğrulayın.

systemctl status ollama --no-pager

Active: active (running) ifadesi, systemd'nin servisi çalışıyor olarak gördüğü anlamına gelir; bu, API'nin hazır olduğunu veya portun dinlendiğini kanıtlamaz. API'yi varsayılan adres ve port üzerinde curl -fsS http://127.0.0.1:11434/api/tags ile ayrıca kontrol edin. Eğer birim mevcut değilse, yükleyici düz bir binary kurulumuna geri dönmüştür; Ollama Linux belgeleri servis dosyasını elle oluşturmanız için gerekli bilgileri sağlar.

glm-4.7-flash sayfası, minimum Ollama sürümünü listeler. Eski bir binary modeli yavaş çalıştırmaz, doğrudan reddeder: çekme işlemi, modelin daha yeni bir Ollama sürümü gerektirdiğine dair bir hata ile başarısız olur. Yükseltme yapmak için kurulum betiğini tekrar çalıştırın. 2 Kasım 2026 itibarıyla güncel sürüm 0.40.13'tür ve bu sürüm söz konusu minimum gereksinimin üzerindedir.

Şimdi ismiyle bir etiket çekin.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls, glm-4.7-flash:q4_K_M öğesini 19 GB'a yakın bir boyutla listelemelidir. Yarım kalan bir çekme işlemi çalıştırılabilir hiçbir dosya bırakmaz, bu nedenle aynı komutu tekrar çalıştırın. Küçük bir sunucu planında, çekme işleminden önce disk alanını kontrol edin: standart Linux kurulumu, OLLAMA_MODELS ile konumu değiştirmediğiniz sürece modelleri /usr/share/ollama/.ollama/models dizinine yazar. Başlamadan önce df -h /usr/share/ollama ile kontrol edin.

Her bir niceleme (quantisation) ne kadar RAM gerektirir?

İndirme boyutunu bir taban değeri olarak alın ve üzerine ekleme yapın. Ağırlıkların bellekte yerleşik olması gerekir. Bunların üzerinde, çalışma zamanının (runtime) konuşmadaki mevcut belirteçleri (tokens) hatırlamak için kullandığı bellek olan KV cache (anahtar/değer önbelleği), hesaplama tamponları ve işletim sisteminin kullandığı diğer kaynaklar bulunur. Tam olarak 19 GB RAM'e sahip bir kutu, 19 GB etiketli modeli çalıştıramaz.

Herkes için geçerli olan tek bir çarpan yoktur; çünkü KV cache, izin verdiğiniz bağlam uzunluğuyla (context length) birlikte büyür ve geri kalan kısım çalışma zamanı sürümleri arasında değişiklik gösterir. Bu nedenle tahmin etmek yerine ölçüm yapın. Modeli basit bir komutla yükleyin ve sunucunun ne kadar bellek ayırdığını okuyun.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps, yüklenen modeli bir SIZE sütunu ve bir PROCESSOR sütunu ile yazdırır. SIZE, çalışma zamanının fiilen ayırdığı miktardır ve planınızla karşılaştırmanız gereken sayı budur. PROCESSOR, işlemin nerede gerçekleştiğini belirtir; dolayısıyla 100% CPU, hiçbir GPU'nun dahil olmadığı anlamına gelir.

Model sığmadığında, Ollama üretim başlamadan önce bir yükleme hatası döndürebilir. Takas alanı baskısı (swap pressure) ve bellek yetersizliği nedeniyle sürecin sonlandırılması (out-of-memory kill) diğer olası sonuçlardır. Her bellek hatasının sessizce gerçekleştiğini varsaymak yerine, servis günlüklerini journalctl -u ollama --no-pager ile ve çekirdek günlüklerini journalctl -k | grep -i "out of memory" ile kontrol edin.

19 GB Q4 etiketinden 32 GB Q8 etiketine geçiş, bu sayı üzerinde sahip olduğunuz temel kontrol mekanizmasıdır. Q4, çıktı kalitesinden bir miktar ödün vermenize neden olur; bunun boyutu göreve bağlıdır. Yapılandırılmış çıktılar ve uzun mantık yürütme zincirleri, gündelik sohbetlere kıyasla bu durumdan daha fazla etkilenir. Karar vermeden önce Q4, Q8 ve FP16 pratikte nasıl farklılaşır başlıklı yazıyı okumakta fayda vardır; çünkü yalnızca CPU kullanılan bir VPS üzerinde niceleme tercihi, genellikle modelin çalışıp çalışmayacağını belirleyen temel unsurdur.

CPU-only VPS üzerinde ne olur

Çoğu VPS planı GPU içermez. Ollama, herhangi bir uyarı vermeden modeli CPU üzerinde çalıştırır. Sonucun kullanılabilir olup olmadığı iş yüküne ve beklemeye ne kadar sabır gösterebileceğinize bağlıdır.

Mixture-of-experts tasarımı hıza katkı sağlar. Her token için 30 milyar parametrenin yalnızca yaklaşık 3 milyarı kullanılır. Bu nedenle token başına gereken aritmetik işlem miktarı, yoğun 30B bir modelin gerektireceğinden çok daha düşüktür. Ancak bellek gereksinimi azalmaz. Router bir sonraki token için herhangi bir uzmanı seçebileceğinden tüm uzmanların bellekte tutulması gerekir. Bu nedenle CPU-only bir sunucuda Q4 etiketi için yine tam 19 GB veya daha fazla alan gerekir. İşlem hızı da çoğunlukla saat hızından değil, bellek bant genişliğinden etkilenir.

Bunun pratik bir sonucu vardır: Aynı çekirdek sayısına ve aynı RAM miktarına sahip iki plan, bellek alt sistemleri farklı olduğu için belirgin ölçüde farklı hızlarda metin üretebilir. Paylaşımlı bir planda ikinci bir değişken daha bulunur. Çünkü gürültü oluşturan başka bir kullanıcının CPU steal time değeri, saatten saate değişen bir saniyedeki token sayısı olarak görülür. Bu nedenle başka birinin yayımladığı hiçbir değer sizin sonucunuzu öngöremez. Bir sonraki bölümde sonuç tablosu yerine ölçüm yöntemi verilmesinin nedeni de budur.

Kendi saniye başına token sayınızı ölçün

Ollama'nın generate endpoint'i, son JSON nesnesinde zamanlama alanları döndürür. Üretilen token sayısını üretim süresine bölerek kendi planınız ve prompt'unuz için değeri hesaplayabilirsiniz.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count kaç token üretildiğini, eval_duration ise bunların üretilmesi için harcanan nanosaniye sayısını belirtir; dolayısıyla eval_count / eval_duration * 1e9 saniye başına token sayısıdır. prompt_eval_duration prompt'unuzun okunması için harcanan süreyi kapsar. Kullanıcının ilk token görünmeden önce beklediği süre budur. load_duration modelin diskten yüklenmesi için harcanan süredir. Bu nedenle yeniden başlatma sonrasındaki ilk çağrıda yüksek, sonraki çağrıda ise neredeyse sıfırdır.

Komutu üç kez çalıştırın ve ikinci ve üçüncü sonuçları kullanın. İlk sonuç modelin yüklenmesini içerir. Ardından işlemi çok daha uzun bir prompt ile tekrarlayın. Çünkü prompt işleme süresi girdinin uzunluğuna göre artar, üretim hızı ise artmaz. Değerleri plan adınızın ve quantisation bilginizin yanına kaydedin. Bu kayıt, okuduğunuz tüm benchmark sonuçlarından daha değerlidir. Çünkü ödeme yaptığınız donanım üzerinde ölçülmüştür.

Bağlam uzunluğu belleği nasıl katlar

GPU bulunmayan veya 24 GiB değerinden daha az VRAM kapasitesine sahip bir sunucuda Ollama, varsayılan olarak 4096 token değerinde bir bağlam uzunluğu kullanır. Model, glm-4.7-flash için 198K token gibi çok daha yüksek değerler sunsa da, bu değer varsayılan olarak gelmez ve etkinleştirilmesinin bir maliyeti vardır.

KV önbelleği, her katmandaki her token için bir anahtar vektörü ve bir değer vektörü tutar. Önbellek boyutu, izin verdiğiniz token sayısı ile doğru orantılı olarak artar. 4096 değerinden 32768 değerine çıkmak, bağlamı sekiz katına çıkarır; bu da KV önbelleğinin yaklaşık sekiz kat büyümesi anlamına gelir. Yalnızca ağırlıkları sığdıracak şekilde yapılandırılmış bir sunucuda, bu ek bellek tahsisi doğrudan swap kullanımına yol açar. Kısa istemlere sorunsuz yanıt veren bir makinenin, uzun bir belge yapıştırıldığında aniden yavaşlamasının nedeni budur. Aynı sunucuda daha uzun bir bağlama ihtiyaç duyarsanız, KV önbelleğini f16 yerine q8_0 formatında saklamak, ağırlıklara dokunmadan bellek tahsisini yaklaşık yarı yarıya azaltır. Ollama'nın FAQ bölümü, q8_0 değerini OLLAMA_KV_CACHE_TYPE için varsayılan olan f16 değerinin yaklaşık yarısı kadar bellek tüketecek şekilde konumlandırır ve nicelenmiş önbellek yalnızca flash attention etkinleştirildiğinde geçerli olur. Ollama, arka uç ve cihazlar desteklediğinde flash attention özelliğini otomatik olarak açar; OLLAMA_FLASH_ATTENTION=1 ise bu özelliği zorunlu kılar.

Bu değeri, yukarıdaki curl komutunda olduğu gibi options nesnesi içinde num_ctx ile istek bazlı ayarlayabilir veya sunucu varsayılanını değiştirebilirsiniz.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Son komut, OLLAMA_CONTEXT_LENGTH değerinizi yazdırmalıdır. Eğer boş bir Environment= çıktısı alıyorsanız, geçersiz kılma dosyası yanlış dizindedir veya yeniden yükleme işlemi atlanmıştır. Bir sonraki model yüklemesinden sonra ollama ps, 4096 değerine kıyasla gözle görülür biçimde daha büyük bir SIZE göstermelidir. Değeri kademeli olarak artırın ve her seferinde bu sayıyı izleyin. Ollama bağlam uzunluğunu num_ctx ile ayarlama, bu ayarın keep-alive ve eşzamanlı isteklerle nasıl etkileşime girdiğini açıklar; her ikisi de aynı maliyeti katlar. Sunucuyu birden fazla istemci kullanacaksa, eşzamanlılık sınırlarını bağlam uzunluğuyla aynı anda belirleyin; çünkü her paralel yuva kendi KV önbelleğini taşır ve kuyruk ayarı, ikinci bir isteğin beklemesi mi yoksa doğrudan reddedilmesi mi gerektiğine karar verir.

API, kutudan daha ucuz olduğunda

Self-hosting (kendi kendine barındırma) otomatik olarak daha ucuz değildir; bu aile için yayınlanan liste fiyatları durumu oldukça net bir şekilde ortaya koymaktadır.

GrafikZ.ai published list prices per million tokens, checked 2026-10-25
Bu grafiğin arkasındaki veriler
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

25 Ekim 2026 itibarıyla Z.ai, GLM-5.2 modelini milyon girdi token'ı başına $1.4 ve milyon çıktı token'ı başına $4.4 fiyatla listelemektedir. Bu kılavuzda yerel olarak çalıştırılan model olan GLM-4.7-Flash ise her iki yönde $0 fiyatla listelenmektedir. Bunlar yayınlanan fiyatlardır ve değişkenlik gösterebilirler; bu nedenle bir bütçe planlaması yapmadan önce güncel sayfayı kontrol edin.

Dolayısıyla, şu an için self-hosting glm-4.7-flash lehine olan maliyet argümanı zayıftır. Yeterli RAM kapasitesine sahip bir VPS her ay gerçek bir maliyet oluştururken, yayıncı aynı modeli ücretsiz olarak sunmaktadır. Kendi sisteminizde çalıştırarak satın aldığınız şey farklıdır: istemleriniz kontrolünüz altındaki bir makinede kalır ve siz değiştirmedikçe model sürümü asla değişmez. Bunlar self-hosting için geçerli nedenlerdir. Bu model ve bu fiyatlar için maliyet, bunlardan biri değildir.

İstediğiniz model ücretsiz olmadığında veya verilerinizin yasal olarak kendi ağınızın dışına çıkması mümkün olmadığında hesap değişir. Bir GPU VPS ile API token'ları arasındaki başa baş noktası, her değişkeni isimlendirerek bu hesaplamayı detaylandırır. Eğer hala makine seçimi yapıyorsanız, bir VPS'in aylık gerçek maliyeti toplamın diğer yarısını oluşturur.

Uç noktayı localhost üzerinde tutun

Bu, insanların atladığı ancak en önemli olan adımdır.

Ollama varsayılan olarak 11434 numaralı portta 127.0.0.1 adresine bağlanır, bu nedenle yalnızca sunucunun kendisinden erişilebilir durumdadır. Varsayımda bulunmak yerine bunu kendi sunucunuzda doğrulayın.

ss -ltnp | grep 11434

127.0.0.1:11434 çıktısını görmeniz gerekir. 0.0.0.0:11434 veya *:11434 değerlerini görmek, API'nin genel ağ arayüzü dahil olmak üzere tüm arayüzlerde dinleme yaptığı anlamına gelir.

Bu durum önemlidir çünkü Ollama'nın yerel API'si varsayılan olarak herhangi bir kimlik doğrulama gerektirmez. Parola, token veya izin verilenler listesi yoktur. 11434 numaralı porta erişebilen herkes modellerinizi listeleyebilir, ödemesini yaptığınız donanım üzerinde üretim çalıştırabilir, disk alanınız dolana kadar yeni modeller indirebilir ve mevcut olanları silebilir. 11434 numaralı port bilinen varsayılan porttur; OLLAMA_HOST hem bağlama adresini hem de portu değiştirebilir.

OLLAMA_HOST=0.0.0.0 değişkenini ayarlamayın. Bu değişken, Ollama'nın bağlandığı adresi değiştirir ve birçok eğitim içeriği, dizüstü bilgisayarınızdaki bir istemci bağlanamadığında çözüm olarak bunu önerir. Bu yanlış bir çözümdür. Bunun yerine portu yönlendirin.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

SSH, dizüstü bilgisayarınızda 11434 numaralı portu dinler ve her bağlantıyı sunucu tarafından görüldüğü şekliyle 127.0.0.1:11434 adresine iletir; Ollama zaten varsayılan olarak burada dinleme yapmaktadır. Bu nedenle tünelin OLLAMA_HOST üzerinde herhangi bir değişiklik yapmasına gerek yoktur, http://localhost:11434 için yapılandırılmış herhangi bir istemci değişiklik yapılmadan çalışır ve dışarıya yeni hiçbir şey açılmaz. Birden fazla kişi veya makine için sunucuyu özel bir tünel ağına alın ve Ollama'yı asla 0.0.0.0 adresine değil, tünel adresine bağlayın.

Sunucu dışındaki bir yerden doğrulama yapın. Dizüstü bilgisayarınızdan, SSH tüneli kapalıyken:

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out veya curl: (7) Failed to connect doğru sonuçtur. Modellerinizin JSON listesini görmek, portun internete açık olduğu anlamına gelir ve bunun derhal düzeltilmesi gerekir. Sağlayıcınızın ağ güvenlik duvarı, sunucu üzerinde çalışan güvenlik duvarından ayrı bir denetim mekanizmasıdır, bu yüzden her ikisini de kontrol edin. VPS barındırmanın güvenli olup olmadığına dair daha geniş soru konusu, çalışır durumda bıraktığınız bir makine için temel güvenlik önlemlerinin geri kalanını kapsar.

glm-4.7-flash hâlâ çok büyükse

Q4 etiketi planınıza sığmıyorsa çözüm context boyutunu küçültmek değil, daha küçük bir model kullanmaktır. Bir modeli sığdırmak için context boyutunu azaltmak, modelin yüklenmesini ancak ilk uzun prompt'ta hata vermesini sağlar. VPS üzerinde 8B ve 27B boyutlarında Qwen 3 mütevazı donanımlara uygun boyutlarda aynı kurulum yolunu izler. Ollama ile VPS üzerinde LLM self-host etme genel kılavuzu ise hangi modeli seçerseniz seçin aynı kalan bölümleri açıklar. Hangi modeli kullanırsanız kullanın etiketi sabitleyin, kendi planınız üzerinde ölçüm yapın ve endpoint'i loopback üzerinde bırakın.

FAQ

GLM 5.2 yerel bir VPS üzerinde çalıştırılabilir mi?

Evet, Z.ai tarafından yayımlanan ağırlıklar ve SGLang veya vLLM gibi desteklenen bir çalışma zamanı kullanılarak çalıştırılabilir. 25 Ekim 2026 itibarıyla GLM 5.2, Ollama kütüphanesinde yalnızca glm-5.2:cloud etiketiyle mevcuttur; bu etiket Ollama'nın kendi altyapısında çalışır ve çalışması için ollama signin gerektirir. Z.ai ağırlık deposu, modeli yaklaşık 753 milyar parametre seviyesinde tutmaktadır; bu nedenle parametre başına dört bitlik sıkıştırmada bile ağırlıklar tek başına yaklaşık 377 GB yer kaplar. Yayımlanan yüksek bellekli VPS planları, Paragon'un 512 GB E-48 modeli dahil olmak üzere bu rakamı aşmaktadır, ancak çalışma zamanı yükü ve bağlam (context) için yine de ek alana ihtiyaç duyulur. Bu kılavuzda kullanılan, indirilebilir ağırlıklara sahip daha küçük GLM modeli glm-4.7-flash'dir.

glm-4.7-flash ne kadar RAM gerektirir?

Etiketin indirme boyutunu bir taban değer olarak kabul edin ve üzerine KV önbelleği ile işletim sistemi için gerekli alanı ekleyin. Ollama, Q4 etiketini 19 GB, Q8 etiketini 32 GB ve bfloat16 etiketini 60 GB olarak listeler. KV önbelleği belirlediğiniz bağlam uzunluğuyla birlikte büyüdüğü için herkes için geçerli sabit bir çarpan yoktur. Modeli yükleyin, ollama ps komutunu çalıştırın ve kendi sunucunuzdaki gerçek değer için SIZE sütununu okuyun.

Kendi VPS'imde saniyedeki token sayısını nasıl ölçerim?

"stream": false kullanarak http://localhost:11434/api/generate adresine bir istek gönderin, ardından yanıttan eval_count ve eval_duration değerlerini okuyun. Saniyedeki token sayısı eval_count / eval_duration * 1e9'dir, çünkü eval_duration nanosaniye cinsinden raporlanır. İlk çalıştırmayı dikkate almayın, çünkü bu işlem ağırlıkların diskten okunmasını içeren load_duration sürecini kapsar. Ayrıca uzun bir istem (prompt) ile testi tekrarlayın, çünkü prompt_eval_duration girdi uzunluğuyla birlikte artarken üretim hızı artmaz.

OLLAMA_HOST değerini neden 0.0.0.0 olarak ayarlamamalıyım?

Ollama'nın yerel API'si varsayılan olarak kimlik doğrulaması gerektirmediğinden, bunu 0.0.0.0 adresine bağlamak API'yi tüm IPv4 arayüzlerine açar; bu durumda genel erişim yönlendirme ve güvenlik duvarlarına bağlı hale gelir. 11434 numaralı porta ulaşan herkes donanımınız üzerinde üretim yapabilir ve yüklü modelleri değiştirebilir. Varsayılan 127.0.0.1 bağlamasını koruyun, ss -ltnp | grep 11434 ile kontrol edin ve API'ye dizüstü bilgisayarınızdan ssh -N -L 11434:127.0.0.1:11434 you@your-server gibi bir SSH tüneli üzerinden erişin.

Bu yazı işinize yaradı mı?