VPS पर Ollama के साथ GLM 5.2 कैसे चलाएं
क्या आप VPS पर GLM 5.2 चला सकते हैं? Ollama लाइब्रेरी में यह मॉडल क्लाउड-ओनली है। जानें कि कौन सा GLM मॉडल आपके सर्वर पर चलेगा और प्रत्येक क्वांटाइजेशन के लिए कितनी RAM चाहिए।
क्या आप VPS पर GLM 5.2 चला सकते हैं?
हाँ, लेकिन Ollama के आधिकारिक टैग के माध्यम से नहीं। 25 अक्टूबर 2026 तक, Ollama की लाइब्रेरी में GLM 5.2 का केवल एक ही टैग है, glm-5.2:cloud। एक :cloud टैग Ollama के सर्वर पर चलता है। आपका बॉक्स प्रॉम्प्ट भेजता है और टोकन प्राप्त करता है, इसलिए वेट्स (weights) कभी भी आपकी डिस्क को नहीं छूते हैं। Z.ai वेट्स प्रकाशित करता है और SGLang तथा vLLM के साथ स्थानीय परिनियोजन (local deployment) का दस्तावेजीकरण करता है। Z.ai का अपना वेट्स रिपॉजिटरी मॉडल को लगभग 753 बिलियन पैरामीटर्स पर रखता है। 753 बिलियन पैरामीटर्स में प्रति पैरामीटर चार बिट्स का अर्थ लगभग 377 GB वेट्स है, और यह संदर्भ (context), एक्टिवेशन या ऑपरेटिंग सिस्टम से पहले की सामान्य गणना है। प्रकाशित VPS प्लान उस मेमोरी आंकड़े से अधिक हैं: Paragon अपने E-48 को 512 GB RAM के साथ €580/माह पर सूचीबद्ध करता है।
GLM मॉडल जो आपके द्वारा किराए पर लिए गए सर्वर पर फिट बैठता है, वह glm-4.7-flash है। इसे 4 टैग्स में डाउनलोड करने योग्य वेट्स के साथ प्रकाशित किया गया है। यह एक mixture-of-experts मॉडल है, जिसका अर्थ है कि प्रत्येक टोकन के लिए नेटवर्क का केवल एक छोटा हिस्सा चलता है, और Z.ai इसे 30B-A3B के रूप में वर्णित करता है: कुल 30 बिलियन पैरामीटर्स, प्रति टोकन लगभग 3 बिलियन सक्रिय। इसलिए यह गाइड उस प्रश्न का उत्तर देती है जिस पर आप कार्य कर सकते हैं। एक टैग पिन करें, बॉक्स का आकार निर्धारित करें, अपनी गति मापें, और एंडपॉइंट को निजी रखें।
किसी भी कमांड को कॉपी करने से पहले टैग को सत्यापित करें, जिसमें यहाँ दी गई कमांड्स भी शामिल हैं। Ollama की लाइब्रेरी बिना किसी सूचना के बदल जाती है। glm-4.7-flash टैग सूची खोलें और पुष्टि करें कि टैग अभी भी मौजूद है। यदि स्थानीय वेट्स के साथ कोई नया GLM रिलीज़ आया है, तो उसे प्राथमिकता दें, और रिकॉर्ड करें कि आपने वास्तव में किस टैग का परीक्षण किया है।
यदि आप किसी भी तरह से GLM 5.2 ही चाहते हैं, तो ollama signin के बाद ollama run glm-5.2:cloud काम करता है। Ollama का क्लाउड वर्तमान में स्ट्रक्चर्ड आउटपुट का समर्थन नहीं करता है, इसलिए format पैरामीटर का उपयोग करके JSON या JSON स्कीमा लागू करने वाले अनुरोधों के लिए glm-5.2:cloud एक स्थानीय मॉडल की जगह नहीं ले सकता है। समझें कि आप किस बात के लिए सहमत हो रहे हैं: प्रॉम्प्ट आपके सर्वर को छोड़ देता है। यदि आपका सेल्फ-होस्टिंग का कारण यह है कि डेटा को आपकी मशीन पर रहना चाहिए, तो एक :cloud टैग उस कारण को पूरा नहीं करता है।
कौन से GLM टैग मौजूद हैं, और किसे पिन करना चाहिए
यहाँ दो आधिकारिक GLM प्रविष्टियाँ मायने रखती हैं। glm-5.2 केवल Ollama की लाइब्रेरी में क्लाउड के लिए है। glm-4.7-flash स्थानीय (local) संस्करण है, और ये इसके प्रकाशित टैग हैं, साथ ही Ollama द्वारा प्रत्येक के लिए सूचीबद्ध डाउनलोड आकार भी है। यदि आपने पहले glm-5.1 का उपयोग किया था, तो ध्यान दें कि Ollama ने इसे 25 सितंबर 2026 को रिटायर कर दिया है और इसके लाइब्रेरी पेज पर अब कोई मॉडल सूचीबद्ध नहीं है। Z.ai अभी भी GLM-5.1 वेट्स प्रकाशित करता है और स्थानीय परिनियोजन (local deployment) के दस्तावेज़ प्रदान करता है, इसलिए Ollama द्वारा रिटायर करने का मतलब यह नहीं है कि मॉडल कहीं और उपलब्ध नहीं है।
इस चार्ट के पीछे का डेटा
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]ये लाइब्रेरी पेज से लिए गए प्रकाशित आंकड़े हैं, न कि मापन। latest और q4_K_M दोनों 19 GB पर सूचीबद्ध हैं, इसलिए latest वर्तमान में Q4 बिल्ड को दर्शाता है। किसी भी पुनः प्रकाशन (republish) पर यह बदल सकता है, यही कारण है कि आपको कभी भी किसी स्क्रिप्ट या Dockerfile में केवल ollama pull glm-4.7-flash नहीं लिखना चाहिए। क्वांटाइजेशन (quantisation) का नाम लिखें। सबसे बड़ा टैग, bf16, एक 60 GB का डाउनलोड है जिसमें अनक्वांटाइज्ड bfloat16 वेट्स मौजूद हैं।
लाइब्रेरी पर खोज करने से नामस्थान (namespaced) वाले अपलोड भी मिलते हैं जिनमें नाम में स्लैश होता है, जैसे कि someuser/glm-5.2। स्लैश का मतलब है कि इसे किसी उपयोगकर्ता खाते द्वारा प्रकाशित किया गया है, इसलिए यह आधिकारिक प्रविष्टि के बजाय एक सामुदायिक री-अपलोड है। कोई भी यह गारंटी नहीं देता कि अंदर कौन से वेट्स हैं। किसी भी ऐसे अनसाइंड बाइनरी के साथ वैसा ही व्यवहार करें जैसा आप ऑनलाइन मिली किसी भी अन्य फाइल के साथ करते हैं।
Ollama इंस्टॉल करें और सटीक टैग पुल करें
Ollama का Linux इंस्टॉलर एक कमांड है।
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionइंस्टॉलर एक systemd सर्विस बनाता है जो ollama यूजर के रूप में चलती है। कुछ भी पुल करने से पहले पुष्टि करें कि यह शुरू हो गई है।
systemctl status ollama --no-pagerActive: active (running) का अर्थ है कि systemd सर्विस को चल रहा मानता है; यह API की तैयारी या लिसनिंग पोर्ट की पुष्टि नहीं करता है। डिफ़ॉल्ट पते और पोर्ट पर curl -fsS http://127.0.0.1:11434/api/tags के साथ API की अलग से जाँच करें। यदि यूनिट मौजूद नहीं है, तो इंस्टॉलर एक साधारण बाइनरी इंस्टॉलेशन पर वापस चला गया है, और Ollama Linux दस्तावेज़ीकरण हाथ से सर्विस फ़ाइल बनाने का तरीका बताता है।
glm-4.7-flash पेज न्यूनतम Ollama संस्करण को सूचीबद्ध करता है। एक पुरानी बाइनरी मॉडल को धीरे नहीं चलाती, बल्कि उसे अस्वीकार कर देती है: पुल इस संदेश के साथ विफल हो जाता है कि मॉडल को Ollama के नए संस्करण की आवश्यकता है। अपग्रेड करने के लिए इंस्टॉल स्क्रिप्ट को फिर से चलाएँ। 21 नवंबर 2026 तक वर्तमान रिलीज़ 0.40.17 है, जो उस न्यूनतम से काफी आगे है।
अब नाम से एक टैग पुल करें।
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls को glm-4.7-flash:q4_K_M को 19 GB के करीब के आकार के साथ सूचीबद्ध करना चाहिए। बीच में रुकने वाला पुल कुछ भी चलाने योग्य नहीं छोड़ता है, इसलिए उसी कमांड को फिर से चलाएँ। छोटे प्लान पर, पुल करने से पहले डिस्क स्पेस की जाँच करें: मानक Linux इंस्टॉलेशन मॉडल को /usr/share/ollama/.ollama/models में लिखता है, जब तक कि आप OLLAMA_MODELS के साथ स्थान न बदलें। शुरू करने से पहले df -h /usr/share/ollama के साथ जाँच करें।
प्रत्येक quantisation के लिए कितनी RAM की आवश्यकता होती है?
डाउनलोड आकार को आधार मानकर शुरुआत करें, फिर उसमें अतिरिक्त मेमोरी जोड़ें। weights को मेमोरी में लोड होना आवश्यक है। इनके ऊपर KV cache (key/value cache) होता है, जो वह मेमोरी है जिसका उपयोग runtime बातचीत में पहले से मौजूद tokens को याद रखने के लिए करता है, साथ ही compute buffers और operating system द्वारा उपयोग की जा रही अन्य मेमोरी भी इसमें शामिल होती है। यदि किसी मशीन में बिल्कुल 19 GB RAM है, तो वह 19 GB tag को नहीं चला पाएगी।
कोई एक ऐसा multiplier नहीं है जो सभी के लिए सही हो, क्योंकि KV cache आपके द्वारा अनुमति दी गई context length के साथ बढ़ता है और बाकी चीजें runtime versions के बीच बदलती रहती हैं। इसलिए अनुमान लगाने के बजाय मापें। एक सामान्य prompt के साथ model लोड करें, फिर देखें कि सर्वर ने कितनी मेमोरी आरक्षित (reserve) की है।
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps लोड किए गए model को SIZE कॉलम और PROCESSOR कॉलम के साथ प्रिंट करता है। SIZE वह मेमोरी है जिसे runtime ने वास्तव में आरक्षित किया है, और यही वह संख्या है जिसकी तुलना आपको अपनी योजना से करनी चाहिए। PROCESSOR आपको बताता है कि कार्य कहाँ हो रहा है, इसलिए 100% CPU का अर्थ है कि इसमें GPU का बिल्कुल भी उपयोग नहीं हुआ है।
जब model फिट नहीं होता है, तो Ollama generation शुरू होने से पहले load error दे सकता है। Swap pressure और out-of-memory kill अन्य संभावित परिणाम हैं। यह मानने के बजाय कि हर memory failure चुपचाप हो जाता है, journalctl -u ollama --no-pager के साथ service logs और journalctl -k | grep -i "out of memory" के साथ kernel logs की जाँच करें।
19 GB Q4 tag से 32 GB Q8 tag तक का कदम उस संख्या को नियंत्रित करने का मुख्य तरीका है। Q4 में output quality का कुछ नुकसान होता है, और यह नुकसान कार्य पर निर्भर करता है; structured output और तर्क की लंबी श्रृंखलाओं (long chains of reasoning) में सामान्य बातचीत की तुलना में अधिक प्रभाव पड़ता है। निर्णय लेने से पहले Q4, Q8 और FP16 व्यवहार में कैसे भिन्न हैं पढ़ना उचित है, क्योंकि केवल CPU वाले VPS पर quantisation का चुनाव आमतौर पर यह तय करता है कि model चलेगा या नहीं।
CPU-only VPS पर क्या होता है
अधिकांश VPS plans में GPU नहीं होता है, और Ollama आपको चेतावनी दिए बिना CPU पर ही model चला देगा। परिणाम उपयोग करने योग्य है या नहीं, यह workload और आपके धैर्य पर निर्भर करता है।
Mixture-of-experts डिज़ाइन गति में मदद करता है। किसी भी token के लिए 30 billion parameters में से केवल 3 billion का ही उपयोग होता है, इसलिए प्रति token होने वाली गणना एक dense 30B model की तुलना में बहुत कम होती है। जो चीज़ कम नहीं होती, वह है memory। प्रत्येक expert को memory में resident रहना पड़ता है, क्योंकि router अगले token के लिए किसी भी expert को चुन सकता है। इसलिए, CPU-only box को भी Q4 tag के लिए पूरे 19 GB या उससे अधिक RAM की आवश्यकता होती है, और इसकी throughput मुख्य रूप से clock speed के बजाय memory bandwidth द्वारा नियंत्रित होती है।
इसका एक व्यावहारिक परिणाम यह है: समान core count और समान RAM वाले दो plans की generation speed में स्पष्ट अंतर हो सकता है क्योंकि उनके memory subsystems अलग-अलग होते हैं। एक shared plan एक दूसरा variable जोड़ देता है, क्योंकि noisy neighbour के कारण CPU steal time tokens-per-second के उस आंकड़े के रूप में दिखाई देता है जो हर घंटे बदलता रहता है। यही कारण है कि किसी और द्वारा प्रकाशित आंकड़े आपके प्रदर्शन का सटीक अनुमान नहीं दे सकते, और यही कारण है कि अगला section परिणामों की तालिका के बजाय मापन की एक विधि (measurement recipe) है।
अपने tokens per second को मापें
Ollama का generate endpoint अपने अंतिम JSON object में timing fields लौटाता है। उत्पन्न हुए token की संख्या को generation duration से विभाजित करें, और आपको अपने plan और prompt के आधार पर अपना परिणाम मिल जाएगा।
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count यह दर्शाता है कि कितने tokens उत्पन्न हुए और eval_duration generation में लगा समय nanoseconds में है, इसलिए eval_count / eval_duration * 1e9 tokens per second की दर है। prompt_eval_duration में आपके prompt को पढ़ने का समय शामिल है, जिसे एक उपयोगकर्ता पहले token के आने से पहले के प्रतीक्षा समय के रूप में अनुभव करता है। load_duration वह समय है जो model को disk से load करने में लगा है, इसलिए restart के बाद पहली call पर यह अधिक होता है और अगली बार लगभग शून्य हो जाता है।
इसे तीन बार चलाएं और दूसरे तथा तीसरे परिणाम को रखें, क्योंकि पहले परिणाम में वह load समय शामिल होता है। इसके बाद इसे एक बहुत लंबे prompt के साथ फिर से चलाएं, क्योंकि prompt processing input की लंबाई के साथ बढ़ती है जबकि generation की गति नहीं बदलती। इन संख्याओं को अपने plan के नाम और quantisation के साथ लिखें। यह रिकॉर्ड आपके द्वारा पढ़े गए किसी भी benchmark से अधिक मूल्यवान है, क्योंकि इसे उसी hardware पर मापा गया है जिसके लिए आप भुगतान कर रहे हैं।
Context length मेमोरी को कैसे बढ़ाता है
बिना GPU वाले या 24 GiB से कम VRAM वाले सिस्टम पर, Ollama डिफ़ॉल्ट रूप से 4096-token का context इस्तेमाल करता है। मॉडल इससे कहीं अधिक, यानी glm-4.7-flash के लिए 198K tokens का दावा करता है, लेकिन यह डिफ़ॉल्ट रूप से नहीं मिलता है और इसे सक्रिय करने की एक कीमत होती है।
KV cache हर layer में, हर token के लिए एक key vector और एक value vector को स्टोर करता है। इसका आकार आपके द्वारा अनुमति दिए गए tokens की संख्या के साथ linear रूप से बढ़ता है। 4096 से 32768 tokens तक जाने का मतलब है आठ गुना context, इसलिए यह लगभग आठ गुना KV cache लेता है। यदि सिस्टम में केवल weights के लिए जगह है, तो यह अतिरिक्त allocation आपको सीधे swap में धकेल देता है। यही कारण है कि जो मशीन छोटे prompts का जवाब ठीक से दे रही थी, वह लंबा document पेस्ट करने पर अचानक धीमी हो जाती है। यदि आपको उसी मशीन पर लंबे context की आवश्यकता है, तो KV cache को f16 के बजाय q8_0 पर स्टोर करना weights को प्रभावित किए बिना उस allocation को लगभग आधा कर देता है। Ollama का FAQ q8_0 को f16 की मेमोरी का लगभग आधा बताता है, जो OLLAMA_KV_CACHE_TYPE के लिए डिफ़ॉल्ट है, और quantized cache केवल तभी लागू होता है जब flash attention सक्षम हो। जब backend और devices इसका समर्थन करते हैं, तो Ollama flash attention को अपने आप चालू कर देता है, और OLLAMA_FLASH_ATTENTION=1 इसे जबरन चालू कर देता है।
इसे ऊपर दिए गए curl command की तरह options object में num_ctx के साथ प्रति request सेट करें, या server डिफ़ॉल्ट को बदलें।
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentअंतिम command को आपका OLLAMA_CONTEXT_LENGTH मान प्रिंट करना चाहिए। यदि यह खाली Environment= प्रिंट करता है, तो override file गलत directory में है या reload नहीं हुआ है। अगले model load के बाद, ollama ps को 4096 की तुलना में स्पष्ट रूप से बड़ा SIZE दिखाना चाहिए। मान को धीरे-धीरे बढ़ाएं और हर बार उस संख्या पर नज़र रखें। Ollama की context length को num_ctx के साथ सेट करना बताता है कि यह keep-alive और parallel requests के साथ कैसे काम करता है, जो दोनों ही इसी लागत को बढ़ाते हैं। यदि एक से अधिक client server का उपयोग करेंगे, तो context के साथ-साथ concurrency limits भी तय कर लें, क्योंकि हर parallel slot का अपना KV cache होता है और queue सेटिंग यह तय करती है कि दूसरी request प्रतीक्षा करेगी या उसे सीधे अस्वीकार कर दिया जाएगा।
जब API, बॉक्स (सर्वर) से सस्ता हो
Self-hosting हमेशा सस्ता नहीं होता है, और इस परिवार के लिए प्रकाशित सूची मूल्य इस बात को स्पष्ट रूप से दर्शाते हैं।
इस चार्ट के पीछे का डेटा
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]25 October 2026 तक, Z.ai ने GLM-5.2 की कीमत $1.4 प्रति दस लाख इनपुट टोकन और $4.4 प्रति दस लाख आउटपुट टोकन निर्धारित की है। यह GLM-4.7-Flash को, जो कि वह मॉडल है जिसे यह गाइड स्थानीय रूप से चलाती है, दोनों दिशाओं में $0 पर सूचीबद्ध करता है। ये प्रकाशित कीमतें हैं और इनमें बदलाव हो सकता है, इसलिए किसी भी विकल्प के आधार पर बजट बनाने से पहले वर्तमान पेज की जाँच करें।
इसलिए, इस समय self-hosting glm-4.7-flash के लिए आर्थिक तर्क कमजोर है। पर्याप्त RAM वाले VPS पर हर महीने वास्तविक खर्च होता है, जबकि प्रकाशक वही मॉडल मुफ्त में उपलब्ध कराता है। आप इसे स्वयं चलाकर जो खरीदते हैं वह अलग है: आपके prompts आपके नियंत्रण वाली मशीन पर रहते हैं, और मॉडल का संस्करण तब तक नहीं बदलता जब तक आप उसे नहीं बदलते। ये self-hosting के अच्छे कारण हैं। इस मॉडल के लिए, इन कीमतों पर, लागत उनमें से एक नहीं है।
जब आप जिस मॉडल को चाहते हैं वह मुफ्त नहीं होता, या जब आपका डेटा कानूनी रूप से आपके अपने नेटवर्क से बाहर नहीं जा सकता, तब गणित बदल जाता है। GPU VPS और API टोकन के बीच ब्रेक-ईवन पॉइंट प्रत्येक वेरिएबल के साथ उस गणना को स्पष्ट करता है। यदि आप अभी भी मशीन का चयन कर रहे हैं, तो एक VPS की वास्तविक मासिक लागत गणना का दूसरा हिस्सा है।
Endpoint को localhost पर रखें
यह वह चरण है जिसे लोग छोड़ देते हैं, और यही सबसे महत्वपूर्ण है।
Ollama डिफ़ॉल्ट रूप से port 11434 पर 127.0.0.1 से bind होता है, इसलिए यह केवल सर्वर से ही पहुँच योग्य होता है। यह मान लेने के बजाय कि ऐसा ही है, अपने बॉक्स पर इसकी पुष्टि करें।
ss -ltnp | grep 11434आप 127.0.0.1:11434 देखना चाहेंगे। 0.0.0.0:11434 या *:11434 देखने का मतलब है कि API हर interface पर listen कर रहा है, जिसमें public interface भी शामिल है।
यह इसलिए मायने रखता है क्योंकि Ollama की local API को डिफ़ॉल्ट रूप से किसी authentication की आवश्यकता नहीं होती है। इसमें कोई password, कोई token, या कोई allowlist नहीं है। जो कोई भी port 11434 तक पहुँच सकता है, वह आपके models को list कर सकता है, आपके द्वारा भुगतान किए गए hardware पर generation चला सकता है, आपकी disk भर जाने तक नए models pull कर सकता है, और आपके पास मौजूद models को delete कर सकता है। Port 11434 एक well-known डिफ़ॉल्ट है; OLLAMA_HOST bind address और port दोनों को बदल सकता है।
OLLAMA_HOST=0.0.0.0 को set न करें। वह variable उस address को बदल देता है जिससे Ollama bind होता है, और कई tutorials इसे तब समाधान के रूप में सुझाते हैं जब आपके laptop पर मौजूद client connect नहीं हो पाता। यह गलत समाधान है। इसके बजाय port को forward करें।
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSSH आपके laptop पर port 11434 पर listen करता है और प्रत्येक connection को सर्वर से देखे जाने वाले 127.0.0.1:11434 पर forward करता है, जहाँ Ollama पहले से ही डिफ़ॉल्ट रूप से listen करता है। इसलिए tunnel को OLLAMA_HOST में किसी बदलाव की आवश्यकता नहीं है, http://localhost:11434 के लिए configured कोई भी client बिना किसी बदलाव के काम करता है, और कुछ भी नया expose नहीं होता है। कई लोगों या कई machines के लिए, सर्वर को एक private tunnel network पर रखें और Ollama को tunnel address से bind करें, कभी भी 0.0.0.0 से नहीं।
सर्वर के अलावा किसी अन्य स्थान से verify करें। अपने laptop से, SSH tunnel बंद होने पर:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out या curl: (7) Failed to connect सही परिणाम है। आपके models की एक JSON list का मतलब है कि port internet के लिए खुला है, और इसे अभी ठीक करने की आवश्यकता है। आपके provider का network firewall बॉक्स पर चल रहे firewall से एक अलग नियंत्रण है, इसलिए दोनों की जाँच करें। VPS hosting सुरक्षित है या नहीं, इस पर व्यापक प्रश्न उस machine के लिए बाकी baseline को कवर करता है जिसे आप चालू छोड़ देते हैं।
यदि glm-4.7-flash अभी भी बहुत बड़ा है
जब Q4 टैग आपके प्लान में फिट नहीं होता है, तो इसका समाधान एक छोटा मॉडल है, न कि छोटा कॉन्टेक्स्ट। मॉडल को फिट करने के लिए कॉन्टेक्स्ट को कम करने से आपको ऐसा कुछ मिलता है जो लोड तो हो जाता है, लेकिन पहले लंबे प्रॉम्प्ट पर ही विफल हो जाता है। VPS पर Qwen 3 के 8B और 27B वर्ज़न उसी इंस्टॉलेशन पाथ का अनुसरण करते हैं जो छोटे सर्वर के लिए उपयुक्त हैं, और VPS पर Ollama के साथ LLM को सेल्फ-होस्ट करने के लिए सामान्य गाइड उन हिस्सों को कवर करती है जो आपके द्वारा चुने गए किसी भी मॉडल के लिए समान रहते हैं। आप चाहे जो भी चुनें, टैग को पिन करें, अपने प्लान पर मापें, और एंडपॉइंट को लूपबैक पर रखें।
FAQ
क्या GLM 5.2 को VPS पर स्थानीय रूप से चलाया जा सकता है?
हाँ, Z.ai द्वारा प्रकाशित weights और SGLang या vLLM जैसे समर्थित runtime का उपयोग करके। 25 October 2026 तक, GLM 5.2 Ollama की लाइब्रेरी में केवल glm-5.2:cloud के रूप में मौजूद है, जो एक ऐसा tag है जो Ollama के अपने infrastructure पर चलता है और काम करने से पहले उसे ollama signin की आवश्यकता होती है। Z.ai का weights repository मॉडल को लगभग 753 बिलियन parameters पर रखता है, इसलिए चार bits प्रति parameter पर भी केवल weights का आकार लगभग 377 GB हो जाता है। प्रकाशित high-memory VPS plans इस आंकड़े से अधिक हैं, जिसमें Paragon का 512 GB E-48 शामिल है, लेकिन आपको runtime overhead और context के लिए अभी भी जगह की आवश्यकता होगी। इस गाइड में उपयोग किया गया छोटे GLM मॉडल का downloadable weights glm-4.7-flash है।
glm-4.7-flash को कितनी RAM की आवश्यकता है?
tag के download size को न्यूनतम मानकर चलें और उसके ऊपर KV cache तथा operating system के लिए अतिरिक्त जगह जोड़ें। Ollama Q4 tag को 19 GB, Q8 को 32 GB, और bfloat16 tag को 60 GB पर सूचीबद्ध करता है। कोई भी निश्चित multiplier हर किसी के लिए सही नहीं है, क्योंकि KV cache आपके द्वारा सेट की गई context length के साथ बढ़ता है। मॉडल को load करें, ollama ps चलाएँ, और अपने सिस्टम पर वास्तविक आंकड़े के लिए SIZE column को पढ़ें।
मैं अपने VPS पर tokens per second को कैसे मापूँ?
"stream": false के साथ http://localhost:11434/api/generate पर एक request भेजें, फिर response से eval_count और eval_duration को पढ़ें। Tokens per second का मान eval_count / eval_duration * 1e9 है, क्योंकि eval_duration को nanoseconds में रिपोर्ट किया जाता है। पहले run को छोड़ दें, क्योंकि उसमें load_duration में डिस्क से weights को पढ़ना शामिल होता है। एक लंबे prompt के साथ भी इसे दोहराएँ, क्योंकि prompt_eval_duration input length के साथ बढ़ता है जबकि generation speed नहीं बढ़ती।
मुझे OLLAMA_HOST को 0.0.0.0 पर सेट क्यों नहीं करना चाहिए?
क्योंकि Ollama के local API को डिफ़ॉल्ट रूप से किसी authentication की आवश्यकता नहीं होती है, इसलिए इसे 0.0.0.0 पर bind करने से यह हर IPv4 interface पर expose हो जाता है; सार्वजनिक पहुँच तब routing और firewalls पर निर्भर करती है। कोई भी व्यक्ति जो port 11434 तक पहुँचता है, वह आपके hardware पर generation कर सकता है और यह बदल सकता है कि कौन से मॉडल install हैं। डिफ़ॉल्ट 127.0.0.1 bind को बनाए रखें, ss -ltnp | grep 11434 के साथ इसकी जाँच करें, और ssh -N -L 11434:127.0.0.1:11434 you@your-server जैसे SSH tunnel के माध्यम से अपने laptop से API तक पहुँचें।