SSD Nodes Learn Hosting plans →
गाइड Matt Connorलेखक: Matt Connor · अपडेट किया गया: 2026-10-26

VPS पर Nemotron 3.5 Lightning कैसे चलाएँ

अपने server पर Ollama से NVIDIA Nemotron 3.5 Lightning चलाएँ: सही tag, जरूरी RAM और CPU-only की वास्तविक speed जानें, ताकि VPS चुनने में गलती न हो।

Nemotron 3.5 Lightning किस लिए है

Nemotron 3.5 Lightning, NVIDIA का 30B mixture-of-experts मॉडल है जिसे अगस्त 2026 में release किया गया था। इसे उन agents के लिए बनाया गया है जो एक chat window के बजाय घंटों तक चलते हैं। MoE (mixture of experts) का अर्थ है कि weights को कई expert sub-networks में विभाजित किया गया है, और प्रत्येक token को उनमें से केवल कुछ के माध्यम से ही route किया जाता है। NVIDIA का model card प्रति token 3 billion active parameters के साथ कुल 30 billion parameters बताता है। आप memory में बड़ी संख्या के लिए भुगतान करते हैं, और बदले में आपको छोटी संख्या के बराबर गति मिलती है।

यह trade ही वह कारण है कि आपको किराए के सर्वर के लिए इस मॉडल पर विचार करना चाहिए। वास्तविक काम करने वाला एक agent दिन भर में हजारों छोटे requests भेजता है, इसलिए प्रति डॉलर throughput यह तय करता है कि क्या वह आपके अपने box पर चल सकता है। जो मॉडल प्रति reply 40 seconds लेता है, वह एक सहायक के रूप में तो ठीक है लेकिन एक agent के रूप में खराब है, क्योंकि एक कार्य में बीस calls होती हैं और आपको हर एक के लिए प्रतीक्षा करनी पड़ती है।

NVIDIA इस architecture को hybrid बताता है: interleaved Mamba-2 और MoE layers के साथ चुनिंदा attention layers। Model card अधिकतम context length 1M tokens तक बताता है और इसमें OpenMDW-1.1 license है, जिसे व्यावसायिक उपयोग के लिए तैयार चिह्नित किया गया है। प्राथमिक भाषाएं English और code हैं, साथ ही Spanish, French, German, Italian और Japanese भी सूचीबद्ध हैं।

Artificial Analysis ने अगस्त 2026 में launch के measurements प्रकाशित किए, जिसमें NVFP4 weights को serve करने वाले pre-release DeepInfra endpoint पर लगभग 670 output tokens प्रति second की गति दिखाई गई। यह एक hosted GPU endpoint है। इसे इस रूप में पढ़ें कि architecture क्या करने में सक्षम है, न कि इस रूप में कि आपका VPS क्या प्रदर्शन करेगा।

कौन सा Ollama tag किस VPS के लिए उपयुक्त है

Ollama library एक ही weights के कई builds प्रकाशित करती है। इनके बीच मुख्य अंतर quantisation का होता है, यानी प्रत्येक weight को कितने bits में स्टोर किया गया है, और यह download size को काफी बदल देता है।

चार्टDownload size by Ollama tag, GB (Ollama library, checked October 2026)
इस चार्ट के पीछे का डेटा
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

latest, 30b और 30b-a3b नाम के tags अब अपने स्वयं के digest के साथ आते हैं, जो अक्टूबर 2026 के मध्य में library के अपडेट होने के बाद 19 से 25 GB के बीच सूचीबद्ध हैं। 25 अक्टूबर, 2026 को registry से सीधे query करने पर, उस pointer ने वही files लौटाईं जो 30b-a3b-q4_K_M में हैं, इसलिए VPS पर default download 25 GB का four-bit build है जिसमें 1M context मिलता है। सूचीबद्ध range का 19 GB वाला निचला स्तर MLX builds से मेल खाता है, जिससे पता चलता है कि Apple silicon मशीनों को वे builds दिए जाते हैं। Q8_0 का आकार 35 GB है और bf16 का 66 GB है, और दोनों ही 1M context पर हैं। 19 GB वाले MLX builds Apple silicon के लिए हैं और इनकी सीमा 256K context तक है, इसलिए Linux VPS पर ये गलत विकल्प हैं। Library में 30b-mlx और 30b-a3b-nvfp4 भी सूचीबद्ध हैं, जिनका digest 30b-a3b-mlx के समान ही है, भले ही दूसरा format नाम NVIDIA जैसा लगता हो। इसके अलावा 34 GB पर 30b-a3b-mxfp8 और 66 GB पर 30b-a3b-mlx-bf16 भी उपलब्ध हैं। इन सभी की सीमा भी 256K है, इसलिए इनमें से कोई भी आपको पूर्ण context window नहीं देता है।

ये download sizes हैं, न कि memory की आवश्यकता। NVIDIA Ollama builds के लिए न्यूनतम VRAM (video RAM) का आंकड़ा प्रकाशित नहीं करता है, इसलिए download size को केवल एक न्यूनतम आधार (floor) मानें। Weights को कहीं न कहीं resident होना चाहिए; यदि card में जगह है तो GPU memory में, अन्यथा system RAM में। इसके ऊपर KV cache (key/value cache, जो conversation के प्रति-token के लिए model की memory है) को जोड़ा जाता है। आपके hardware के लिए वास्तविक संख्या किसी calculation से नहीं, बल्कि नीचे दिए गए command से प्राप्त होती है। यदि आपने अभी तक quantisation level तय नहीं किया है, तो Q4, Q8 और FP16 की लागत क्या है लेख में विस्तार से बताया गया है कि हर स्तर पर आप क्या खोते हैं।

हमेशा सटीक tag का उपयोग करें, latest का नहीं

latest एक बदलता हुआ pointer है। जब library इसे फिर से publish करती है, तो आपके agent का व्यवहार अगले pull पर बदल जाता है और आपके notes में इसका कोई कारण नहीं होता। इस model के साथ ऐसा एक बार पहले भी हो चुका है: अक्टूबर 2026 के मध्य में library ने latest को एक नए digest पर स्थानांतरित कर दिया था। tag का नाम लिखें।

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

install script एक systemd service सेट करती है जो ollama user के रूप में चलती है और models को /usr/share/ollama/.ollama/models के अंतर्गत रखती है। अधिकांश VPS images पर यह path root filesystem पर होता है, इसलिए 25 GB की मांग करने से पहले जगह की जाँच कर लें। यदि वह filesystem भरा हुआ है, तो pull करने से पहले Ollama अपने models कहाँ store करता है और उन्हें कैसे move करें पढ़ना, disk भरने के बाद पढ़ने से बेहतर है।

df -h /usr/share/ollama

एक pull जो बीच में रुक जाता है और no space left on device रिपोर्ट करता है, उसका अर्थ बिल्कुल वही है, और partial blobs तब तक disk पर रहते हैं जब तक आप उन्हें delete नहीं करते। उसके बाद पुष्टि करें कि क्या download हुआ है:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show architecture, parameter count, context length और उस quantisation को print करता है जो file में वास्तव में मौजूद है। यदि इनमें से कोई भी library page से मेल नहीं खाता है, तो आपने उस tag के बजाय कोई दूसरा tag pull कर लिया है जिसे आप चाहते थे।

इसे सर्व करें, और जाँचें कि यह वास्तव में कहाँ चला

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

जब मॉडल लोड हो रहा हो, तब एक दूसरे शेल में यह चलाएँ:

ollama ps

यह वह कमांड है जो आपकी मशीन के लिए मेमोरी संबंधी प्रश्न का उत्तर देती है। ollama ps लोड किए गए मॉडल, मेमोरी में उसके द्वारा घेरे गए आकार और एक PROCESSOR कॉलम को प्रिंट करता है। 100% GPU का अर्थ है कि पूरा मॉडल VRAM में है। 100% CPU का अर्थ है कि इसका कोई भी हिस्सा VRAM में नहीं है, और प्रत्येक टोकन सिस्टम RAM का उपयोग करके प्रोसेसर द्वारा कंप्यूट किया जा रहा है। 65%/35% CPU/GPU जैसा विभाजन यह दर्शाता है कि सभी लेयर्स फिट नहीं हुईं, और CPU शेयर आपकी गति निर्धारित करता है। आवश्यकता का अनुमान न लगाएँ। इसे लोड करें और इस लाइन को पढ़ें।

यदि यह बिल्कुल भी लोड नहीं हो पाता है, तो Ollama क्रैश होने के बजाय स्पष्ट रूप से मना कर देता है:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

क्या केवल CPU वाला VPS पर्याप्त तेज है?

एक सामान्य उद्देश्य वाले VPS में GPU नहीं होता है, इसलिए CPU सारा काम करता है और सिस्टम RAM से हर आवश्यक weight को पढ़ता है। यहाँ MoE मददगार होता है, क्योंकि प्रति टोकन 30 बिलियन पैरामीटर्स में से केवल 3 बिलियन के आसपास ही उपयोग किए जाते हैं, इसलिए प्रति टोकन गणितीय गणना एक dense 30B मॉडल की तुलना में काफी कम होती है। मेमोरी पर इसका कोई प्रभाव नहीं पड़ता है। सभी 30 बिलियन पैरामीटर्स को resident रहना पड़ता है, क्योंकि राउटर किसी भी टोकन के लिए किसी भी expert को चुन सकता है।

इसलिए इस मॉडल पर केवल CPU का उपयोग करके inference की गति core count के बजाय मेमोरी बैंडविड्थ द्वारा सीमित होती है। ऐसे प्लान में vCPUs जोड़ने से बहुत कम फर्क पड़ता है जिसमें पहले से ही पर्याप्त संख्या में cores मौजूद हों। आपको बस इतनी RAM चाहिए जो weights और आपके KV cache को होल्ड कर सके, साथ ही प्लान में मिलने वाली सबसे तेज मेमोरी की आवश्यकता होती है।

किसी एजेंट को उस पर तैनात करने से पहले, local LLM के लिए टोकन प्रति सेकंड मापना में दी गई विधि का उपयोग करके इसे मापें:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

अंत में प्रिंट होने वाली eval rate लाइन आपकी generation speed है, जो टोकन प्रति सेकंड में होती है। यह एक संख्या ही निर्णय तय करती है, क्योंकि एजेंट का wall-clock time मुख्य रूप से इसी पर निर्भर करता है। इसे अपने अपेक्षित उत्तर की लंबाई से गुणा करें, और यदि उत्तर उस समय से अधिक लंबा है जिसका आप इंतजार कर सकते हैं, तो num_predict के साथ आउटपुट को सीमित करना वह एकमात्र तरीका है जो हार्डवेयर बदले बिना एक सिंगल कॉल की सीमा तय करता है।

चार्टAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
इस चार्ट के पीछे का डेटा
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

ये प्रकाशित थर्ड-पार्टी आंकड़े हैं, जिन्हें Artificial Analysis द्वारा लॉन्च के समय रिपोर्ट किए गए प्रति-कार्य मिनटों से परिवर्तित किया गया है, और इन्हें VPS के बजाय hosted GPU endpoints पर मापा गया था। Nemotron 3.5 Lightning ने प्रति कार्य औसतन 30 सेकंड का समय लिया, जहाँ gpt-oss-120b ने लगभग 204 और Qwen3.6 35B ने लगभग 210 समय लिया। इनका उपयोग अंतर के स्वरूप को समझने के लिए करें, न कि अपने हार्डवेयर के प्रदर्शन के वादे के रूप में।

ईमानदार सलाह इस बात पर निर्भर करती है कि इंतजार कौन कर रहा है। यदि कोई व्यक्ति एजेंट का इंतजार कर रहा है, या एजेंट लगातार लंबी कॉल चेन बनाता है, तो GPU क्षमता किराए पर लें। यदि यह रात भर शेड्यूल पर चलता है और कोई इसे देख नहीं रहा है, तो अधिक RAM वाला CPU प्लान एक उचित विकल्प है। किसी भी स्थिति में सेटअप समान रहता है, और VPS पर Ollama चलाना प्लान के आकार और इस बात को कवर करता है कि एक GPU इंस्टेंस, प्रति टोकन भुगतान करने वाले API प्रदाता की तुलना में कैसा प्रदर्शन करता है। ब्रेक-ईवन उपयोगिता का प्रश्न है: एक GPU इंस्टेंस अपने अस्तित्व के हर घंटे का बिल लेता है, जबकि API टोकन केवल उपयोग किए जाने पर बिल किए जाते हैं। इसलिए, जो एजेंट दिन भर व्यस्त रहता है, उसके लिए अपना सर्वर बेहतर है, और जो एजेंट घंटे में दो बार चलता है, उसके लिए आमतौर पर ऐसा नहीं है। Ollama सॉफ्टवेयर इस गणना के किसी भी पक्ष में कुछ नहीं जोड़ता है, क्योंकि इसे किराए के सर्वर पर चलाना मुफ्त है, और Ollama किसके लिए शुल्क लेता है और किसके लिए नहीं यह बताता है कि यदि आप हार्डवेयर किराए पर नहीं लेना चाहते हैं तो Ollama Cloud कहाँ फिट बैठता है।

1M context window मुफ्त नहीं है

1M tokens मॉडल की अधिकतम सीमा है, और Ollama इसे डिफ़ॉल्ट रूप से आपको नहीं देता है। Ollama बहुत छोटी डिफ़ॉल्ट विंडो प्रदान करता है और बातचीत के उस सीमा को पार करते ही सबसे पुराने tokens को हटा देता है। डिफ़ॉल्ट लॉग स्तर पर ऐसा होने पर कुछ भी लॉग नहीं होता है, इसलिए एक एजेंट के लिए ऐसा लगता है जैसे मॉडल अपने ही कार्य की शुरुआत को भूल गया है।

विंडो को जानबूझकर सेट करें। पूरे सर्वर के लिए, सर्विस को एडिट करें:

sudo systemctl edit ollama

इसे जोड़ें, फिर sudo systemctl restart ollama चलाएं:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

प्रति अनुरोध, इसके बजाय options ऑब्जेक्ट में num_ctx भेजें:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

प्रत्येक वृद्धि मेमोरी की खपत बढ़ाती है, क्योंकि KV cache आपके द्वारा अनुमति दिए गए tokens की संख्या के साथ बढ़ता है। मान बढ़ाएं, रीस्टार्ट करें, फिर दोबारा ollama ps चलाएं और रिपोर्ट किए गए आकार को बढ़ते हुए देखें। यदि उस बदलाव के बाद PROCESSOR कॉलम 100% GPU से split में बदल जाता है, तो KV cache ने मॉडल लेयर्स को VRAM से बाहर धकेल दिया है और आपकी गति काफी कम हो जाएगी। Ollama में num_ctx चुनना इस ट्रेड-ऑफ पर विस्तार से चर्चा करता है। केवल इसलिए 1000000 सेट न करें क्योंकि मॉडल कार्ड इसकी अनुमति देता है, क्योंकि एलोकेशन पहले ही हो जाता है और लोड होने की प्रक्रिया विफल हो जाती है।

इसे हमेशा चालू रहने वाले agent के साथ जोड़ना

Ollama के library page पर इस model के लिए एक shortcut दिया गया है, जो एक समर्थित agent को सीधे इस model के साथ start कर देता है:

ollama launch claude --model nemotron-3.5-lightning

यह page उस स्थान पर claude, opencode, openclaw और hermes को सूचीबद्ध करता है। इस subcommand के लिए Ollama का नवीनतम version आवश्यक है, इसलिए पहले ollama --version की जाँच करें। यदि यह उपलब्ध न हो, तो agent को स्वयं API की ओर point करें। Ollama एक OpenAI-compatible endpoint प्रदान करता है, जिसे अधिकांश agent harnesses स्वीकार कर लेते हैं:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama इस key को अनदेखा कर देता है, लेकिन अधिकांश clients बिना key सेट किए start होने से मना कर देते हैं। इसका harness पक्ष coding agent को Ollama की ओर point करना और अपना स्वयं का OpenClaw agent बनाना में समझाया गया है।

जब agent बिना किसी निगरानी के चलता है, तो दो server settings महत्वपूर्ण हो जाती हैं। OLLAMA_KEEP_ALIVE यह नियंत्रित करता है कि अंतिम request के बाद model memory में कितनी देर तक रहेगा। default setting इसे पांच मिनट बाद unload कर देती है, जिससे अगली call पर फिर से पूरा load time लगता है। बिना GPU वाले 25 GB की file पर यह pause इतना लंबा होता है कि timeout हो सकता है। इसे memory में बनाए रखने के लिए OLLAMA_KEEP_ALIVE=-1 को सेट करें। OLLAMA_HOST=0.0.0.0:11434 API को अन्य machines से पहुँच योग्य बनाता है। इसमें किसी भी प्रकार की authentication नहीं होती है, इसलिए इसे केवल firewall rule या private network के पीछे ही खोलें।

विफलता के प्रकार और दिखाई देने वाले संदेश

पुल (pull) तुरंत विफल हो जाता है। Error: pull model manifest: file does not exist का अर्थ है कि वह टैग मौजूद नहीं है। टैग के नाम सटीक स्ट्रिंग होते हैं, इसलिए अनुमान लगाने के बजाय लाइब्रेरी पेज से टैग को कॉपी करें।

मॉडल लोड नहीं होगा। Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) का अर्थ है कि कॉन्फ़िगरेशन के अनुसार टैग इस प्लान के लिए बहुत बड़ा है। छोटे क्वांटिज़ेशन (quantisation) का उपयोग करें या OLLAMA_CONTEXT_LENGTH को कम करें, क्योंकि KV कैश की गणना उस आवश्यकता के भीतर ही की जाती है।

पोर्ट 11434 पर कोई प्रतिक्रिया नहीं मिल रही है। curl: (7) Failed to connect to localhost port 11434 का अर्थ है कि सर्विस चल नहीं रही है, या जहाँ आप उम्मीद कर रहे हैं वहाँ लिसन (listen) नहीं कर रही है। systemctl status ollama और journalctl -u ollama -n 50 को पढ़ें। यदि आपने ollama serve को मैन्युअल रूप से भी शुरू किया है, तो दूसरी कॉपी Error: listen tcp 127.0.0.1:11434: bind: address already in use के साथ बंद हो जाएगी।

यह बहुत धीमी गति से उत्तर देता है। कुछ भी बदलने से पहले ollama ps की जाँच करें। GPU मशीन पर PROCESSOR कॉलम में CPU शेयर का मतलब है कि मॉडल का कुछ हिस्सा VRAM से बाहर चला गया है, इसलिए कॉन्टेक्स्ट को कम करें या छोटा क्वांटिज़ेशन चुनें। बिना GPU वाली मशीन पर, धीमी गति अपेक्षित परिणाम है और कोई भी सेटिंग इसे ठीक नहीं कर सकती।

एजेंट कार्य के बीच में ही अपने निर्देश भूल जाता है। बातचीत कॉन्टेक्स्ट विंडो से आगे निकल गई है और सबसे पुराने टोकन चुपचाप हटा दिए गए हैं। OLLAMA_CONTEXT_LENGTH को बढ़ाएं, ollama ps के साथ पुष्टि करें कि मॉडल अभी भी फिट बैठता है, और यदि अब ऐसा नहीं है, तो समाधान छोटी विंडो के बजाय बड़ी मशीन का उपयोग करना है।

यह मॉडल अन्य विकल्पों की तुलना में कहाँ स्थित है

30B MoE एक छोटे कार्य के लिए होस्ट करने हेतु बहुत बड़ा मॉडल है। यदि एक dense 8B मॉडल पहले से ही आपके कार्य को संभाल लेता है, तो उसे चलाना और लोड करना काफी सस्ता और तेज होगा, और VPS पर Qwen 3 के 8B और 27B मॉडल इस निर्णय के लिए सीधा तुलनात्मक अध्ययन है। किसी विशिष्ट प्लान में क्या समा सकता है, इसके व्यापक सर्वेक्षण के लिए आप किन AI मॉडल्स को self-host कर सकते हैं से शुरुआत करें। यदि आप एक के बजाय एक साथ कई agents को serve करने की योजना बना रहे हैं, तो पहले Ollama की vLLM के साथ तुलना पढ़ें। Ollama एक मॉडल के लिए requests को समानांतर (parallel) प्रोसेस कर सकता है, लेकिन OLLAMA_NUM_PARALLEL 1 पर सेट होकर आता है, इसलिए डिफ़ॉल्ट रूप से दूसरे agent की request पहले के पूरा होने तक queue में प्रतीक्षा करती है। इस मॉडल के लिए, इसे बढ़ाना भी मददगार नहीं है: Ollama v0.40.11 के अनुसार, scheduler इस tag द्वारा वहन की जाने वाली nemotron_h_moe architecture को एक बार में एक ही request तक सीमित कर देता है और model architecture does not currently support parallel requests लॉग करता है। जिन मॉडल्स पर यह काम करता है, उन पर इसे बढ़ाने से मेमोरी की खपत बढ़ती है: Ollama के FAQ का कहना है कि आवश्यक RAM OLLAMA_NUM_PARALLEL गुना OLLAMA_CONTEXT_LENGTH के अनुपात में बढ़ती है, इसलिए एक बड़े मॉडल पर वह गुणात्मक वृद्धि ही वह बिंदु है जहाँ एक single-user सेटअप की क्षमता समाप्त हो जाती है।

FAQ

Linux VPS पर मुझे कौन सा Nemotron 3.5 Lightning tag pull करना चाहिए?

nemotron-3.5-lightning:30b-a3b-q4_K_M का उपयोग करें। यह 25 GB का है, इसमें 1M का पूर्ण अधिकतम context उपलब्ध है, और यह वही build है जिसे latest, 30b और 30b-a3b pointers ने 25 अक्टूबर, 2026 को query करने पर return किया था, भले ही library ने उन pointers को अक्टूबर के मध्य में एक अलग digest में स्थानांतरित कर दिया हो। latest pull करने के बजाय इसे स्पष्ट रूप से नाम दें, ताकि उस pointer के भविष्य में फिर से publish होने पर आपके agent का व्यवहार आपकी जानकारी के बिना न बदले। mlx tags Apple silicon builds हैं, और 30b-a3b-nvfp4 भी ऐसा ही है, जो 30b-a3b-mlx digest साझा करता है। ये Linux पर आपके काम नहीं आएंगे।

Nemotron 3.5 Lightning को कितनी RAM की आवश्यकता होती है?

NVIDIA ने Ollama builds के लिए न्यूनतम memory का आंकड़ा जारी नहीं किया है, इसलिए अनुमान लगाने के बजाय मापें। Tag pull करें, model को एक बार run करें, और load होने के दौरान ollama ps को पढ़ें: यह वास्तव में occupied size को print करता है और यह भी बताता है कि यह GPU पर load हुआ है या CPU पर। Default tag के लिए download size, 25 GB, एक आधार है, क्योंकि KV cache इसके ऊपर जुड़ता है और आपके द्वारा सेट किए गए context window के साथ बढ़ता है। यदि plan बहुत छोटा है, तो Ollama model requires more system memory के साथ मना कर देता है और दोनों numbers को बताता है।

क्या मैं बिना GPU वाले VPS पर Nemotron 3.5 Lightning चला सकता हूँ?

हाँ, यदि plan में weights को रखने के लिए पर्याप्त RAM है, और MoE design इसमें मदद करता है क्योंकि प्रति token 30 billion parameters में से केवल 3 ही compute किए जाते हैं। गति यहाँ मुख्य समस्या है। GPU के बिना model memory bandwidth द्वारा सीमित होता है, इसलिए vCPUs जोड़ने से परिणाम में बहुत कम सुधार होता है। एक fixed prompt के साथ ollama run --verbose run करें, eval rate line पढ़ें, और उस संख्या की तुलना अपने agent की समय-सीमा से करें। रात भर चलने वाले batch job के लिए यह अक्सर ठीक रहता है। किसी ऐसे काम के लिए जिसका इंतज़ार कोई व्यक्ति कर रहा हो, यह आमतौर पर उपयुक्त नहीं है।

Ollama मुझे पूर्ण 1M context window क्यों नहीं देता है?

1M model का अधिकतम है, Ollama का default नहीं। Ollama बहुत छोटा window लागू करता है और बातचीत के उससे अधिक होने पर सबसे पुराने tokens को हटा देता है, बिना किसी error को print किए, जिसे agent द्वारा अपने निर्देशों को भूलने के रूप में देखा जाता है। systemd service पर OLLAMA_CONTEXT_LENGTH सेट करें, या प्रति request num_ctx पास करें। इसे चरणों में बढ़ाएं और हर बार ollama ps की दोबारा जाँच करें, क्योंकि KV cache memory window के साथ scale होती है और model layers को GPU से बाहर धकेल सकती है।

क्या Nemotron 3.5 Lightning व्यावसायिक उपयोग के लिए निःशुल्क है?

NVIDIA का model card model को OpenMDW-1.1 license के अंतर्गत रखता है और इसे व्यावसायिक उपयोग के लिए तैयार बताता है, जैसा कि 25 अक्टूबर, 2026 को जाँचा गया था। Ollama का library page इसके download के साथ आने वाले license को NVIDIA Open Model License Agreement के रूप में लेबल करता है, इसलिए किसी भी एक पर निर्भर होने से पहले दोनों को पढ़ें। यह उन weights को कवर करता है जिन्हें आप download करते हैं और स्वयं run करते हैं। यह आपके stack में मौजूद अन्य software के बारे में कुछ नहीं कहता है, इसलिए agent harness और उससे जुड़े किसी भी tool के licenses को अलग से जाँचें, और किसी भी अनुबंध संबंधी कार्य के लिए इस पर निर्भर होने से पहले वर्तमान model card को पढ़ें।

क्या यह लेख उपयोगी था?