VPS वर Nemotron 3.5 Lightning कसे चालवावे
तुमच्या server वर Ollama वापरून NVIDIA Nemotron 3.5 Lightning चालवा. योग्य pull tag, आवश्यक RAM आणि CPU-only वापर पुरेसा वेगवान आहे का, हे जाणून घ्या.
Nemotron 3.5 Lightning कशासाठी आहे
Nemotron 3.5 Lightning हे NVIDIA चे खुले 30B mixture-of-experts मॉडेल आहे. ते August 2026 मध्ये released झाले. एका chat window साठी नव्हे, तर अनेक तास चालणाऱ्या agents साठी ते तयार केले आहे. MoE (mixture of experts) म्हणजे weights अनेक expert sub-networks मध्ये विभागले जातात आणि प्रत्येक token त्यांपैकी मोजक्या sub-networks मधूनच पाठवला जातो. NVIDIA च्या model card नुसार एकूण 30 billion parameters असून प्रत्येक token साठी 3 billion parameters active असतात. Memory मध्ये मोठ्या संख्येची किंमत मोजावी लागते. Speed मध्ये लहान संख्या मिळते.
तुम्ही भाड्याने घेतलेल्या server साठी या मॉडेलचा विचार करण्याचे कारण हा trade-off आहे. प्रत्यक्ष काम करणारा agent दिवसभरात हजारो short requests पाठवतो. त्यामुळे तो तुमच्या स्वतःच्या box वर चालू शकतो की नाही हे throughput per dollar ठरवते. प्रत्येक reply साठी 40 seconds लागणारे मॉडेल वापरण्यायोग्य assistant असू शकते, पण ते poor agent ठरते. कारण एका task साठी 20 calls करावे लागतात आणि प्रत्येक call साठी प्रतीक्षा करावी लागते.
NVIDIA या architecture चे वर्णन hybrid म्हणून करते: interleaved Mamba-2 आणि MoE layers, तसेच select attention layers. Model card नुसार maximum context length 1M tokens पर्यंत आहे. त्यासाठी OpenMDW-1.1 license आहे आणि ते commercial use साठी तयार असल्याचे नमूद केले आहे. Primary languages English आणि code आहेत. Spanish, French, German, Italian आणि Japanese यांचाही उल्लेख आहे.
Artificial Analysis ने August 2026 मध्ये launch measurements प्रकाशित केली. NVFP4 weights देणाऱ्या pre-release DeepInfra endpoint वर जवळपास 670 output tokens per second वेग नोंदवला गेला. हा hosted GPU endpoint आहे. हा वेग architecture कशाला सक्षम आहे याचे मोजमाप म्हणून पाहा; तुमचा VPS प्रत्यक्षात एवढा वेग देईल असे समजू नका.
कोणता Ollama tag कोणत्या VPS साठी योग्य आहे
Ollama library समान weights चे अनेक builds प्रकाशित करते. त्यांच्यातील मुख्य फरक quantisation हा आहे. प्रत्येक weight साठवण्यासाठी किती bits वापरले जातात, हे quantisation ठरवते. त्यामुळे download size मध्ये मोठा फरक पडतो.
या तक्त्यामागील डेटा
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]latest, 30b आणि 30b-a3b या नावांचे tags आता स्वतःचा digest घेऊन येतात. Library ने mid-October 2026 मध्ये ते अपडेट केल्यानंतर त्यांची size 19 ते 25 GB अशी सूचीबद्ध आहे. October 25, 2026 रोजी registry कडून थेट चौकशी केल्यावर त्या pointer ने 30b-a3b-q4_K_M मधील files शी अगदी समान files परत केल्या. त्यामुळे VPS वरील default download हा full 1M context असलेला 25 GB चा four-bit build आहे. सूचीतील 19 GB ची lower end MLX builds शी जुळते. यावरून Apple silicon मशीनना त्या builds दिल्या जात असाव्यात. Q8_0 ची size 35 GB आणि bf16 ची size 66 GB आहे. दोन्ही builds 1M context वापरतात. 19 GB आकाराच्या MLX builds Apple silicon साठी आहेत आणि त्यांची context मर्यादा 256K आहे. त्यामुळे Linux VPS वर त्या योग्य पर्याय नाहीत. Library मध्ये 30b-mlx आणि 30b-a3b-nvfp4 हे tags देखील सूचीबद्ध आहेत. दुसऱ्या format चे नाव NVIDIA च्या format सारखे वाटत असले तरी दोन्हींचा digest 30b-a3b-mlx सारखाच आहे. याशिवाय 30b-a3b-mxfp8 ची size 34 GB आणि 30b-a3b-mlx-bf16 ची size 66 GB आहे. या सर्वांची context मर्यादा 256K आहे. त्यामुळे यांपैकी कोणताही पर्याय full window देत नाही.
ही download sizes आहेत; memory requirement नाही. Ollama builds साठी NVIDIA किमान VRAM (video RAM) ची आकडेवारी प्रकाशित करत नाही. त्यामुळे download size ला फक्त किमान अंदाज समजा; त्यापेक्षा अधिक memory लागू शकते. Weights एखाद्या memory मध्ये resident असणे आवश्यक आहे. GPU card त्यांना धारण करू शकत असल्यास ते GPU memory मध्ये राहतात; अन्यथा system RAM मध्ये राहतात. याव्यतिरिक्त KV cache (key/value cache, म्हणजे संभाषणातील प्रत्येक token ची model कडे साठवली जाणारी memory) लागतो. तुमच्या hardware साठीची वास्तविक संख्या arithmetic ने नव्हे, तर command ने मिळते. ती command पुढे दिली आहे. अजून quantisation level निश्चित केले नसेल, तर Q4, Q8 आणि FP16 साठी कोणता खर्च स्वीकारावा लागतो या विभागात प्रत्येक स्तरावर काय गमावले जाते ते स्पष्ट केले आहे.
अचूक tag pull करा, कधीही latest नाही
latest हा सतत बदलणारा pointer आहे. Library तो पुन्हा प्रकाशित करते तेव्हा तुमच्या notes मध्ये कारण नोंदलेले नसतानाही पुढील pull वेळी agent चे वर्तन बदलते. या model बाबत असे एकदा आधीच झाले आहे: October 2026 च्या मध्यात library ने latest नवीन digest कडे हलवले. Tag चे नाव स्पष्टपणे द्या.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MInstall script असा systemd service सेट करते की तो ollama user म्हणून चालतो आणि models /usr/share/ollama/.ollama/models अंतर्गत ठेवतो. बहुतेक VPS images मध्ये हा path root filesystem वर असतो. त्यामुळे 25 GB मागण्यापूर्वी पुरेशी जागा आहे का ते तपासा. त्या filesystem मध्ये जागा कमी असल्यास, pull करण्यापूर्वीच Ollama models कुठे साठवते आणि ते कसे हलवायचे हे वाचणे उपयुक्त ठरेल. Pull नंतर disk भरल्यानंतर ते वाचण्यापेक्षा हे आधी करणे योग्य आहे.
df -h /usr/share/ollamaPull मध्ये मध्येच थांबून no space left on device असा अहवाल आल्यास त्याचा अर्थ तसाच असतो. Partial blobs तुम्ही delete करेपर्यंत disk वर राहतात. त्यानंतर प्रत्यक्षात काय आले ते तपासा:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show architecture, parameter count, context length आणि file मध्ये प्रत्यक्ष असलेले quantisation प्रिंट करते. यापैकी कोणतेही library page वरील माहितीसोबत जुळत नसल्यास, तुम्हाला अपेक्षित असलेल्या tag ऐवजी वेगळा tag pull झाला आहे.
मॉडेल सर्व्ह करा आणि ते प्रत्यक्षात कुठे चालले ते तपासा
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"मॉडेल अद्याप लोड असताना, दुसऱ्या shell मध्ये:
ollama psतुमच्या मशीनसाठी memory संबंधी प्रश्नाचे उत्तर देणारी ही command आहे. ollama ps लोड केलेले model, त्याने memory मध्ये व्यापलेली जागा आणि PROCESSOR column दाखवते. 100% GPU म्हणजे संपूर्ण model VRAM मध्ये आहे. 100% CPU म्हणजे त्यातील काहीही VRAM मध्ये नाही आणि प्रत्येक token system RAM मधून processor द्वारे compute केला जातो. 65%/35% CPU/GPU सारखा split म्हणजे सर्व layers memory मध्ये बसले नाहीत आणि CPU share मुळे तुमचा वेग ठरतो. आवश्यकता अंदाजाने ठरवू नका. Model load करा आणि ही line वाचा.
ते अजिबात load करता आले नाही, तर Ollama crash न होता व्यवस्थित नकार देते:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)CPU-only VPS पुरेसा वेगवान आहे का?
सामान्य उद्देशाचा VPS GPU शिवाय असतो. त्यामुळे सर्व काम CPU करतो आणि आवश्यक असलेले प्रत्येक weight system RAM मधून वाचतो. येथे MoE उपयुक्त ठरते, कारण प्रत्येक token साठी 30 billion parameters पैकी फक्त सुमारे 3 billion parameters वापरले जातात. त्यामुळे प्रत्येक token साठीची गणना dense 30B model पेक्षा खूपच कमी असते. मात्र memory बाबत कोणतीही बचत होत नाही. सर्व 30 billion parameters memory मध्ये उपलब्ध ठेवावे लागतात, कारण कोणत्याही token साठी router कोणताही expert निवडू शकतो.
म्हणून या model वर CPU-only inference चा वेग core count पेक्षा memory bandwidth मुळे मर्यादित होतो. आधीच vCPUs ची वाजवी संख्या असलेल्या plan मध्ये आणखी vCPUs जोडल्याने फारसा फरक पडत नाही. Weights आणि तुमचा KV cache ठेवण्यासाठी पुरेशी RAM, तसेच plan मध्ये उपलब्ध असलेली सर्वात वेगवान memory आवश्यक आहे.
एखाद्या agent साठी हे निश्चित करण्यापूर्वी, स्थानिक LLM साठी tokens per second मोजणे या पद्धतीने मोजमाप करा:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."शेवटी छापली जाणारी eval rate line ही तुमचा generation speed, म्हणजे tokens per second, दर्शवते. हाच एक आकडा निर्णायक ठरतो, कारण agent ला लागणारा wall-clock time मुख्यतः त्यावर अवलंबून असतो. अपेक्षित reply ची लांबी या वेगाने गुणा. उत्तरासाठी लागणारा वेळ तुम्ही स्वीकारू शकत नसाल, तर num_predict ने output मर्यादित करणे हा hardware न बदलता एका call चा कालावधी मर्यादित करण्याचा एकमेव थेट उपाय आहे.
या तक्त्यामागील डेटा
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]हे प्रकाशित third-party आकडे आहेत. ते Artificial Analysis ने launch वेळी दिलेल्या प्रत्येक task साठीच्या मिनिटांमधून रूपांतरित केले आहेत. हे मोजमाप VPS वर नव्हे, तर hosted GPU endpoints वर करण्यात आले होते. Nemotron 3.5 Lightning ला प्रत्येक task साठी सरासरी सुमारे 30 seconds लागले. त्यापैकी gpt-oss-120b साठी अंदाजे 204 seconds, तर Qwen3.6 35B साठी अंदाजे 210 seconds लागले. तुमच्या hardware बद्दल हमी म्हणून नव्हे, तर कामगिरीतील फरकाची दिशा समजण्यासाठी हे आकडे वापरा.
प्रतीक्षा कोण करत आहे यावर योग्य मार्गदर्शन अवलंबून आहे. एखादी व्यक्ती agent च्या उत्तराची वाट पाहत असेल किंवा agent सलग मोठ्या call chains चालवत असेल, तर GPU capacity भाड्याने घ्या. Agent रात्री schedule नुसार चालत असेल आणि कोणीही त्यावर लक्ष ठेवत नसेल, तर मोठ्या RAM चा CPU plan योग्य पर्याय आहे. दोन्ही बाबतीत setup सारखाच राहतो. VPS वर Ollama चालवणे या मार्गदर्शकात plan sizing आणि GPU instance वापरणे विरुद्ध API provider ला प्रति token पैसे देणे यांची तुलना दिली आहे. Break-even हा utilisation चा प्रश्न आहे. GPU instance अस्तित्वात असलेल्या प्रत्येक तासासाठी शुल्क आकारते, तर API tokens वापर झाल्यावरच आकारले जातात. त्यामुळे दिवसातील बहुतांश वेळ agent व्यस्त असेल, तर स्वतःचा server अधिक योग्य ठरतो. Agent तासाला दोनदा चालत असेल, तर साधारणपणे तसे नसते. या खर्चाच्या गणनेत Ollama software कोणतीही अतिरिक्त रक्कम जोडत नाही, कारण तुम्ही भाड्याने घेतलेल्या server वर ते विनामूल्य चालवता येते. Hardware भाड्याने घ्यायचेच नसेल, तर Ollama कशासाठी शुल्क आकारते आणि कशासाठी आकारत नाही यात Ollama Cloud चे स्थान स्पष्ट केले आहे.
1M context window विनामूल्य नाही
1M tokens ही model ची कमाल मर्यादा आहे. Ollama ती मर्यादा तुम्हाला default ने देत नाही. Ollama यापेक्षा खूप छोटी default window वापरते आणि conversation तिच्यापेक्षा मोठी झाल्यावर सर्वात जुने tokens काढून टाकते. हे घडल्यावर default log level वर काहीही नोंदवले जात नाही. त्यामुळे agent ला model स्वतःच्या task ची सुरुवात विसरल्यासारखे दिसते.
Window जाणीवपूर्वक सेट करा. संपूर्ण server साठी service संपादित करा:
sudo systemctl edit ollamaही नोंद जोडा आणि नंतर sudo systemctl restart ollama चालवा:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"प्रत्येक request साठी त्याऐवजी options object मध्ये num_ctx पाठवा:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'प्रत्येक वाढीसाठी अधिक memory लागते, कारण तुम्ही अनुमती दिलेल्या tokens च्या संख्येनुसार KV cache वाढतो. Value वाढवा, restart करा, नंतर पुन्हा ollama ps चालवा आणि reported size वाढत असल्याचे monitor करा. हा बदल केल्यानंतर PROCESSOR column 100% GPU मधून split स्थितीत गेल्यास, KV cache मुळे model layers VRAM बाहेर गेल्या आहेत आणि तुमचा वेग मोठ्या प्रमाणात कमी होईल. Ollama मध्ये num_ctx निवडणे या trade-off चे सविस्तर स्पष्टीकरण देते. Model card मध्ये ही मर्यादा दिली आहे म्हणून 1000000 सेट करू नका. Allocation सुरुवातीलाच होते आणि load थेट fail होते.
नेहमी सुरू असलेल्या agent मध्ये ते जोडणे
या model साठी Ollama च्या library page वर त्याला आधीच लक्ष्य करून supported agent सुरू करणारा shortcut दिलेला आहे:
ollama launch claude --model nemotron-3.5-lightningया ठिकाणी page वर claude, opencode, openclaw आणि hermes दिलेले आहेत. या subcommand साठी अद्ययावत Ollama आवश्यक आहे. त्यामुळे प्रथम ollama --version तपासा. ते उपलब्ध नसेल, तर agent ला API कडे स्वतः निर्देशित करा. Ollama OpenAI-compatible endpoint उपलब्ध करून देते. बहुतेक agent harnesses तो स्वीकारतात:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama key कडे दुर्लक्ष करते. मात्र बहुतेक clients key सेट केलेली नसल्यास सुरू होण्यास नकार देतात. Harness शी संबंधित ही माहिती coding agent ला Ollama कडे निर्देशित करणे आणि स्वतःचा OpenClaw agent तयार करणे येथे दिली आहे.
Agent unattended पद्धतीने चालू झाल्यानंतर server वरील दोन settings महत्त्वाच्या ठरतात. OLLAMA_KEEP_ALIVE शेवटच्या request नंतर model किती वेळ memory मध्ये ठेवायचे हे नियंत्रित करते. Default मुळे तो पाच मिनिटांनंतर unload होतो. त्यामुळे पुढील call वेळी model पुन्हा पूर्णपणे load करण्याचा वेळ लागतो. GPU नसलेल्या 25 GB file साठी हा विलंब timeout होण्याइतका मोठा असू शकतो. Model memory मध्ये ठेवण्यासाठी OLLAMA_KEEP_ALIVE=-1 सेट करा. OLLAMA_HOST=0.0.0.0:11434 मुळे API इतर machines वरून उपलब्ध होते. त्यात कोणत्याही प्रकारचे authentication नसते. त्यामुळे ते फक्त firewall rule किंवा private network मागेच उघडा.
अपयशाची कारणे आणि दिसणारे संदेश
Pull त्वरित अयशस्वी होते. Error: pull model manifest: file does not exist याचा अर्थ तो tag अस्तित्वात नाही. Tag names अचूक strings असतात. त्यामुळे quantisation suffix चा अंदाज घेण्याऐवजी library page मधून एखादे tag copy करा.
Model load होत नाही. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) याचा अर्थ सध्याच्या configuration नुसार हा tag या plan साठी खूप मोठा आहे. कमी quantisation वापरा किंवा OLLAMA_CONTEXT_LENGTH ची value कमी करा, कारण KV cache ची आवश्यकता याच मर्यादेत मोजली जाते.
Port 11434 वर कोणतेही उत्तर मिळत नाही. curl: (7) Failed to connect to localhost port 11434 याचा अर्थ service चालू नाही किंवा तुम्ही अपेक्षा केलेल्या ठिकाणी ती listen करत नाही. systemctl status ollama आणि journalctl -u ollama -n 50 वाचा. तुम्ही ollama serve हाताने सुरू केले असेल, तर दुसरी copy Error: listen tcp 127.0.0.1:11434: bind: address already in use सह बंद होते.
उत्तर मिळते, पण ते खूप धीमे असते. कोणताही बदल करण्यापूर्वी ollama ps तपासा. GPU machine वरील PROCESSOR column मध्ये CPU share दिसत असेल, तर model चा काही भाग VRAM बाहेर spill झाला आहे. त्यामुळे context कमी करा किंवा लहान quantisation वापरा. GPU नसलेल्या machine वर धीमेपणा अपेक्षित असतो आणि कोणतीही setting तो दुरुस्त करू शकत नाही.
Task च्या मध्यावर agent आपल्या सूचना विसरतो. Conversation ने context window ची मर्यादा ओलांडली आणि सर्वात जुने tokens शांतपणे discard झाले. OLLAMA_CONTEXT_LENGTH वाढवा. Model अजूनही बसतो का हे ollama ps वापरून पडताळा. Model बसत नसेल, तर उपाय window लहान करणे नसून मोठी machine वापरणे हा आहे.
हा मॉडेल इतर पर्यायांच्या तुलनेत कुठे बसते
लहान कामासाठी 30B MoE होस्ट करणे मोठी गरज आहे. Dense 8B मॉडेलने तुमचे काम आधीच होत असेल, तर ते चालवणे आणि लोड करणे खूप कमी खर्चाचे असेल आणि ते काही सेकंदांत लोड होईल. त्या निर्णयासाठी VPS वर 8B आणि 27B मधील Qwen 3 ही थेट तुलना पहा. एखाद्या plan मध्ये प्रत्यक्षात कोणती मॉडेल्स बसू शकतात याचा व्यापक आढावा हवा असल्यास, तुम्ही कोणती AI मॉडेल्स self-host करू शकता इथून सुरुवात करा. एकाच वेळी एकाऐवजी अनेक agents serve करायचे असल्यास, आधी Ollama आणि vLLM ची तुलना वाचा. Ollama एकाच मॉडेलला समांतर requests process करू शकते; परंतु OLLAMA_NUM_PARALLEL ची सुरुवात 1 या मूल्याने होते. त्यामुळे default configuration मध्ये दुसऱ्या agent ची request पहिली request पूर्ण होईपर्यंत queue मध्ये थांबते. या मॉडेलसाठी हे मूल्य वाढवले तरी मदत होत नाही. Ollama v0.40.11 पासून scheduler या tag मध्ये असलेली nemotron_h_moe architecture पुन्हा एका वेळी एकाच request पर्यंत मर्यादित करतो आणि model architecture does not currently support parallel requests log करतो. हे मूल्य स्वीकारणाऱ्या मॉडेल्समध्ये ते वाढवल्यास memory चा वापर वाढतो. Ollama च्या FAQ नुसार आवश्यक RAM OLLAMA_NUM_PARALLEL पट OLLAMA_CONTEXT_LENGTH प्रमाणात वाढते. त्यामुळे मोठ्या मॉडेलमध्ये हा गुणाकारच single-user setup ची scaling मर्यादा ठरतो.
FAQ
Linux VPS वर Nemotron 3.5 Lightning चा कोणता tag pull करावा?
nemotron-3.5-lightning:30b-a3b-q4_K_M वापरा. त्याचा आकार 25 GB आहे. त्यामध्ये पूर्ण 1M maximum context उपलब्ध आहे. 25 October 2026 रोजी query केल्यावर latest, 30b आणि 30b-a3b pointers ने हाच build परत केला होता. October च्या मध्यात library ने हे pointers वेगळ्या digest कडे हलवले होते. latest pull करण्याऐवजी हा tag स्पष्टपणे नमूद करा. त्यामुळे भविष्यात त्या pointer चे republish झाले तरी तुमच्या agent च्या वर्तनात तुमच्या नकळत बदल होणार नाही. mlx tags हे Apple silicon builds आहेत. 30b-a3b-nvfp4 देखील Apple silicon build आहे आणि तो 30b-a3b-mlx digest वापरतो. Linux वर ते उपयोगी ठरणार नाहीत.
Nemotron 3.5 Lightning साठी किती RAM आवश्यक आहे?
Ollama builds साठी NVIDIA किमान memory आकडा प्रकाशित करत नाही. त्यामुळे अंदाज न लावता प्रत्यक्ष मोजा. Tag pull करा, model एकदा चालवा आणि तो loaded असताना ollama ps वाचा. यात प्रत्यक्ष वापरलेला आकार आणि model GPU किंवा CPU वर लोड झाला आहे का हे दिसते. Default tag चा download size 25 GB आहे. हा किमान अंदाज आहे, कारण त्यावर KV cache ची memory वेगळी जोडली जाते आणि तुम्ही सेट केलेल्या context window नुसार ती वाढते. Plan अपुरा असल्यास Ollama model requires more system memory सह नकार देते आणि दोन्ही आकडे दाखवते.
GPU नसलेल्या VPS वर Nemotron 3.5 Lightning चालवता येईल का?
होय, जर plan मध्ये weights साठवण्यासाठी पुरेशी RAM असेल. MoE design मुळेही मदत होते, कारण प्रत्येक token साठी 30 billion parameters पैकी फक्त सुमारे 3 parameters compute केले जातात. अडचण speed ची आहे. GPU नसल्यास model memory bandwidth मुळे मर्यादित राहतो. त्यामुळे vCPUs वाढवल्याने परिणामात फारसा फरक पडत नाही. निश्चित prompt वापरून ollama run --verbose चालवा, eval rate line वाचा आणि हा आकडा तुमच्या agent च्या deadline शी तुलना करा. रात्री चालणाऱ्या batch job साठी ते अनेकदा पुरेसे असते. एखादी व्यक्ती परिणामाची वाट पाहत असेल, तर ते सहसा पुरेसे नसते.
Ollama पूर्ण 1M context window का देत नाही?
1M ही model ची maximum मर्यादा आहे; Ollama ची default window नाही. Ollama त्यापेक्षा खूपच छोटी window वापरते. Conversation त्या मर्यादेपेक्षा मोठे झाल्यावर ते error न दाखवता जुने tokens discard करते. त्यामुळे agent स्वतःच्या instructions विसरल्यासारखे दिसते. systemd service वर OLLAMA_CONTEXT_LENGTH सेट करा किंवा प्रत्येक request साठी num_ctx pass करा. हे मूल्य टप्प्याटप्प्याने वाढवा आणि प्रत्येक वेळी ollama ps पुन्हा तपासा. KV cache memory ही window नुसार वाढते आणि त्यामुळे model layers GPU च्या बाहेर जाऊ शकतात.
Nemotron 3.5 Lightning व्यावसायिक वापरासाठी विनामूल्य आहे का?
NVIDIA च्या model card नुसार हे model OpenMDW-1.1 license अंतर्गत आहे आणि 25 October 2026 रोजी तपासल्याप्रमाणे commercial use साठी तयार आहे. Ollama च्या library page वर download सोबत दिलेला license NVIDIA Open Model License Agreement म्हणून नमूद केला आहे. त्यामुळे कोणत्याही license वर अवलंबून राहण्यापूर्वी दोन्ही वाचा. हे तुम्ही स्वतः download करून चालवलेल्या weights वर लागू होते. तुमच्या stack मधील इतर software बद्दल त्यात काहीही नमूद नाही. त्यामुळे agent harness आणि त्याला जोडलेल्या tools चे licences स्वतंत्रपणे तपासा. कोणत्याही contractual वापरावर अवलंबून राहण्यापूर्वी सध्याचा model card वाचा.