VPS پر Nemotron 3.5 Lightning کیسے چلائیں
اپنے server پر Ollama کے ساتھ NVIDIA Nemotron 3.5 Lightning چلائیں۔ درست tag، درکار RAM اور CPU-only رفتار کے بارے میں عملی معلومات حاصل کریں۔
Nemotron 3.5 Lightning کس کام کے لیے ہے
Nemotron 3.5 Lightning، NVIDIA کا open 30B mixture-of-experts ماڈل ہے جو August 2026 میں release ہوا۔ یہ ایسے agents کے لیے بنایا گیا ہے جو ایک chat window کے بجائے کئی گھنٹوں تک چلتے ہیں۔ MoE (mixture of experts) کا مطلب ہے کہ weights کو کئی expert sub-networks میں تقسیم کیا جاتا ہے، اور ہر token کو ان میں سے صرف چند کے ذریعے process کیا جاتا ہے۔ NVIDIA کی model card کے مطابق اس میں کل 30 billion parameters ہیں، جبکہ ہر token کے لیے 3 billion parameters فعال ہوتے ہیں۔ Memory میں بڑے total number کی لاگت دینی پڑتی ہے، لیکن speed میں چھوٹے active number کا فائدہ ملتا ہے۔
یہی trade-off اس ماڈل کو rented server کے لیے قابلِ غور بناتا ہے۔ حقیقی کام کرنے والا agent دن بھر میں ہزاروں مختصر requests بھیجتا ہے، اس لیے فی dollar throughput طے کرتا ہے کہ اسے اپنے server پر چلانا عملی ہے یا نہیں۔ جو ماڈل ہر جواب کے لیے 40 seconds لیتا ہے، وہ ایک مفید assistant تو ہو سکتا ہے، لیکن کمزور agent ثابت ہوتا ہے، کیونکہ ایک task کے لیے 20 calls درکار ہوتی ہیں اور ہر call کا انتظار کرنا پڑتا ہے۔
NVIDIA اس architecture کو hybrid قرار دیتا ہے: اس میں interleaved Mamba-2 اور MoE layers کے ساتھ select attention layers شامل ہیں۔ model card کے مطابق maximum context length 1M tokens تک ہے، اور اس میں OpenMDW-1.1 license استعمال کیا گیا ہے جسے commercial use کے لیے ready نشان زد کیا گیا ہے۔ بنیادی languages English اور code ہیں، جبکہ Spanish، French، German، Italian اور Japanese بھی فہرست میں شامل ہیں۔
Artificial Analysis نے August 2026 میں launch measurements شائع کیے، جن کے مطابق NVFP4 weights فراہم کرنے والے pre-release DeepInfra endpoint پر output تقریباً 670 tokens per second تھا۔ یہ hosted GPU endpoint کی رفتار ہے۔ اسے architecture کی ممکنہ کارکردگی سمجھیں، نہ کہ اس کارکردگی کے طور پر جو آپ کے VPS پر لازماً حاصل ہوگی۔
کون سا Ollama tag کس VPS کے لیے موزوں ہے
Ollama library ایک ہی weights کے کئی builds شائع کرتی ہے۔ ان builds میں بنیادی فرق quantisation کا ہوتا ہے، یعنی ہر weight کو کتنے bits میں محفوظ کیا جاتا ہے۔ اس سے download size میں نمایاں فرق پڑتا ہے۔
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]latest، 30b اور 30b-a3b نام والے tags اب اپنا الگ digest رکھتے ہیں۔ Library نے اکتوبر 2026 کے وسط میں انہیں update کیا تھا، اور اب ان کا size 19 سے 25 GB درج ہے۔ 25 اکتوبر 2026 کو registry سے براہ راست query کرنے پر اس pointer نے بالکل وہی files واپس کیں جو 30b-a3b-q4_K_M میں درج ہیں۔ اس لیے VPS پر default download، مکمل 1M context کے ساتھ 25 GB کا four-bit build ہے۔ درج شدہ range کا 19 GB والا نچلا سرا MLX builds سے مطابقت رکھتا ہے۔ اس سے معلوم ہوتا ہے کہ Apple silicon machines کو غالباً یہی builds دیے جاتے ہیں۔ Q8_0 کا size 35 GB ہے، جبکہ bf16 کا size 66 GB ہے؛ دونوں 1M context استعمال کرتے ہیں۔ 19 GB والے MLX builds Apple silicon کے لیے ہیں اور ان کا context زیادہ سے زیادہ 256K ہے۔ اس لیے Linux VPS پر یہ درست انتخاب نہیں ہیں۔ Library میں 30b-mlx اور 30b-a3b-nvfp4 بھی درج ہیں۔ دونوں کا digest 30b-a3b-mlx کے برابر ہے، حالانکہ دوسرے format کا نام NVIDIA کے format جیسا معلوم ہوتا ہے۔ اس کے علاوہ 30b-a3b-mxfp8 کا size 34 GB اور 30b-a3b-mlx-bf16 کا size 66 GB ہے۔ ان سب کا context بھی زیادہ سے زیادہ 256K ہے، اس لیے کوئی بھی build مکمل context window فراہم نہیں کرتا۔
یہ download sizes ہیں، memory requirement نہیں۔ NVIDIA، Ollama builds کے لیے کم از کم VRAM (video RAM) کی مقدار شائع نہیں کرتا۔ اس لیے download size کو صرف کم از کم حد سمجھیں، اس سے زیادہ کچھ نہیں۔ Weights کو کسی نہ کسی memory میں موجود رہنا ہوتا ہے۔ اگر GPU card انہیں رکھ سکتا ہو تو وہ GPU memory میں رہتے ہیں، ورنہ system RAM استعمال ہوتی ہے۔ اس کے علاوہ KV cache (key/value cache، یعنی conversation کی ہر token کے لیے model کی memory) بھی شامل ہوتی ہے۔ آپ کے hardware کے لیے اصل مقدار command سے معلوم ہوتی ہے، محض حساب سے نہیں، اور وہ command نیچے دی گئی ہے۔ اگر آپ نے ابھی quantisation level منتخب نہیں کیا تو Q4، Q8 اور FP16 میں سے ہر ایک کی قیمت میں بتایا گیا ہے کہ ہر مرحلے پر کیا چیز کم ہوتی ہے۔
درست tag حاصل کریں، کبھی بھی latest نہیں
latest ایک متحرک pointer ہے۔ جب library اسے دوبارہ شائع کرتی ہے تو آپ کے agent کا رویہ اگلی pull پر تبدیل ہو جاتا ہے، اور آپ کے notes میں اس کی کوئی وضاحت موجود نہیں ہوتی۔ اس model کے ساتھ یہ پہلے ہی ایک بار ہو چکا ہے: اکتوبر 2026 کے وسط میں library نے latest کو ایک نئے digest پر منتقل کر دیا۔ tag کا نام واضح طور پر لکھیں۔
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MInstall script ایک systemd service بناتی ہے جو ollama user کے طور پر چلتی ہے اور models کو /usr/share/ollama/.ollama/models کے تحت رکھتی ہے۔ زیادہ تر VPS images میں یہ path root filesystem پر ہوتا ہے، اس لیے 25 GB درکار ہونے سے پہلے خالی جگہ چیک کریں۔ اگر اس filesystem میں جگہ کم ہو تو Ollama اپنے models کہاں محفوظ کرتا ہے اور انہیں کیسے منتقل کیا جائے پڑھ لیں۔ یہ کام pull سے پہلے کرنا بہتر ہے، نہ کہ disk بھر جانے کے بعد۔
df -h /usr/share/ollamaاگر pull درمیان میں رک جائے اور no space left on device رپورٹ کرے تو اس کا مطلب بالکل یہی ہے۔ جزوی blobs اس وقت تک disk پر موجود رہتے ہیں جب تک آپ انہیں delete نہ کریں۔ اس کے بعد تصدیق کریں کہ کیا محفوظ ہوا:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show architecture، parameter count، context length اور file میں موجود اصل quantisation دکھاتا ہے۔ اگر ان میں سے کوئی بھی library page سے مختلف ہو تو آپ نے وہ tag pull نہیں کیا جس کا آپ نے ارادہ کیا تھا۔
اسے چلائیں، پھر دیکھیں کہ یہ حقیقت میں کہاں چلا
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"جب model ابھی loaded ہو، تو دوسرے shell میں:
ollama psیہ command آپ کی machine کے لیے memory سے متعلق سوال کا جواب دیتی ہے۔ ollama ps loaded model، memory میں اس کے زیرِ استعمال size، اور PROCESSOR column دکھاتا ہے۔ 100% GPU کا مطلب ہے کہ model کا پورا حصہ VRAM میں ہے۔ 100% CPU کا مطلب ہے کہ اس کا کوئی حصہ VRAM میں نہیں، اور ہر token کو system RAM سے processor compute کرتا ہے۔ 65%/35% CPU/GPU جیسی تقسیم کا مطلب ہے کہ تمام layers fit نہیں ہو سکیں، اور CPU share آپ کی speed متعین کرتا ہے۔ requirement کا اندازہ نہ لگائیں۔ اسے load کریں اور یہ line پڑھیں۔
اگر یہ بالکل load نہ ہو سکے تو Ollama crash ہونے کے بجائے صاف طور پر انکار کر دیتا ہے:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)کیا صرف CPU والا VPS کافی تیز ہے؟
عام مقصد کے VPS میں GPU نہیں ہوتا، اس لیے سارا کام CPU کرتا ہے اور اسے درکار ہر weight system RAM سے پڑھتا ہے۔ MoE یہاں مدد کرتا ہے، کیونکہ ہر token کے لیے 30 billion parameters میں سے صرف تقریباً 3 billion parameters استعمال ہوتے ہیں، اس لیے ہر token کے لیے arithmetic ایک dense 30B model کے مقابلے میں بہت کم ہوتا ہے۔ Memory کے معاملے میں کوئی مدد نہیں ملتی۔ تمام 30 billion parameters کو memory میں موجود رہنا ہوتا ہے، کیونکہ router کسی بھی token کے لیے کوئی بھی expert منتخب کر سکتا ہے۔
اس لیے اس model پر صرف CPU کے ذریعے inference کی رفتار core count کے بجائے memory bandwidth سے محدود ہوتی ہے۔ جس plan میں پہلے ہی مناسب تعداد میں vCPUs ہوں، اس میں مزید vCPUs شامل کرنے سے بہت کم فرق پڑتا ہے۔ آپ کو weights اور اپنے KV cache کو رکھنے کے لیے کافی RAM، اور plan کی فراہم کردہ تیز ترین memory درکار ہے۔
کسی agent کو اس پر چلانے کا فیصلہ کرنے سے پہلے اسے اس طریقے سے measure کریں: مقامی LLM کے لیے tokens per second کی پیمائش:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."آخر میں printed eval rate line آپ کی generation speed، یعنی tokens per second، بتاتی ہے۔ یہی ایک عدد اس سوال کا فیصلہ کرتا ہے، کیونکہ agent کا wall-clock time زیادہ تر اسی سے متعین ہوتا ہے۔ اسے متوقع reply کی لمبائی سے ضرب دیں۔ اگر نتیجہ آپ کے قابلِ انتظار وقت سے زیادہ ہو تو num_predict کے ذریعے output کی حد مقرر کرنا واحد ایسا طریقہ ہے جو hardware تبدیل کیے بغیر ایک call کی زیادہ سے زیادہ مدت محدود کرتا ہے۔
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]یہ شائع شدہ third-party اعداد و شمار ہیں، جنہیں launch کے وقت Artificial Analysis کی رپورٹ کردہ فی-task minutes سے تبدیل کیا گیا ہے۔ ان کی پیمائش VPS کے بجائے hosted GPU endpoints پر کی گئی تھی۔ Nemotron 3.5 Lightning نے فی task اوسطاً 30 seconds لیے، جبکہ gpt-oss-120b میں تقریباً 204 اور Qwen3.6 35B میں تقریباً 210 لگے۔ انہیں فرق کی عمومی صورت سمجھنے کے لیے استعمال کریں، اپنے hardware کے بارے میں ضمانت کے طور پر نہیں۔
درست رہنمائی اس بات پر منحصر ہے کہ انتظار کون کر رہا ہے۔ اگر کوئی شخص agent کے جواب کا انتظار کر رہا ہے، یا agent مسلسل طویل سلسلوں میں calls کر رہا ہے، تو GPU capacity کرائے پر لیں۔ اگر یہ رات بھر schedule کے مطابق چلتا ہے اور کوئی اسے نہیں دیکھ رہا، تو زیادہ RAM والا CPU plan مناسب انتخاب ہے۔ دونوں صورتوں میں setup ایک ہی رہتا ہے، اور VPS پر Ollama چلانا plan sizing اور اس بات کی وضاحت کرتا ہے کہ GPU instance کا موازنہ API provider کو فی token ادائیگی سے کیسے کیا جائے۔ break-even کا تعلق utilisation سے ہے: GPU instance جتنے گھنٹے موجود رہتا ہے، ہر گھنٹے کا bill بنتا ہے، جبکہ API tokens کا bill صرف استعمال کے وقت بنتا ہے۔ اس لیے جو agent دن کے زیادہ حصے میں مصروف رہتا ہو، اس کے لیے اپنا box زیادہ موزوں ہے؛ جو agent ایک گھنٹے میں صرف دو بار چلتا ہو، عموماً اس کے لیے ایسا نہیں ہوتا۔ Ollama software اس حساب کے کسی بھی فریق میں کوئی اضافی لاگت شامل نہیں کرتا، کیونکہ اسے کرائے کے server پر چلانا مفت ہے۔ Ollama کن چیزوں کی قیمت لیتا ہے اور کن کی نہیں میں بتایا گیا ہے کہ اگر آپ hardware کرائے پر ہی نہیں لینا چاہتے تو Ollama Cloud اس صورتِ حال میں کہاں موزوں ہے۔
1M کا context window مفت نہیں ہوتا
1M tokens ماڈل کی زیادہ سے زیادہ حد ہے، اور Ollama اسے بطور ڈیفالٹ آپ کو فراہم نہیں کرتا۔ Ollama اس سے کہیں چھوٹا default window استعمال کرتا ہے اور جب conversation اس حد سے بڑھ جائے تو قدیم ترین tokens خارج کر دیتا ہے۔ اس وقت default log level پر کچھ بھی log نہیں ہوتا، اس لیے agent کو یوں محسوس ہوتا ہے جیسے model اپنے ہی task کا آغاز بھول گیا ہو۔
Window کو جان بوجھ کر مقرر کریں۔ پورے server کے لیے service میں ترمیم کریں:
sudo systemctl edit ollamaیہ شامل کریں، پھر sudo systemctl restart ollama چلائیں:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"فی request، اس کے بجائے options object میں num_ctx بھیجیں:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'ہر اضافہ memory استعمال کرتا ہے، کیونکہ آپ کی اجازت دیے گئے tokens کی تعداد کے ساتھ KV cache بھی بڑھتا ہے۔ Value بڑھائیں، restart کریں، پھر ollama ps دوبارہ چلائیں اور ظاہر کردہ size کو بڑھتے ہوئے دیکھیں۔ اگر اس تبدیلی کے بعد PROCESSOR column، 100% GPU سے split حالت میں تبدیل ہو جائے تو KV cache نے model layers کو VRAM سے باہر دھکیل دیا ہے اور آپ کی speed بہت کم ہو جائے گی۔ Ollama میں num_ctx کا انتخاب اس trade-off کو تفصیل سے بیان کرتا ہے۔ صرف اس وجہ سے 1000000 مقرر نہ کریں کہ model card اس کی اجازت دیتا ہے، کیونکہ allocation ابتدا ہی میں ہو جاتی ہے اور load مکمل طور پر ناکام ہو جاتا ہے۔
ہمیشہ فعال agent میں اسے شامل کرنا
اس model کے لیے Ollama کے library page میں ایک مختصر طریقہ درج ہے، جو پہلے سے اس model کی طرف متوجہ supported agent شروع کرتا ہے:
ollama launch claude --model nemotron-3.5-lightningاس مقام پر صفحہ claude، opencode، openclaw اور hermes دکھاتا ہے۔ اس subcommand کے لیے موجودہ Ollama درکار ہے، اس لیے پہلے ollama --version چیک کریں۔ اگر یہ دستیاب نہ ہو تو agent کو خود API کی طرف متوجہ کریں۔ Ollama ایک OpenAI-compatible endpoint فراہم کرتا ہے، جسے زیادہ تر agent harnesses قبول کرتے ہیں:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama اس key کو نظرانداز کرتا ہے، لیکن زیادہ تر clients اس کے set کیے بغیر شروع ہونے سے انکار کرتے ہیں۔ harness کے جانب کا طریقہ coding agent کو Ollama کی طرف متوجہ کرنا اور اپنا OpenClaw agent بنانا میں بیان کیا گیا ہے۔
Agent کے unattended طور پر چلنے کے بعد server کی دو settings اہم ہوتی ہیں۔ OLLAMA_KEEP_ALIVE یہ کنٹرول کرتا ہے کہ آخری request کے بعد model کتنی دیر memory میں رہے۔ default اسے پانچ منٹ بعد unload کر دیتا ہے، اس لیے اگلی call پر مکمل load time دوبارہ درکار ہوتا ہے۔ GPU کے بغیر 25 GB file پر یہ وقفہ timeout ناکام کرنے کے لیے کافی طویل ہو سکتا ہے۔ اسے memory میں برقرار رکھنے کے لیے OLLAMA_KEEP_ALIVE=-1 set کریں۔ OLLAMA_HOST=0.0.0.0:11434 API کو دوسری machines سے قابل رسائی بناتا ہے، اور اس میں کسی بھی قسم کی authentication شامل نہیں ہے۔ اس لیے اسے صرف firewall rule یا private network کے پیچھے کھولیں۔
ناکامی کی صورتیں اور نظر آنے والے پیغامات
Pull فوراً ناکام ہو جاتا ہے۔ Error: pull model manifest: file does not exist کا مطلب ہے کہ یہ tag موجود نہیں ہے۔ Tag کے نام بالکل درست strings ہوتے ہیں، اس لیے quantisation suffix کا اندازہ لگانے کے بجائے library page سے کوئی tag نقل کریں۔
Model load نہیں ہوتا۔ Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) کا مطلب ہے کہ موجودہ configuration کے مطابق یہ tag اس plan کے لیے بہت بڑا ہے۔ کم quantisation منتخب کریں یا OLLAMA_CONTEXT_LENGTH کم کریں، کیونکہ KV cache بھی اس requirement میں شمار ہوتا ہے۔
Port 11434 پر کوئی جواب نہیں ملتا۔ curl: (7) Failed to connect to localhost port 11434 کا مطلب ہے کہ service چل نہیں رہی یا اس جگہ listening نہیں کر رہی جہاں آپ توقع کر رہے ہیں۔ systemctl status ollama اور journalctl -u ollama -n 50 پڑھیں۔ اگر آپ نے ollama serve کو بھی دستی طور پر شروع کیا ہے تو دوسری copy Error: listen tcp 127.0.0.1:11434: bind: address already in use کے ساتھ exit ہو جاتی ہے۔
جواب ملتا ہے، لیکن بہت آہستہ۔ کوئی تبدیلی کرنے سے پہلے ollama ps دیکھیں۔ GPU machine پر PROCESSOR column میں CPU کا کوئی بھی حصہ اس بات کی علامت ہے کہ model کا کچھ حصہ VRAM سے باہر منتقل ہو گیا ہے، اس لیے context کم کریں یا چھوٹی quantisation استعمال کریں۔ ایسی machine پر جس میں GPU نہ ہو، سست رفتار متوقع ہے اور کوئی setting اسے درست نہیں کر سکتی۔
Agent task کے دوران اپنے instructions بھول جاتا ہے۔ Conversation context window سے آگے بڑھ گئی اور قدیم ترین tokens خاموشی سے خارج کر دیے گئے۔ OLLAMA_CONTEXT_LENGTH بڑھائیں، ollama ps سے تصدیق کریں کہ model اب بھی fit ہوتا ہے، اور اگر fit نہ ہو تو حل window چھوٹی کرنا نہیں بلکہ بڑی machine استعمال کرنا ہے۔
یہ ماڈل دوسرے متبادلوں کے مقابلے میں کہاں آتا ہے
چھوٹے کام کے لیے 30B MoE کی میزبانی کرنا ایک بڑا انتظام ہے۔ اگر dense 8B model پہلے ہی آپ کا کام سنبھال لیتا ہے تو اسے چلانے اور لوڈ کرنے کی لاگت بہت کم ہوگی، اور یہ چند سیکنڈ میں لوڈ ہو جائے گا۔ اس فیصلے کے لیے VPS پر 8B اور 27B کا Qwen 3 براہ راست موازنہ پیش کرتا ہے۔ کسی مخصوص plan میں عملی طور پر کون سے ماڈلز سما سکتے ہیں، اس کے وسیع جائزے کے لیے دیکھیں کہ آپ کون سے AI ماڈلز self-host کر سکتے ہیں سے شروع کریں۔ اگر آپ ایک کے بجائے بیک وقت کئی agents کو serve کرنا چاہتے ہیں تو پہلے Ollama کا vLLM کے ساتھ موازنہ پڑھیں۔ Ollama ایک model کو requests پر parallel طور پر process کر سکتا ہے، لیکن OLLAMA_NUM_PARALLEL کی ابتدائی قدر 1 ہے۔ اس لیے out of the box دوسرے agent کی request پہلے agent کے مکمل ہونے تک queue میں انتظار کرتی ہے۔ اس model کے لیے یہ قدر بڑھانا بھی مددگار نہیں: Ollama v0.40.11 کے مطابق scheduler اس tag میں موجود nemotron_h_moe architecture کو دوبارہ ایک وقت میں ایک request تک محدود کر دیتا ہے اور model architecture does not currently support parallel requests log کرتا ہے۔ جن models میں یہ قدر قبول کی جاتی ہے، ان میں اسے بڑھانے سے memory کی ضرورت بڑھتی ہے۔ Ollama کے FAQ کے مطابق مطلوبہ RAM OLLAMA_NUM_PARALLEL گنا OLLAMA_CONTEXT_LENGTH کے حساب سے بڑھتی ہے۔ اس لیے بڑے model میں یہی ضرب وہ مقام ہے جہاں single-user setup کی scaling رک جاتی ہے۔
FAQ
Linux VPS پر کون سا Nemotron 3.5 Lightning tag pull کرنا چاہیے؟
nemotron-3.5-lightning:30b-a3b-q4_K_M استعمال کریں۔ اس کا سائز 25 GB ہے، اس میں مکمل 1M زیادہ سے زیادہ context شامل ہے، اور یہ وہ build ہے جو 25 October 2026 کو query کرنے پر latest، 30b اور 30b-a3b pointers نے واپس کیا تھا، حالانکہ library نے اکتوبر کے وسط میں ان pointers کو الگ digest میں منتقل کر دیا تھا۔ اسے واضح طور پر نامزد کریں، latest pull نہ کریں، تاکہ مستقبل میں اس pointer کو دوبارہ publish کرنے سے آپ کے agent کا رویہ آپ کے علم کے بغیر تبدیل نہ ہو سکے۔ mlx tags Apple silicon builds ہیں، اور 30b-a3b-nvfp4 بھی ایسا ہی build ہے، جو 30b-a3b-mlx digest استعمال کرتا ہے۔ یہ Linux پر آپ کے لیے مفید نہیں ہوں گے۔
Nemotron 3.5 Lightning کو کتنی RAM درکار ہے؟
NVIDIA، Ollama builds کے لیے کم از کم memory کی مقدار شائع نہیں کرتا، اس لیے اندازہ لگانے کے بجائے پیمائش کریں۔ tag pull کریں، model کو ایک بار چلائیں، اور اس کے loaded ہونے کے دوران ollama ps پڑھیں۔ یہ اصل میں استعمال ہونے والا size اور یہ بتاتا ہے کہ model GPU پر load ہوا یا CPU پر۔ default tag کا download size 25 GB ہے، لیکن یہ صرف کم از کم مقدار ہے، کیونکہ KV cache اس کے علاوہ شامل ہوتا ہے اور آپ کے مقرر کردہ context window کے ساتھ بڑھتا ہے۔ اگر plan بہت چھوٹا ہو تو Ollama model requires more system memory کے ساتھ انکار کر دیتا ہے اور دونوں numbers بتاتا ہے۔
کیا میں GPU کے بغیر VPS پر Nemotron 3.5 Lightning چلا سکتا ہوں؟
ہاں، اگر plan میں weights رکھنے کے لیے کافی RAM ہو۔ MoE design بھی مدد کرتا ہے، کیونکہ ہر token کے لیے 30 billion parameters میں سے صرف تقریباً 3 billion parameters compute ہوتے ہیں۔ اصل مسئلہ رفتار ہے۔ GPU کے بغیر model memory bandwidth سے محدود رہتا ہے، اس لیے vCPUs بڑھانے سے نتیجے میں معمولی تبدیلی آتی ہے۔ ایک مقررہ prompt کے ساتھ ollama run --verbose چلائیں، eval rate line پڑھیں، اور اس number کا اپنے agent کی deadline سے تقابل کریں۔ رات بھر چلنے والے batch job کے لیے یہ اکثر کافی ہوتا ہے۔ لیکن کسی انسان کے انتظار والی کارکردگی کے لیے عموماً کافی نہیں ہوتا۔
Ollama مجھے مکمل 1M context window کیوں نہیں دیتا؟
1M model کی زیادہ سے زیادہ حد ہے، Ollama کی default نہیں۔ Ollama اس سے کہیں چھوٹی window استعمال کرتا ہے اور conversation کے اس window سے تجاوز کرنے پر پرانے tokens خارج کر دیتا ہے۔ کوئی error بھی print نہیں ہوتا، جس سے ایسا محسوس ہوتا ہے کہ agent اپنی ہی instructions بھول رہا ہے۔ systemd service پر OLLAMA_CONTEXT_LENGTH set کریں، یا ہر request کے لیے num_ctx pass کریں۔ اسے مرحلہ وار بڑھائیں اور ہر بار ollama ps دوبارہ check کریں، کیونکہ KV cache کی memory window کے ساتھ بڑھتی ہے اور model layers کو GPU سے باہر منتقل کر سکتی ہے۔
کیا Nemotron 3.5 Lightning تجارتی استعمال کے لیے مفت ہے؟
NVIDIA کے model card میں model کو OpenMDW-1.1 license کے تحت رکھا گیا ہے اور 25 October 2026 کو کی گئی جانچ کے مطابق اسے commercial use کے لیے تیار قرار دیا گیا ہے۔ Ollama کا library page اس download کے ساتھ فراہم کردہ license کو NVIDIA Open Model License Agreement کے طور پر درج کرتا ہے، اس لیے کسی ایک پر انحصار کرنے سے پہلے دونوں پڑھیں۔ یہ ان weights پر لاگو ہوتا ہے جنہیں آپ خود download اور run کرتے ہیں۔ آپ کے stack میں شامل دوسرے software کے بارے میں اس میں کچھ نہیں کہا گیا، اس لیے agent harness اور اس سے منسلک tools کے licenses الگ سے check کریں، اور کسی contractual مقصد کے لیے اس معلومات پر انحصار کرنے سے پہلے موجودہ model card پڑھیں۔