VPS-এ Nemotron 3.5 Lightning চালানোর নিয়ম
নিজের VPS-এ Ollama দিয়ে NVIDIA Nemotron 3.5 Lightning চালান। সঠিক tag pull করার নিয়ম, প্রয়োজনীয় RAM এবং CPU-only চালানো যথেষ্ট দ্রুত কি না জানুন।
Nemotron 3.5 Lightning কী কাজে ব্যবহার করা হয়
Nemotron 3.5 Lightning হলো NVIDIA-এর open 30B mixture-of-experts model। এটি August 2026-এ release করা হয় এবং একটি chat window-এর জন্য নয়, বরং ঘণ্টার পর ঘণ্টা চলা agent-এর জন্য তৈরি। MoE (mixture of experts) বলতে বোঝায়, weights-গুলোকে একাধিক expert sub-network-এ ভাগ করা হয় এবং প্রতিটি token-এর জন্য সেগুলোর মধ্যে মাত্র কয়েকটির মাধ্যমে processing করা হয়। NVIDIA-এর model card অনুযায়ী, এতে মোট 30 billion parameters এবং প্রতি token-এ 3 billion active parameters রয়েছে। Memory-তে বড় সংখ্যাটির খরচ আপনাকে বহন করতে হয়। Speed হিসেবে ছোট সংখ্যাটির সুবিধা পান।
আপনি যে server ভাড়া নেন, সেখানে এই model বিবেচনা করার কারণ হলো এই trade-off। বাস্তব কাজ করা একটি agent দিনে হাজার হাজার ছোট request পাঠায়। তাই প্রতি dollar-এ throughput নির্ধারণ করে, এটি নিজের server-এ চালানো বাস্তবসম্মত কি না। প্রতি reply-তে 40 seconds লাগা model একজন ব্যবহারকারীর assistant হিসেবে গ্রহণযোগ্য হতে পারে, কিন্তু agent হিসেবে দুর্বল। কারণ একটি task-এ 20টি call লাগতে পারে এবং প্রতিটির জন্য আপনাকে অপেক্ষা করতে হবে।
NVIDIA এই architecture-কে hybrid হিসেবে বর্ণনা করে: interleaved Mamba-2 এবং MoE layer-এর সঙ্গে select attention layer। Model card-এ সর্বোচ্চ context length 1M tokens পর্যন্ত এবং OpenMDW-1.1 license উল্লেখ করা হয়েছে। এটিকে commercial use-এর জন্য ready হিসেবে চিহ্নিত করা হয়েছে। প্রধান language হলো English এবং code। এছাড়া Spanish, French, German, Italian এবং Japanese-ও তালিকাভুক্ত রয়েছে।
Artificial Analysis August 2026-এ প্রকাশিত launch measurement-এ প্রতি second-এ প্রায় 670 output token দেখিয়েছে। এই measurement NVFP4 weights পরিবেশন করা pre-release DeepInfra endpoint-এ নেওয়া হয়েছিল। এটি একটি hosted GPU endpoint-এর ফলাফল। তাই এটিকে architecture-এর সম্ভাব্য সক্ষমতা হিসেবে দেখুন, আপনার VPS-এ পাওয়া নিশ্চিত performance হিসেবে নয়।
কোন VPS-এর জন্য কোন Ollama tag উপযুক্ত
Ollama library একই weights-এর বিভিন্ন build প্রকাশ করে। এগুলোর পার্থক্য হলো quantisation—প্রতিটি weight কত bit-এ সংরক্ষণ করা হয়। এর ফলে download size-এ বড় পার্থক্য হয়।
এই চার্টের পেছনের ডেটা
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]latest, 30b এবং 30b-a3b নামে থাকা tag-গুলো এখন নিজেদের digest বহন করে। library 2026 সালের October-এর মাঝামাঝি এগুলো আপডেট করার পর থেকে তালিকায় এগুলোর আকার 19 থেকে 25 GB দেখানো হচ্ছে। 2026 সালের October 25 তারিখে registry থেকে সরাসরি query করলে ওই pointer ঠিক 30b-a3b-q4_K_M-এর মতো একই file ফেরত দিয়েছে। তাই VPS-এ default download হলো 25 GB-এর four-bit build, যাতে সম্পূর্ণ 1M context রয়েছে। তালিকাভুক্ত range-এর 19 GB lower end MLX build-এর সঙ্গে মেলে। এতে বোঝা যায়, Apple silicon machine-এর জন্য সম্ভবত ওই build দেওয়া হয়। Q8_0-এর আকার 35 GB এবং bf16-এর আকার 66 GB; উভয়ের context-ও 1M। 19 GB আকারের MLX build-গুলো Apple silicon-এর জন্য এবং এগুলোর context সর্বোচ্চ 256K। তাই Linux VPS-এ এগুলো উপযুক্ত নয়। library 30b-mlx এবং 30b-a3b-nvfp4-ও তালিকাভুক্ত করে। দ্বিতীয় format-এর নাম NVIDIA-এর format-এর মতো শোনালেও, দুটির digest-ই 30b-a3b-mlx-এর সঙ্গে একই। এছাড়া 30b-a3b-mxfp8-এর আকার 34 GB এবং 30b-a3b-mlx-bf16-এর আকার 66 GB। এগুলোর সবগুলোর context-ও সর্বোচ্চ 256K। তাই কোনোটিই সম্পূর্ণ context window দেয় না।
এগুলো download size, memory requirement নয়। Ollama build-এর জন্য NVIDIA কোনো minimum VRAM (video RAM) প্রকাশ করে না। তাই download size-কে শুধু minimum floor হিসেবে ধরুন; এর বেশি কোনো অর্থ এতে নেই। weights কোথাও memory-তে resident থাকতে হবে। GPU card সেগুলো ধারণ করতে পারলে GPU memory-তে থাকবে, নইলে system RAM-এ থাকবে। এর সঙ্গে KV cache (key/value cache, অর্থাৎ conversation-এর প্রতি token-এর জন্য model যে memory ব্যবহার করে) অতিরিক্ত যুক্ত হয়। আপনার hardware-এর প্রকৃত প্রয়োজন arithmetic করে নয়, একটি command চালিয়ে জানা যায়। সেই command নিচে দেওয়া আছে। আপনি যদি এখনও quantisation level নির্ধারণ না করে থাকেন, Q4, Q8 এবং FP16 বেছে নিলে কী খরচ হয় অংশে প্রতিটি ধাপে কী ত্যাগ করতে হয় তা ব্যাখ্যা করা হয়েছে।
সঠিক tag ব্যবহার করুন, কখনো latest নয়
latest একটি পরিবর্তনশীল pointer। Library এটি পুনরায় প্রকাশ করলে আপনার নোটে কারণের কোনো তথ্য না থাকলেও পরবর্তী pull-এ agent-এর আচরণ বদলে যাবে। এই model-এর ক্ষেত্রে এমন ঘটনা ইতিমধ্যে একবার ঘটেছে: 2026 সালের অক্টোবরের মাঝামাঝি library latest-কে একটি নতুন digest-এ সরিয়ে নিয়েছিল। Tag-এর নাম উল্লেখ করুন।
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MInstall script একটি systemd service সেট আপ করে, যা ollama user হিসেবে চলে এবং model-গুলো /usr/share/ollama/.ollama/models-এর অধীনে রাখে। অধিকাংশ VPS image-এ এই path root filesystem-এ থাকে। তাই 25 GB প্রয়োজন হওয়ার আগে পর্যাপ্ত জায়গা আছে কি না পরীক্ষা করুন। এই filesystem-এ জায়গা কম থাকলে pull করার আগে Ollama কোথায় model সংরক্ষণ করে এবং সেগুলো কীভাবে সরাতে হয় পড়ুন। Disk পূর্ণ হওয়ার পরে পড়ার চেয়ে আগে পড়া বেশি কার্যকর।
df -h /usr/share/ollamaকোনো pull মাঝপথে থেমে no space left on device দেখালে তার অর্থ ঠিক সেটিই। অসম্পূর্ণ blob-গুলো আপনি মুছে না ফেলা পর্যন্ত disk-এ থেকে যায়। এরপর কী এসেছে তা নিশ্চিত করুন:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show architecture, parameter count, context length এবং file-এ বাস্তবে থাকা quantisation প্রিন্ট করে। এগুলোর কোনোটি library page-এর তথ্যের সঙ্গে না মিললে আপনি উদ্দেশ্য করা tag-এর পরিবর্তে অন্য tag pull করেছেন।
এটি চালান এবং আসলে কোথায় চলেছে তা পরীক্ষা করুন
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"মডেলটি লোড থাকা অবস্থায়, দ্বিতীয় একটি shell-এ:
ollama psআপনার মেশিনের memory-সংক্রান্ত প্রশ্নের উত্তর এই command-ই দেয়। ollama ps লোড করা model, memory-তে এটি যে পরিমাণ জায়গা দখল করে, এবং একটি PROCESSOR column দেখায়। 100% GPU-এর অর্থ, সম্পূর্ণ model-টি VRAM-এ রয়েছে। 100% CPU-এর অর্থ, model-এর কোনো অংশ VRAM-এ নেই এবং প্রতিটি token system RAM থেকে processor দ্বারা গণনা করা হচ্ছে। 65%/35% CPU/GPU-এর মতো বিভাজনের অর্থ, সব layer memory-তে fit করেনি; CPU share আপনার speed নির্ধারণ করে। প্রয়োজনীয়তা অনুমান করবেন না। এটি load করে এই line পড়ুন।
এটি একেবারেই load করতে না পারলে Ollama crash না করে পরিষ্কারভাবে প্রত্যাখ্যান করে:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)শুধু CPU-যুক্ত VPS কি যথেষ্ট দ্রুত?
একটি সাধারণ-purpose VPS-এ GPU থাকে না। তাই CPU-কে সব কাজ করতে হয় এবং প্রয়োজনীয় প্রতিটি weight system RAM থেকে পড়তে হয়। এখানে MoE সহায়তা করে, কারণ 30 billion parameter-এর মধ্যে প্রতি token-এ প্রায় 3 billion parameter ব্যবহার হয়। ফলে dense 30B model-এর তুলনায় প্রতি token-এ arithmetic কাজ অনেক কম। Memory ব্যবহারে কোনো সুবিধা হয় না। সব 30 billion parameter memory-তে resident থাকতে হয়, কারণ router যেকোনো token-এর জন্য যেকোনো expert বেছে নিতে পারে।
তাই এই model-এ CPU-only inference core count-এর চেয়ে memory bandwidth দ্বারা বেশি সীমাবদ্ধ। ইতিমধ্যে পর্যাপ্ত vCPU থাকা plan-এ আরও vCPU যোগ করলে খুব সামান্য পরিবর্তন হয়। আপনার প্রয়োজন weights এবং KV cache রাখার মতো যথেষ্ট RAM, এবং plan-এ দেওয়া সবচেয়ে দ্রুত memory।
কোনো agent এতে চালানোর সিদ্ধান্ত নেওয়ার আগে একটি local LLM-এর tokens per second মাপার পদ্ধতি ব্যবহার করে গতি মেপে নিন:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."শেষে মুদ্রিত eval rate line-টি tokens per second হিসাবে আপনার generation speed। এই একটি সংখ্যাই প্রশ্নটির উত্তর নির্ধারণ করে, কারণ agent-এর wall-clock time মূলত এর ওপর নির্ভর করে। আপনি যত দীর্ঘ reply প্রত্যাশা করছেন, তার দৈর্ঘ্য দিয়ে এই সংখ্যাটি গুণ করুন। ফলাফল আপনার অপেক্ষার সীমার চেয়ে বেশি হলে num_predict দিয়ে output সীমিত করা hardware পরিবর্তন না করে একটি single call-এর সময়সীমা নিয়ন্ত্রণের প্রধান উপায়।
এই চার্টের পেছনের ডেটা
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]এগুলো প্রকাশিত third-party figure। এগুলো launch-এর সময় Artificial Analysis প্রকাশিত per-task minute থেকে রূপান্তর করা হয়েছে এবং VPS নয়, hosted GPU endpoint-এ মাপা হয়েছে। Nemotron 3.5 Lightning প্রতি task-এ গড়ে প্রায় 30 second নিয়েছে। এর মধ্যে gpt-oss-120b নিতে প্রায় 204 এবং Qwen3.6 35B নিতে প্রায় 210 লেগেছে। এগুলো আপনার hardware সম্পর্কে নিশ্চয়তা হিসেবে নয়, বরং পার্থক্যের মাত্রা বোঝার জন্য ব্যবহার করুন।
সৎভাবে বললে, কে অপেক্ষা করছে তার ওপর সিদ্ধান্ত নির্ভর করে। কোনো ব্যক্তি agent-এর উত্তরের জন্য অপেক্ষা করলে, অথবা agent পরপর দীর্ঘ call chain চালালে, GPU capacity ভাড়া নিন। এটি যদি রাতে schedule অনুযায়ী চলে এবং কেউ monitor না করে, তাহলে বড়-RAM CPU plan যুক্তিসঙ্গত পছন্দ। উভয় ক্ষেত্রেই setup একই, এবং VPS-এ Ollama চালানো অংশে plan sizing এবং GPU instance নেওয়ার সঙ্গে API provider-কে প্রতি token অনুযায়ী অর্থ দেওয়ার তুলনা ব্যাখ্যা করা হয়েছে। Break-even utilisation-এর প্রশ্ন। GPU instance চালু থাকা প্রতিটি ঘণ্টার জন্য bill করে, আর API token ব্যবহারের সময়ই bill হয়। তাই দিনের বেশিরভাগ সময় ব্যস্ত থাকা agent-এর জন্য নিজের server সুবিধাজনক, কিন্তু প্রতি ঘণ্টায় দুবার চালু হওয়া agent-এর ক্ষেত্রে সাধারণত তা নয়। Ollama software এই হিসাবের কোনো পক্ষেই অতিরিক্ত খরচ যোগ করে না, কারণ ভাড়া করা server-এ এটি বিনামূল্যে চালানো যায়। Ollama কীসের জন্য অর্থ নেয় এবং কীসের জন্য নেয় না অংশে hardware ভাড়া না নিতে চাইলে Ollama Cloud কোথায় উপযোগী, তা ব্যাখ্যা করা হয়েছে।
1M context window বিনামূল্যে নয়
1M tokens হলো model-এর সর্বোচ্চ সীমা, এবং Ollama এটি ডিফল্টভাবে আপনাকে দেয় না। Ollama অনেক ছোট একটি default window ব্যবহার করে। কোনো conversation এই সীমা অতিক্রম করলে এটি পুরোনো tokens বাদ দেয়। Default log level-এ এ সময় কিছুই log করা হয় না। তাই agent-এর কাছে মনে হয়, model যেন নিজের task-এর শুরুটা ভুলে গেছে।
Window-টি ইচ্ছাকৃতভাবে সেট করুন। পুরো server-এর জন্য service-টি সম্পাদনা করুন:
sudo systemctl edit ollamaএটি যোগ করে sudo systemctl restart ollama চালান:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"প্রতিটি request-এর জন্য এর বদলে options object-এ num_ctx পাঠান:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'প্রতিটি বৃদ্ধি memory ব্যবহার বাড়ায়, কারণ আপনি যত tokens অনুমতি দেন, KV cache-ও তত বড় হয়। Value বাড়িয়ে service restart করুন। এরপর আবার ollama ps চালিয়ে reported size বাড়ছে কি না দেখুন। পরিবর্তনের পরে PROCESSOR column যদি 100% GPU থেকে split অবস্থায় চলে যায়, তাহলে KV cache model layers-কে VRAM-এর বাইরে ঠেলে দিয়েছে এবং আপনার speed অনেক কমে যাবে। Ollama-তে num_ctx বেছে নেওয়া এই trade-off বিস্তারিতভাবে ব্যাখ্যা করে। Model card-এ অনুমতি আছে বলে শুধু 1000000 সেট করবেন না। Allocation শুরুতেই হয়, তাই load সরাসরি ব্যর্থ হতে পারে।
একটি সবসময় চালু agent-এ সংযুক্ত করা
এই model-এর জন্য Ollama-এর library page-এ একটি shortcut-এর বর্ণনা আছে। এটি ইতিমধ্যে model-টির দিকে নির্দেশ করা একটি সমর্থিত agent চালু করে:
ollama launch claude --model nemotron-3.5-lightningওই অবস্থানে page-টি claude, opencode, openclaw এবং hermes তালিকাভুক্ত করে। এই subcommand-এর জন্য সাম্প্রতিক Ollama প্রয়োজন। তাই আগে ollama --version পরীক্ষা করুন। এটি না থাকলে agent-কে API-এর দিকে নিজেই নির্দেশ করুন। Ollama একটি OpenAI-compatible endpoint প্রকাশ করে, যা অধিকাংশ agent harness গ্রহণ করে:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama এই key উপেক্ষা করে। তবে অধিকাংশ client key সেট না থাকলে চালু হতে অস্বীকার করে। harness-সংক্রান্ত অংশটি একটি coding agent-কে Ollama-এর দিকে নির্দেশ করা এবং নিজের OpenClaw agent তৈরি করা-এ ব্যাখ্যা করা হয়েছে।
Agent unattended অবস্থায় চললে দুটি server setting গুরুত্বপূর্ণ। OLLAMA_KEEP_ALIVE শেষ request-এর পর model কতক্ষণ memory-তে থাকবে তা নিয়ন্ত্রণ করে। default সেটিংটি পাঁচ মিনিট পর model unload করে। ফলে পরের call-এ আবার সম্পূর্ণ load time লাগে। GPU ছাড়া 25 GB file-এর ক্ষেত্রে এই বিরতি timeout ঘটানোর জন্য যথেষ্ট দীর্ঘ হতে পারে। Model-টিকে memory-তে ধরে রাখতে OLLAMA_KEEP_ALIVE=-1 সেট করুন। OLLAMA_HOST=0.0.0.0:11434 API-টিকে অন্য machine থেকেও reachable করে। এতে কোনো ধরনের authentication থাকে না। তাই এটি কেবল firewall rule বা private network-এর আড়ালে খুলুন।
ব্যর্থতার ধরন এবং যে string-গুলো আপনি দেখতে পাবেন
Pull সঙ্গে সঙ্গে ব্যর্থ হয়। Error: pull model manifest: file does not exist বোঝায় যে ওই tag বিদ্যমান নয়। Tag name হুবহু নির্দিষ্ট string, তাই quantisation suffix অনুমান না করে library page থেকে একটি tag কপি করুন।
Model load হবে না। Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) বোঝায় যে বর্তমান configuration-এ এই plan-এর জন্য tag-টি খুব বড়। ছোট quantisation ব্যবহার করুন, অথবা OLLAMA_CONTEXT_LENGTH কমান, কারণ KV cache-ও এই requirement-এর মধ্যে গণনা করা হয়।
Port 11434-এ কোনো response পাওয়া যায় না। curl: (7) Failed to connect to localhost port 11434 বোঝায় যে service চলছে না, অথবা প্রত্যাশিত জায়গায় listening করছে না। systemctl status ollama এবং journalctl -u ollama -n 50 পড়ুন। আপনি যদি হাতে ollama serve-ও start করে থাকেন, তাহলে দ্বিতীয় copy Error: listen tcp 127.0.0.1:11434: bind: address already in use সহ exit করবে।
Response পাওয়া যায়, কিন্তু খুব ধীর। কোনো পরিবর্তন করার আগে ollama ps পরীক্ষা করুন। GPU machine-এ PROCESSOR column-এ CPU share দেখা গেলে বোঝায় যে model-এর একটি অংশ VRAM-এর বাইরে চলে গেছে। তাই context কমান অথবা ছোট quantisation ব্যবহার করুন। GPU না থাকা machine-এ ধীর গতি প্রত্যাশিত এবং কোনো setting দিয়ে এটি ঠিক করা যায় না।
Task-এর মাঝপথে agent তার instruction ভুলে যায়। Conversation context window অতিক্রম করেছিল এবং সবচেয়ে পুরোনো token-গুলো নীরবে বাদ পড়েছে। OLLAMA_CONTEXT_LENGTH বাড়ান। ollama ps দিয়ে নিশ্চিত করুন যে model এখনও fit করে। যদি আর fit না করে, তাহলে সমাধান হলো বড় machine ব্যবহার করা, window ছোট করা নয়।
এই মডেলটি বিকল্পগুলোর তুলনায় কোথায় অবস্থান করে
ছোট কাজের জন্য 30B MoE হোস্ট করা একটি বড় ব্যবস্থা। Dense 8B মডেলটি যদি আপনার কাজ ইতিমধ্যেই সামলাতে পারে, তাহলে সেটি চালানো ও লোড করা অনেক কম খরচের হবে এবং কয়েক সেকেন্ডেই লোড হবে। সেই সিদ্ধান্তের সরাসরি তুলনার জন্য দেখুন VPS-এ 8B ও 27B-তে Qwen 3। কোনো plan বাস্তবে কতটা ধারণ করতে পারে, তার বিস্তৃত পর্যালোচনার জন্য শুরু করুন কোন AI model আপনি self-host করতে পারবেন থেকে। একসঙ্গে একটি model নয়, একাধিক agent চালানোর পরিকল্পনা থাকলে আগে পড়ুন Ollama ও vLLM-এর তুলনা। Ollama একটি model-এর অনুরোধগুলো parallel-এ process করতে পারে, কিন্তু OLLAMA_NUM_PARALLEL 1-এ সেট করা থাকে। তাই out of the box, দ্বিতীয় agent-এর অনুরোধ প্রথমটির কাজ শেষ না হওয়া পর্যন্ত queue-তে অপেক্ষা করে। এই model-এর ক্ষেত্রেও মানটি বাড়ালে কোনো উপকার হয় না। Ollama v0.40.11 পর্যন্ত scheduler এই tag-এ থাকা nemotron_h_moe architecture-কে একবারে একটি অনুরোধে সীমাবদ্ধ করে এবং model architecture does not currently support parallel requests log করে। যেসব model এই মান গ্রহণ করে, সেগুলোর ক্ষেত্রে মান বাড়ালে memory খরচ বাড়ে। Ollama-এর FAQ অনুযায়ী প্রয়োজনীয় RAM OLLAMA_NUM_PARALLEL গুণ OLLAMA_CONTEXT_LENGTH হারে বৃদ্ধি পায়। তাই বড় model-এ এই গুণনই নির্ধারণ করে, single-user setup কতদূর scale করতে পারে।
FAQ
Linux VPS-এ কোন Nemotron 3.5 Lightning tag pull করা উচিত?
nemotron-3.5-lightning:30b-a3b-q4_K_M ব্যবহার করুন। এর আকার 25 GB, এতে সম্পূর্ণ 1M maximum context রয়েছে, এবং 2026 সালের October 25 তারিখে query করার সময় latest, 30b ও 30b-a3b pointer যে build ফেরত দিয়েছিল, এটিই সেই build। যদিও October-এর মাঝামাঝি library এই pointer-গুলো আলাদা digest-এ সরিয়ে নিয়েছিল। এটি স্পষ্টভাবে নির্ধারণ করুন। latest pull করবেন না। তাহলে ভবিষ্যতে ওই pointer আবার publish হলে আপনার অজান্তে agent-এর আচরণ বদলে যেতে পারে। mlx tag-গুলো Apple silicon build। 30b-a3b-nvfp4-ও Apple silicon build এবং এটি 30b-a3b-mlx digest শেয়ার করে। Linux-এ এগুলো আপনার কাজে আসবে না।
Nemotron 3.5 Lightning-এর কত RAM প্রয়োজন?
NVIDIA Ollama build-গুলোর জন্য minimum memory figure প্রকাশ করে না। তাই অনুমান না করে মাপুন। Tag pull করুন, model একবার চালান, এবং এটি loaded থাকা অবস্থায় ollama ps-এর output দেখুন। সেখানে বাস্তবে কত memory ব্যবহৃত হয়েছে এবং model GPU নাকি CPU-তে চালু হয়েছে, তা দেখা যায়। Default tag-এর download size 25 GB হলেও এটি কেবল minimum ভিত্তি। এর সঙ্গে KV cache যোগ হয় এবং আপনার নির্ধারিত context window বাড়লে এটি আরও বড় হয়। পরিকল্পনায় RAM কম থাকলে Ollama model requires more system memory দিয়ে ব্যর্থ হবে এবং উভয় সংখ্যাই দেখাবে।
GPU ছাড়া VPS-এ কি Nemotron 3.5 Lightning চালানো যাবে?
হ্যাঁ, যদি weight ধরে রাখার মতো পর্যাপ্ত RAM থাকে। MoE design-ও সহায়তা করে, কারণ প্রতি token-এর জন্য 30 billion parameter-এর মধ্যে প্রায় 3টি parameter গণনা করা হয়। সমস্যা হলো গতি। GPU ছাড়া model memory bandwidth দ্বারা সীমাবদ্ধ থাকে। তাই vCPU বাড়ালেও ফলাফলে সামান্যই পরিবর্তন হয়। একটি নির্দিষ্ট prompt দিয়ে ollama run --verbose চালান, eval rate line-এর মান দেখুন, এবং আপনার agent-এর deadline-এর সঙ্গে সেটি তুলনা করুন। রাতভর batch job-এর জন্য এটি প্রায়ই যথেষ্ট। কিন্তু কোনো ব্যক্তি ফলাফলের জন্য অপেক্ষা করলে সাধারণত এটি যথেষ্ট নয়।
Ollama কেন সম্পূর্ণ 1M context window দেয় না?
1M হলো model-এর maximum, Ollama-এর default নয়। Ollama অনেক ছোট একটি window প্রয়োগ করে। কোনো conversation সেই সীমা ছাড়িয়ে গেলে এটি error না দেখিয়ে সবচেয়ে পুরোনো token বাদ দেয়। ফলে মনে হয় agent নিজের instruction ভুলে গেছে। systemd service-এ OLLAMA_CONTEXT_LENGTH সেট করুন, অথবা প্রতি request-এ num_ctx পাঠান। ধাপে ধাপে মান বাড়ান এবং প্রতিবার ollama ps আবার পরীক্ষা করুন। কারণ KV cache-এর memory window-এর আকারের সঙ্গে বাড়ে এবং এর ফলে model layer GPU থেকে সরিয়ে ফেলতে হতে পারে।
Nemotron 3.5 Lightning কি বাণিজ্যিক ব্যবহারের জন্য বিনামূল্যে?
2026 সালের October 25 তারিখে পরীক্ষা করা তথ্য অনুযায়ী, NVIDIA-এর model card-এ model-টিকে OpenMDW-1.1 license-এর অধীনে রাখা হয়েছে এবং commercial use-এর জন্য প্রস্তুত হিসেবে চিহ্নিত করা হয়েছে। Ollama-এর library page-এ download-এর সঙ্গে দেওয়া license-কে NVIDIA Open Model License Agreement বলা হয়েছে। তাই যেকোনো একটির ওপর নির্ভর করার আগে উভয় license পড়ুন। এটি আপনার নিজে download ও run করা weight-এর ক্ষেত্রে প্রযোজ্য। আপনার stack-এর অন্য software-এর ক্ষেত্রে এটি কিছু বলে না। তাই agent harness এবং এর সঙ্গে সংযুক্ত যেকোনো tool-এর license আলাদাভাবে পরীক্ষা করুন। কোনো contractual কাজে নির্ভর করার আগে বর্তমান model card-ও পড়ুন।