اجرای Nemotron 3.5 Lightning روی سرور شخصی با Ollama
راهنمای اجرای مدل Nemotron 3.5 Lightning با Ollama روی VPS. بررسی میزان RAM مورد نیاز، تگ دقیق برای pull کردن مدل و تحلیل سرعت اجرای آن در حالت CPU-only برای پروژههای شما.
مدل Nemotron 3.5 Lightning چه کاربردی دارد
مدل Nemotron 3.5 Lightning مدل 30 میلیاردی Mixture-of-Experts (MoE) متنباز NVIDIA است که در اوت 2026 منتشر شد و برای عاملهایی (agents) طراحی شده که بهجای یک پنجره چت ساده، برای ساعتها اجرا میشوند. معماری MoE به این معناست که وزنها به چندین زیرشبکه تخصصی تقسیم شدهاند و هر توکن تنها از میان تعداد کمی از آنها عبور میکند. طبق کارت مدل NVIDIA، این مدل در مجموع 30 میلیارد پارامتر دارد که 3 میلیارد از آنها به ازای هر توکن فعال هستند. شما هزینه حافظه را برای تعداد کل پارامترها میپردازید، اما سرعت اجرای آن متناسب با تعداد پارامترهای فعال است.
این موازنه، دلیلی است که باید این مدل را برای سرورهای اجارهای خود در نظر بگیرید. عاملی که کارهای واقعی انجام میدهد، در طول روز هزاران درخواست کوتاه ارسال میکند؛ بنابراین، نرخ throughput به ازای هر دلار تعیین میکند که آیا اجرای آن روی سرور شخصی شما بهصرفه است یا خیر. مدلی که پاسخدهی آن 40 ثانیه طول میکشد، شاید دستیار خوبی باشد اما عامل ضعیفی است، زیرا یک وظیفه ممکن است بیست فراخوانی ایجاد کند و شما باید منتظر تکتک آنها بمانید.
NVIDIA این معماری را هیبریدی توصیف میکند: لایههای Mamba-2 و MoE بهصورت درهمتنیده (interleaved) به همراه لایههای توجه (attention) منتخب. کارت مدل، حداکثر طول کانتکست را تا 1M توکن و مجوز آن را OpenMDW-1.1 اعلام کرده که برای استفاده تجاری آماده است. زبانهای اصلی این مدل انگلیسی و کدنویسی هستند و زبانهای اسپانیایی، فرانسوی، آلمانی، ایتالیایی و ژاپنی نیز در لیست پشتیبانی قرار دارند.
مؤسسه Artificial Analysis در اوت 2026 اندازهگیریهای زمان عرضه را منتشر کرد که نشاندهنده سرعت نزدیک به 670 توکن خروجی در ثانیه روی یک endpoint پیشانتشار DeepInfra با وزنهای NVFP4 بود. این یک endpoint میزبانیشده GPU است. این اعداد را بهعنوان توانایی معماری در نظر بگیرید، نه عملکردی که لزوماً روی VPS شما حاصل خواهد شد.
کدام تگ Ollama برای کدام VPS مناسب است
کتابخانه Ollama چندین نسخه از وزنهای یکسان را منتشر میکند. تفاوت این نسخهها در کوانتیزاسیون (quantisation) است که مشخص میکند هر وزن با چند بیت ذخیره شود؛ این موضوع حجم دانلود را بهشدت تغییر میدهد.
دادههای پشت این نمودار
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]تگهای با نام latest، 30b و 30b-a3b اکنون دارای digest اختصاصی خود هستند که پس از بهروزرسانی کتابخانه در اواسط اکتبر 2026، بین 19 تا 25 گیگابایت ذکر شدهاند. در استعلام مستقیم از رجیستری در تاریخ 25 اکتبر 2026، این اشارهگر دقیقاً همان فایلهای 30b-a3b-q4_K_M را بازگرداند؛ بنابراین دانلود پیشفرض روی یک VPS، نسخه چهار-بیتی 25 گیگابایتی با کانتکست کامل 1M است. محدوده پایین 19 گیگابایتی با نسخههای MLX مطابقت دارد که نشان میدهد این نسخهها برای دستگاههای دارای Apple silicon در نظر گرفته شدهاند. نسخه Q8_0 برابر با 35 گیگابایت و نسخه bf16 برابر با 66 گیگابایت است که هر دو نیز دارای کانتکست 1M هستند. نسخههای MLX با حجم 19 گیگابایت برای Apple silicon بوده و کانتکست آنها به 256K محدود میشود، بنابراین انتخاب اشتباهی برای یک VPS لینوکسی هستند. این کتابخانه همچنین 30b-mlx و 30b-a3b-nvfp4 را فهرست میکند که هر دو digest یکسانی با 30b-a3b-mlx دارند (با وجود اینکه نام فرمت دوم شبیه به فرمت NVIDIA است)، بهعلاوه 30b-a3b-mxfp8 با حجم 34 گیگابایت و 30b-a3b-mlx-bf16 با حجم 66 گیگابایت. همه این موارد نیز به 256K محدود میشوند، بنابراین هیچکدام پنجره کانتکست کامل را در اختیار شما قرار نمیدهند.
این ارقام، حجم دانلود هستند و نه الزامات حافظه. NVIDIA حداقل مقدار VRAM (حافظه ویدیویی) را برای نسخههای Ollama منتشر نمیکند، بنابراین حجم دانلود را فقط بهعنوان حداقل کف در نظر بگیرید. وزنها باید در جایی مستقر باشند؛ اگر کارت گرافیک ظرفیت داشته باشد در حافظه GPU و در غیر این صورت در RAM سیستم قرار میگیرند، و KV cache (حافظه کلید/مقدار که حافظه مدل برای هر توکن در گفتگو است) نیز به آن اضافه میشود. عدد واقعی برای سختافزار شما از طریق یک دستور به دست میآید، نه از طریق محاسبات ریاضی، و در ادامه آمده است. اگر هنوز در مورد سطح کوانتیزاسیون تصمیم نگرفتهاید، هزینه هر یک از سطوح Q4، Q8 و FP16 توضیح میدهد که در هر مرحله چه چیزی را از دست میدهید.
از تگ دقیق استفاده کنید، هرگز از latest استفاده نکنید
latest یک اشارهگر متغیر است. هنگامی که کتابخانه آن را بازنشر میکند، رفتار عامل شما در pull بعدی تغییر میکند، بدون اینکه در یادداشتهای شما توضیحی برای این تغییر وجود داشته باشد. این اتفاق قبلاً یکبار با این مدل رخ داده است: در اواسط اکتبر 2026، کتابخانه latest را به یک digest جدید منتقل کرد. تگ را نامگذاری کنید.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_Mاسکریپت نصب، یک سرویس systemd ایجاد میکند که با کاربر ollama اجرا میشود و مدلها را در مسیر /usr/share/ollama/.ollama/models نگه میدارد. این مسیر در اکثر ایمیجهای VPS روی فایلسیستم ریشه (root) قرار دارد، بنابراین پیش از درخواست 25 گیگابایت، فضای خالی را بررسی کنید. اگر فضای این فایلسیستم محدود است، مطالعه محل ذخیرهسازی مدلهای Ollama و نحوه انتقال آنها پیش از انجام pull، بسیار بهتر از زمانی است که دیسک پر شده باشد.
df -h /usr/share/ollamaاگر عملیات pull در میانه راه متوقف شد و خطای no space left on device را گزارش کرد، دقیقاً به همین معناست و blobهای ناقص تا زمانی که آنها را حذف نکنید، روی دیسک باقی میمانند. سپس بررسی کنید چه چیزی با موفقیت دریافت شده است:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show معماری، تعداد پارامترها، طول کانتکست و کوانتیزاسیونی که فایل واقعاً در خود دارد را چاپ میکند. اگر هر یک از این موارد با صفحه کتابخانه مغایرت داشت، شما تگی متفاوت از آنچه مد نظرتان بود را pull کردهاید.
سرویسدهی و بررسی محل اجرای واقعی
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"در حالی که مدل همچنان بارگذاری شده است، در یک ترمینال دوم دستور زیر را اجرا کنید:
ollama psاین دستوری است که به پرسش مربوط به حافظه برای دستگاه شما پاسخ میدهد. ollama ps مدل بارگذاریشده، حجم اشغالشده در حافظه و ستون PROCESSOR را نمایش میدهد. مقدار 100% GPU به این معناست که تمام مدل در VRAM قرار دارد. مقدار 100% CPU یعنی هیچ بخشی از آن در VRAM نیست و هر توکن توسط پردازنده از طریق RAM سیستم محاسبه میشود. تقسیمی مانند 65%/35% CPU/GPU به این معناست که لایهها بهطور کامل در حافظه گرافیکی جا نشدهاند و سهم CPU سرعت شما را تعیین میکند. نیاز حافظه را حدس نزنید؛ مدل را بارگذاری کنید و این خط را بخوانید.
اگر مدل اصلاً بارگذاری نشود، Ollama بهجای کرش کردن، بهصورت تمیز عملیات را متوقف میکند:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)آیا یک VPS فقط با CPU به اندازه کافی سریع است؟
یک VPS عمومی فاقد GPU است، بنابراین CPU تمام پردازشها را انجام میدهد و هر وزنی را که نیاز دارد از RAM سیستم میخواند. در اینجا مدلهای MoE کمککننده هستند، زیرا برای هر توکن تنها حدود 3 میلیارد از 30 میلیارد پارامتر فراخوانی میشوند؛ بنابراین محاسبات ریاضی برای هر توکن بسیار کمتر از یک مدل متراکم 30B است. اما در مورد حافظه، هیچ کمکی صورت نمیگیرد. تمام 30 میلیارد پارامتر باید در حافظه مقیم باشند، زیرا روتر ممکن است برای هر توکن، هر متخصصی (expert) را انتخاب کند.
بنابراین، استنتاج (inference) فقط با CPU روی این مدل، بیش از آنکه توسط تعداد هستهها محدود شود، توسط پهنای باند حافظه محدود میشود. افزودن vCPU به پلنی که در حال حاضر تعداد معقولی هسته دارد، تغییر چندانی ایجاد نمیکند. آنچه شما نیاز دارید، RAM کافی برای نگهداری وزنها به اضافه KV cache و سریعترین حافظهای است که آن پلن در اختیار شما قرار میدهد.
پیش از آنکه عاملی (agent) را به آن اختصاص دهید، با استفاده از روش اندازهگیری توکن بر ثانیه برای یک LLM محلی، سرعت را بسنجید:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."خط eval rate که در پایان چاپ میشود، سرعت تولید شما بر حسب توکن بر ثانیه است. همین یک عدد، پاسخ پرسش شما را تعیین میکند، زیرا زمان واقعی (wall-clock time) اجرای یک عامل، تحت تأثیر مستقیم این عدد است. آن را در طول پاسخ مورد انتظار خود ضرب کنید؛ اگر پاسخ طولانیتر از زمانی است که مایل به انتظار برای آن هستید، محدود کردن خروجی با num_predict تنها اهرمی است که بدون تغییر سختافزار، یک فراخوانی واحد را محدود میکند.
دادههای پشت این نمودار
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]اینها ارقام منتشرشده توسط شخص ثالث هستند که از زمانهای گزارششده توسط Artificial Analysis در زمان عرضه (بر حسب دقیقه برای هر وظیفه) تبدیل شدهاند و روی نقاط پایانی GPU میزبانیشده اندازهگیری شدهاند، نه روی یک VPS. مدل Nemotron 3.5 Lightning بهطور میانگین حدود 30 ثانیه برای هر وظیفه زمان صرف کرده است، که در آن gpt-oss-120b تقریباً 204 و Qwen3.6 35B تقریباً 210 زمان برده است. از این ارقام برای درک شکاف عملکرد استفاده کنید، نه بهعنوان وعدهای درباره سختافزار خودتان.
راهنمایی صادقانه به این بستگی دارد که چه کسی منتظر است. اگر شخصی منتظر عامل است، یا عامل زنجیرههای طولانی از فراخوانیها را پشت سر هم انجام میدهد، ظرفیت GPU اجاره کنید. اگر عامل طبق یک زمانبندی در طول شب اجرا میشود و کسی آن را تماشا نمیکند، یک پلن CPU با RAM بالا گزینه معقولی است. در هر صورت، راهاندازی یکسان است و اجرای Ollama روی یک VPS به بررسی اندازه پلن و مقایسه یک نمونه GPU با پرداخت هزینه به ازای هر توکن به ارائهدهنده API میپردازد. نقطه سربهسر یک مسئله بهرهوری است: هزینه یک نمونه GPU برای هر ساعت وجود آن محاسبه میشود، در حالی که هزینه توکنهای API فقط هنگام استفاده محاسبه میشود؛ بنابراین عاملی که در بیشتر ساعات روز فعال است، استفاده از سرور شخصی را توجیه میکند و عاملی که دو بار در ساعت اجرا میشود، معمولاً چنین نیست. نرمافزار Ollama هیچ تأثیری بر این محاسبات ندارد، زیرا اجرای آن روی سروری که اجاره کردهاید رایگان است و آنچه Ollama بابت آن هزینه دریافت میکند و آنچه رایگان است توضیح میدهد که اگر ترجیح میدهید اصلاً سختافزاری اجاره نکنید، Ollama Cloud در چه جایگاهی قرار میگیرد.
پنجره کانتکست 1M رایگان نیست
تعداد 1M توکن حداکثر ظرفیت مدل است و Ollama بهصورت پیشفرض آن را در اختیار شما قرار نمیدهد. Ollama از یک پنجره پیشفرض بسیار کوچکتر استفاده میکند و بهمحض اینکه طول گفتگو از آن فراتر رود، قدیمیترین توکنها را حذف میکند. در سطح لاگ پیشفرض، هنگام وقوع این اتفاق هیچ موردی ثبت نمیشود؛ بنابراین برای یک ایجنت، اینگونه به نظر میرسد که مدل ابتدای وظیفه خود را فراموش کرده است.
پنجره را بهصورت هدفمند تنظیم کنید. برای کل سرور، سرویس را ویرایش کنید:
sudo systemctl edit ollamaاین مورد را اضافه کرده و سپس sudo systemctl restart ollama را اجرا کنید:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"برای هر درخواست، به جای آن num_ctx را در شیء options ارسال کنید:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'هر افزایش، هزینه حافظه دارد، زیرا KV cache با تعداد توکنهایی که مجاز میدانید رشد میکند. مقدار را افزایش دهید، سرویس را ریاستارت کنید و سپس دوباره ollama ps را اجرا کرده و افزایش اندازه گزارششده را مشاهده کنید. اگر ستون PROCESSOR پس از این تغییر از 100% GPU به حالت split تغییر وضعیت داد، یعنی KV cache لایههای مدل را از VRAM خارج کرده است و سرعت شما بهشدت کاهش خواهد یافت. انتخاب num_ctx در Ollama این موازنه را بهطور دقیق بررسی میکند. مقدار 1000000 را صرفاً به این دلیل که کارت مدل اجازه آن را میدهد تنظیم نکنید، زیرا تخصیص حافظه در همان ابتدا انجام میشود و بارگذاری مدل با شکست مواجه خواهد شد.
اتصال آن به یک عامل همیشه فعال
صفحه کتابخانه Ollama برای این مدل، میانبری را مستند کرده است که یک عامل پشتیبانیشده را که از قبل به آن اشاره دارد، اجرا میکند:
ollama launch claude --model nemotron-3.5-lightningاین صفحه در آن موقعیت، claude، opencode، openclaw و hermes را فهرست میکند. این زیردستور به نسخه بهروز Ollama نیاز دارد، بنابراین ابتدا ollama --version را بررسی کنید و اگر وجود نداشت، خودتان عامل را به سمت API هدایت کنید. Ollama یک endpoint سازگار با OpenAI ارائه میدهد که اکثر محیطهای اجرای عامل (agent harnesses) آن را میپذیرند:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama این کلید را نادیده میگیرد، اما اکثر کلاینتها بدون تنظیم یک کلید، از اجرا خودداری میکنند. بخش مربوط به محیط اجرا در هدایت یک عامل کدنویسی به سمت Ollama و ساخت عامل OpenClaw شخصی پوشش داده شده است.
هنگامی که عامل بهصورت بدون نظارت (unattended) اجرا میشود، دو تنظیم سرور اهمیت پیدا میکنند. OLLAMA_KEEP_ALIVE کنترل میکند که مدل پس از آخرین درخواست، چه مدت در حافظه باقی بماند؛ مقدار پیشفرض، آن را پس از پنج دقیقه تخلیه میکند، بنابراین فراخوانی بعدی دوباره هزینه کامل زمان بارگذاری را تحمیل خواهد کرد. روی یک فایل 25 گیگابایتی بدون GPU، این وقفه بهقدری طولانی است که باعث شکست در timeout میشود. برای نگه داشتن مدل در حافظه، OLLAMA_KEEP_ALIVE=-1 را تنظیم کنید. OLLAMA_HOST=0.0.0.0:11434 باعث میشود API از سایر ماشینها قابل دسترسی باشد و هیچگونه احراز هویتی ندارد، بنابراین آن را فقط پشت یک قانون فایروال یا در یک شبکه خصوصی باز کنید.
حالتهای شکست و پیامهای خطای مربوطه
عملیات pull بلافاصله با شکست مواجه میشود. کد Error: pull model manifest: file does not exist به این معناست که آن تگ وجود ندارد. نام تگها رشتههای دقیقی هستند، بنابراین بهجای حدس زدن پسوند کوانتیزاسیون (quantisation)، یکی از آنها را مستقیماً از صفحه کتابخانه کپی کنید.
مدل بارگذاری نمیشود. کد Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) به این معناست که تگ مورد نظر برای این پلن با پیکربندی فعلی بیش از حد بزرگ است. از یک کوانتیزاسیون کوچکتر استفاده کنید یا مقدار OLLAMA_CONTEXT_LENGTH را کاهش دهید، زیرا KV cache نیز در این محدودیت محاسبه میشود.
هیچ پاسخی روی پورت 11434 دریافت نمیشود. کد curl: (7) Failed to connect to localhost port 11434 به این معناست که سرویس در حال اجرا نیست یا در پورتی که انتظار دارید گوش نمیدهد. فایلهای systemctl status ollama و journalctl -u ollama -n 50 را مطالعه کنید. اگر ollama serve را بهصورت دستی اجرا کردهاید، نسخه دوم با خطای Error: listen tcp 127.0.0.1:11434: bind: address already in use متوقف میشود.
پاسخدهی بسیار کند است. پیش از تغییر هر تنظیماتی، ollama ps را بررسی کنید. وجود هرگونه سهم CPU در ستون PROCESSOR روی دستگاهی که دارای GPU است، به این معناست که بخشی از مدل از VRAM خارج شده است؛ بنابراین context را کاهش دهید یا از کوانتیزاسیون کوچکتری استفاده کنید. در دستگاهی که فاقد GPU است، کند بودن نتیجهای مورد انتظار است و هیچ تنظیمی آن را اصلاح نمیکند.
عامل (agent) دستورالعملهای خود را در میانه انجام وظیفه فراموش میکند. مکالمه از پنجره context فراتر رفته و قدیمیترین توکنها بهطور خودکار حذف شدهاند. مقدار OLLAMA_CONTEXT_LENGTH را افزایش دهید، با استفاده از ollama ps تأیید کنید که مدل همچنان در حافظه جا میشود؛ اگر دیگر جا نمیشود، راهحل استفاده از دستگاهی قدرتمندتر است، نه کوچکتر کردن پنجره.
جایگاه این مدل در مقایسه با جایگزینها
یک مدل 30B MoE برای یک کار کوچک، گزینه سنگینی برای میزبانی است. اگر یک مدل 8B متراکم (dense) از قبل وظیفه شما را انجام میدهد، اجرای آن هزینه بسیار کمتری دارد و در چند ثانیه بارگذاری میشود؛ Qwen 3 در نسخههای 8B و 27B روی VPS مقایسه مستقیمی برای این تصمیمگیری است. برای بررسی جامعتر آنچه یک پلن خاص واقعاً میتواند پشتیبانی کند، از کدام مدلهای هوش مصنوعی را میتوانید خودتان میزبانی کنید شروع کنید. اگر قصد دارید بهجای یک عامل (agent)، چندین عامل را همزمان سرویسدهی کنید، ابتدا مقایسه Ollama با vLLM را بخوانید. Ollama میتواند درخواستها به یک مدل را بهصورت موازی پردازش کند، اما OLLAMA_NUM_PARALLEL بهصورت پیشفرض روی 1 تنظیم شده است؛ بنابراین در حالت عادی، درخواست عامل دوم تا پایان کار اول در صف انتظار میماند. برای این مدل، افزایش این مقدار نیز کمکی نمیکند: تا نسخه Ollama v0.40.11، زمانبند (scheduler) معماری nemotron_h_moe که این تگ با خود دارد را مجبور میکند که در هر لحظه فقط یک درخواست را پردازش کند و لاگ model architecture does not currently support parallel requests را ثبت میکند. در مدلهایی که این تنظیم را میپذیرند، افزایش آن هزینه حافظه دارد: طبق FAQ در Ollama، رم مورد نیاز با ضریب OLLAMA_NUM_PARALLEL ضربدر OLLAMA_CONTEXT_LENGTH افزایش مییابد؛ بنابراین در یک مدل بزرگ، این ضرب همان نقطهای است که مقیاسپذیری یک تنظیمات تککاربره متوقف میشود.
FAQ
کدام تگ Nemotron 3.5 Lightning را باید روی یک VPS لینوکسی دریافت (pull) کنم؟
از nemotron-3.5-lightning:30b-a3b-q4_K_M استفاده کنید. حجم آن 25 گیگابایت است، از حداکثر کانتکست 1M پشتیبانی میکند و همان بیلد (build) است که اشارهگرهای latest، 30b و 30b-a3b در تاریخ 25 اکتبر 2026 هنگام پرسوجو بازگرداندند، اگرچه کتابخانه در اواسط اکتبر آن اشارهگرها را به یک دایجست (digest) جداگانه منتقل کرد. نام آن را بهطور صریح مشخص کنید و از دریافت latest خودداری کنید تا انتشار مجدد آن اشارهگر در آینده، بدون اطلاع شما رفتار عامل (agent) را تغییر ندهد. تگهای mlx برای معماری Apple silicon هستند و 30b-a3b-nvfp4 نیز همینطور است که با 30b-a3b-mlx دایجست مشترک دارد. اینها روی لینوکس به شما کمکی نمیکنند.
Nemotron 3.5 Lightning به چه مقدار RAM نیاز دارد؟
NVIDIA حداقل حافظه مورد نیاز برای بیلدهای Ollama را منتشر نکرده است، بنابراین بهجای تخمین، اندازهگیری کنید. تگ را دریافت کنید، مدل را یکبار اجرا کنید و در حالی که بارگذاری شده است، ollama ps را بخوانید: این دستور اندازه واقعی اشغالشده و اینکه آیا مدل روی GPU قرار گرفته یا CPU را نمایش میدهد. حجم دانلود، یعنی 25 گیگابایت برای تگ پیشفرض، حداقل مقدار است، زیرا KV cache به آن اضافه میشود و با کانتکست ویندویی که تنظیم میکنید، رشد میکند. اگر پلن (plan) خیلی کوچک باشد، Ollama با خطای model requires more system memory امتناع میکند و هر دو عدد را اعلام میکند.
آیا میتوانم Nemotron 3.5 Lightning را روی یک VPS بدون GPU اجرا کنم؟
بله، اگر پلن شما RAM کافی برای نگهداری وزنها (weights) داشته باشد. طراحی MoE در اینجا کمک میکند زیرا در هر توکن، تنها حدود 3 پارامتر از 30 میلیارد پارامتر محاسبه میشود. مشکل اصلی سرعت است. بدون GPU، مدل توسط پهنای باند حافظه محدود میشود، بنابراین افزودن vCPU تأثیر چندانی بر نتیجه ندارد. ollama run --verbose را با یک پرامپت ثابت اجرا کنید، خط eval rate را بخوانید و آن عدد را با مهلت زمانی عامل خود بسنجید. برای کارهای دستهای (batch job) که شبانه انجام میشوند، معمولاً مناسب است. برای هر کاری که کاربر باید منتظر پاسخ آن بماند، معمولاً مناسب نیست.
چرا Ollama کانتکست ویندوی کامل 1M را به من نمیدهد؟
1M حداکثر ظرفیت مدل است، نه مقدار پیشفرض Ollama. Ollama از یک ویندوی بسیار کوچکتر استفاده میکند و پس از اینکه طول گفتگو از آن فراتر رفت، قدیمیترین توکنها را بدون نمایش خطا حذف میکند؛ این اتفاق باعث میشود عامل دستورالعملهای خود را فراموش کند. مقدار OLLAMA_CONTEXT_LENGTH را در سرویس systemd تنظیم کنید یا num_ctx را در هر درخواست ارسال کنید. آن را بهصورت مرحلهای افزایش دهید و هر بار ollama ps را بررسی کنید، زیرا حافظه KV cache با ویندوی تنظیمشده مقیاس میشود و میتواند لایههای مدل را از روی GPU خارج کند.
آیا استفاده تجاری از Nemotron 3.5 Lightning رایگان است؟
کارت مدل NVIDIA این مدل را تحت لایسنس OpenMDW-1.1 قرار داده و آن را برای استفاده تجاری آماده اعلام کرده است (بررسیشده در تاریخ 25 اکتبر 2026). صفحه کتابخانه Ollama لایسنس ارائهشده همراه با دانلود خود را به عنوان NVIDIA Open Model License Agreement برچسبگذاری کرده است، بنابراین پیش از تکیه بر هرکدام، هر دو را مطالعه کنید. این موضوع وزنهایی را که دانلود و اجرا میکنید پوشش میدهد. این لایسنس درباره سایر نرمافزارهای موجود در پشته (stack) شما چیزی نمیگوید، بنابراین لایسنسهای ابزار عامل (agent harness) و هر ابزاری که به آن متصل میکنید را جداگانه بررسی کنید و پیش از هرگونه اقدام قراردادی، کارت مدل فعلی را مطالعه کنید.