VPSలో Nemotron 3.5 Lightning ఎలా నడపాలి
మీ స్వంత VPSలో Ollamaతో NVIDIA Nemotron 3.5 Lightning నడపండి. సరైన pull tag, అవసరమైన RAM, CPU-only పనితీరు సరిపోతుందో ఈ గైడ్లో తెలుసుకోండి.
Nemotron 3.5 Lightning దేనికి ఉపయోగపడుతుంది
Nemotron 3.5 Lightning అనేది NVIDIA విడుదల చేసిన open 30B mixture-of-experts model. ఇది August 2026లో విడుదలైంది. ఒక chat window కోసం కాకుండా, గంటల తరబడి నడిచే agents కోసం దీనిని రూపొందించారు. MoE (mixture of experts) అంటే weights ను అనేక expert sub-networks గా విభజించి, ప్రతి token ను వాటిలో కొన్నింటి ద్వారానే పంపడం. NVIDIA model card ప్రకారం మొత్తం parameters 30 billion, ప్రతి token కు active గా ఉండేవి 3 billion. మెమరీలో పెద్ద సంఖ్యకు సంబంధించిన ఖర్చును మీరు భరిస్తారు. వేగంగా తిరిగి పొందేది చిన్న సంఖ్య.
మీరు అద్దెకు తీసుకునే server కోసం ఈ model ను పరిశీలించడానికి ఇదే కారణం. నిజమైన పనిని చేసే agent రోజంతా వేలాది చిన్న requests పంపుతుంది. అందువల్ల అది మీ స్వంత box లో నడపగలమా అనేది ప్రతి dollar కు లభించే throughput పై ఆధారపడి ఉంటుంది. ప్రతి reply కు 40 seconds పట్టే model ఉపయోగకరమైన assistant కావచ్చు, కానీ మంచి agent కాదు. ఒక task ఇరవై calls చేస్తే, ప్రతి call పూర్తయ్యే వరకు మీరు వేచి ఉండాలి.
NVIDIA ఈ architecture ను hybrid గా వివరిస్తుంది. ఇందులో interleaved Mamba-2 మరియు MoE layers తో పాటు select attention layers ఉన్నాయి. Model card ప్రకారం maximum context length 1M tokens వరకు ఉంటుంది. OpenMDW-1.1 license కూడా ఉంది. ఇది commercial use కు సిద్ధంగా ఉన్నదిగా గుర్తించబడింది. ప్రధాన languages English మరియు code. Spanish, French, German, Italian, Japanese కూడా జాబితాలో ఉన్నాయి.
Artificial Analysis August 2026లో విడుదల చేసిన measurements ప్రకారం, pre-release DeepInfra endpoint లో NVFP4 weights అందిస్తున్నప్పుడు output వేగం సెకనుకు దాదాపు 670 tokens గా ఉంది. అది hosted GPU endpoint కొలత. దీనిని architecture అందించగల సామర్థ్యంగా అర్థం చేసుకోండి. మీ VPS లో అదే వేగం వస్తుందని భావించకండి.
ఏ VPS కు ఏ Ollama tag సరిపోతుంది
Ollama library ఒకే weights కోసం అనేక builds ను విడుదల చేస్తుంది. వాటి మధ్య ప్రధాన తేడా quantisation. అంటే ప్రతి weight ను ఎన్ని bits లో నిల్వ చేస్తారనేది. దీనివల్ల download size గణనీయంగా మారుతుంది.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]latest, 30b మరియు 30b-a3b పేర్లతో ఉన్న tags కు ఇప్పుడు వాటికంటూ ప్రత్యేక digest ఉంది. Library వాటిని 2026 అక్టోబర్ మధ్యలో update చేసిన తర్వాత, వాటి పరిమాణం 19 నుంచి 25 GBగా చూపబడుతోంది. 2026 అక్టోబర్ 25న registry నుంచి నేరుగా query చేయగా, ఆ pointer 30b-a3b-q4_K_M కు సరిగ్గా అదే files ను ఇచ్చింది. అందువల్ల VPSలో default download, పూర్తి 1M contextతో కూడిన 25 GB four-bit build. జాబితాలోని 19 GB కనిష్ఠ పరిమాణం MLX builds కు సరిపోతుంది. దీనివల్ల Apple silicon machines కు ఆ builds అందుతున్నట్లు తెలుస్తోంది. Q8_0 పరిమాణం 35 GB, bf16 పరిమాణం 66 GB. ఇవి రెండూ 1M contextతో ఉంటాయి. 19 GB పరిమాణం ఉన్న MLX builds Apple silicon కోసం రూపొందించబడ్డాయి మరియు 256K context వద్ద పరిమితం అవుతాయి. కాబట్టి Linux VPSలో అవి సరైన ఎంపిక కావు. Library 30b-mlx మరియు 30b-a3b-nvfp4 ను కూడా జాబితా చేస్తుంది. రెండింటికీ 30b-a3b-mlx తో అదే digest ఉంది, అయితే రెండవ format పేరు NVIDIA format లాగా అనిపిస్తుంది. అదనంగా 30b-a3b-mxfp8 పరిమాణం 34 GB, 30b-a3b-mlx-bf16 పరిమాణం 66 GB. ఇవన్నీ కూడా 256K వద్ద పరిమితం అవుతాయి. కాబట్టి వీటిలో ఏదీ పూర్తి context window ను అందించదు.
అవి download sizes మాత్రమే; memory requirement కాదు. Ollama builds కోసం NVIDIA కనీస VRAM (video RAM) పరిమాణాన్ని ప్రకటించదు. అందువల్ల download size ను కనిష్ఠ అంచనాగా మాత్రమే పరిగణించాలి. Weights ఎక్కడో memoryలో ఉండాలి. GPU card వాటిని పట్టగలిగితే GPU memoryలో ఉంటాయి; లేకపోతే system RAMలో ఉంటాయి. దీనికి అదనంగా KV cache (key/value cache, conversationలో model ప్రతి token కోసం ఉంచే memory) అవసరం అవుతుంది. మీ hardwareకు నిజమైన పరిమాణాన్ని arithmetic ద్వారా కాకుండా command ద్వారా తెలుసుకోవాలి. ఆ command క్రింద ఉంది. మీరు ఇంకా quantisation level ను నిర్ణయించకపోతే, Q4, Q8 మరియు FP16లో ప్రతి దానికి అయ్యే వ్యయాలు అనే విభాగంలో ప్రతి దశలో ఏమి కోల్పోతారో వివరించబడింది.
ఖచ్చితమైన tag ను pull చేయండి; ఎప్పుడూ latest ను కాదు
latest మారుతూ ఉండే pointer. Library దాన్ని మళ్లీ publish చేసినప్పుడు, మీ notes లో కారణం నమోదు కాకుండానే తదుపరి pull సమయంలో agent ప్రవర్తన మారుతుంది. ఈ model విషయంలో అది ఇప్పటికే ఒకసారి జరిగింది: 2026 అక్టోబర్ మధ్యలో library latest ను కొత్త digest కు మార్చింది. Tag పేరు స్పష్టంగా పేర్కొనండి.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MInstall script ఒక systemd service ను సెటప్ చేస్తుంది. అది ollama user గా నడుస్తుంది మరియు models ను /usr/share/ollama/.ollama/models కింద ఉంచుతుంది. చాలా VPS images లో ఆ path root filesystem పై ఉంటుంది. కాబట్టి 25 GB అడగడానికి ముందు ఖాళీ స్థలం ఉందో పరిశీలించండి. ఆ filesystem లో స్థలం తక్కువగా ఉంటే, pull ప్రారంభించే ముందు Ollama తన models ను ఎక్కడ నిల్వ చేస్తుంది మరియు వాటిని ఎలా తరలించాలి చదవడం మంచిది. Disk నిండిన తర్వాత చదవడం కంటే ఇది ఉపయోగకరం.
df -h /usr/share/ollamaPull మధ్యలో ఆగి no space left on device ను నివేదిస్తే, దాని అర్థం అదే. Partial blobs ను మీరు తొలగించే వరకు అవి disk పై ఉంటాయి. తరువాత ఏది అందుబాటులోకి వచ్చిందో నిర్ధారించండి:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show architecture, parameter count, context length, అలాగే file వాస్తవంగా ఉపయోగించే quantisation ను చూపిస్తుంది. వీటిలో ఏదైనా library page లోని వివరాలతో సరిపోలకపోతే, మీరు ఉద్దేశించిన tag కు బదులుగా వేరే tag ను pull చేశారు.
దాన్ని నడిపించి, అది వాస్తవంగా ఎక్కడ నడిచిందో పరిశీలించండి
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"మోడల్ ఇంకా లోడ్ అయి ఉన్నప్పుడు, రెండవ shell లో:
ollama psఈ command మీ machine కోసం memoryకి సంబంధించిన ప్రశ్నకు సమాధానం ఇస్తుంది. ollama ps లోడ్ అయిన model, అది memoryలో ఆక్రమించిన పరిమాణం, అలాగే PROCESSOR column కనిపిస్తాయి. 100% GPU అంటే మొత్తం model VRAMలోనే ఉందని అర్థం. 100% CPU అంటే దానిలో ఏ భాగమూ VRAMలో లేదని, ప్రతి token ను system RAM నుంచి processor గణిస్తున్నదని అర్థం. 65%/35% CPU/GPU వంటి విభజన కనిపిస్తే అన్ని layers memoryలో సరిపోలేదని అర్థం. CPU share మీ speedను నిర్ణయిస్తుంది. అవసరాన్ని అంచనా వేయవద్దు. దాన్ని load చేసి ఈ lineను చదవండి.
అది పూర్తిగా load కాకపోతే, crash అవకుండా Ollama సురక్షితంగా నిరాకరిస్తుంది:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)CPU మాత్రమే ఉన్న VPS తగినంత వేగంగా ఉంటుందా?
సాధారణ ప్రయోజనాల కోసం ఉపయోగించే VPSలో GPU ఉండదు. అందువల్ల మొత్తం పనిని CPU చేస్తుంది. అవసరమైన ప్రతి weight ను system RAM నుంచి చదవాలి. ఇక్కడ MoE ఉపయోగపడుతుంది. 30 billion parametersలో సుమారు 3 billion మాత్రమే ప్రతి tokenకు ఉపయోగించబడతాయి. కాబట్టి dense 30B modelతో పోలిస్తే ప్రతి tokenకు అవసరమైన గణన చాలా తక్కువగా ఉంటుంది. అయితే memory వినియోగం ఏమాత్రం తగ్గదు. మొత్తం 30 billion parameters memoryలోనే ఉండాలి. ఎందుకంటే ప్రతి tokenకు router ఏ expertనైనా ఎంచుకోవచ్చు.
అందువల్ల ఈ modelపై CPU-only inference core count కంటే memory bandwidthతో పరిమితమవుతుంది. ఇప్పటికే సరిపడా vCPUs ఉన్న planకు మరిన్ని vCPUs జోడించినా పెద్దగా మార్పు ఉండదు. Weightsతో పాటు మీ KV cacheను ఉంచడానికి సరిపడా RAM, అలాగే plan అందించే అత్యంత వేగమైన memory మీకు అవసరం.
Agentను దీనిపై ఆధారపడి నడపాలని నిర్ణయించే ముందు, స్థానిక LLMకు సెకనుకు వచ్చే tokenలను కొలవడంలోని పద్ధతిని ఉపయోగించి వేగాన్ని కొలవండి:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."చివరలో ముద్రించబడే eval rate line మీ generation speedను tokens per secondలో చూపిస్తుంది. ఈ ఒక్క సంఖ్యే ప్రశ్నకు సమాధానం ఇస్తుంది. ఎందుకంటే agent తీసుకునే wall-clock సమయాన్ని ప్రధానంగా ఇదే నిర్ణయిస్తుంది. మీరు ఆశించే reply పొడవుతో దీన్ని గుణించండి. వచ్చిన సమయం మీరు వేచి ఉండగల సమయం కంటే ఎక్కువైతే, hardware మార్చకుండా ఒకే callకు గరిష్ఠ పరిమితి విధించే ఏకైక నియంత్రణ num_predictతో outputను పరిమితం చేయడం.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]అవి ప్రచురించబడిన third-party గణాంకాలు. Artificial Analysis launch సమయంలో నివేదించిన ప్రతి taskకు పట్టే నిమిషాల నుంచి వాటిని మార్చాం. అవి VPSపై కాకుండా hosted GPU endpointsపై కొలవబడ్డాయి. Nemotron 3.5 Lightning ప్రతి taskకు సగటున సుమారు 30 seconds తీసుకుంది. ఇందులో gpt-oss-120bకు సుమారు 204 పట్టింది. Qwen3.6 35Bకు సుమారు 210 పట్టింది. మీ hardwareపై ఇదే ఫలితం వస్తుందని హామీగా కాకుండా, వ్యత్యాసం ఎంత ఉందో అర్థం చేసుకోవడానికి మాత్రమే వీటిని ఉపయోగించండి.
నిజాయితీగా చెప్పాలంటే, ఎవరు వేచి ఉన్నారనే దానిపై సూచన మారుతుంది. ఒక వ్యక్తి agent కోసం వేచి ఉంటే, లేదా agent వరుసగా చాలా calls చేస్తే, GPU capacityను అద్దెకు తీసుకోండి. Agent రాత్రంతా schedule ప్రకారం నడుస్తూ, దాన్ని ఎవరూ పర్యవేక్షించకపోతే, పెద్ద RAM ఉన్న CPU plan సరైన ఎంపిక. ఏది ఎంచుకున్నా setup ఒకటే. VPSపై Ollamaను నడపడంలో plan sizing, అలాగే API providerకు token ప్రాతిపదికన చెల్లించడంతో పోలిస్తే GPU instance ఎలా ఉంటుందో వివరించాం. Break-even అనేది utilisationపై ఆధారపడుతుంది. GPU instance ఉన్న ప్రతి గంటకు billing చేస్తుంది. API tokensను ఉపయోగించినప్పుడు మాత్రమే వాటికి billing జరుగుతుంది. కాబట్టి రోజులో ఎక్కువ సమయం busyగా ఉండే agentకు మీరు స్వంతంగా నిర్వహించే server అనుకూలంగా ఉంటుంది. గంటకు రెండుసార్లు మాత్రమే నడిచే agentకు సాధారణంగా అది అనుకూలంగా ఉండదు. ఈ లెక్కలోని ఏ వైపుకూ Ollama software అదనపు ఖర్చు జోడించదు. మీరు అద్దెకు తీసుకున్న serverపై దాన్ని ఉచితంగా నడపవచ్చు. Hardwareను అసలు అద్దెకు తీసుకోకూడదనుకుంటే, Ollama Cloudకు ఏ సందర్భంలో ఖర్చు వస్తుందో, ఏ సందర్భంలో రాదో Ollama ఏ సేవలకు ఛార్జ్ చేస్తుంది, ఏవాటికి చేయదు వివరిస్తుంది.
1M context window ఉచితం కాదు
1M tokens model యొక్క గరిష్ఠ పరిమితి. Ollama దీన్ని డిఫాల్ట్గా మీకు అందించదు. Ollama చాలా చిన్న default window ను ఉపయోగిస్తుంది. సంభాషణ ఆ పరిమితిని దాటినప్పుడు పాత tokens ను తొలగిస్తుంది. ఇది జరిగినప్పుడు default log level వద్ద ఏదీ log చేయదు. అందువల్ల agent కు తన task ప్రారంభ భాగాన్ని model మర్చిపోయినట్లు కనిపిస్తుంది.
Window పరిమాణాన్ని ఉద్దేశపూర్వకంగా సెట్ చేయండి. మొత్తం server కోసం service ను సవరించండి:
sudo systemctl edit ollamaదీన్ని జోడించి, తరువాత sudo systemctl restart ollama అమలు చేయండి:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"ప్రతి request కు బదులుగా options object లో num_ctx పంపండి:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'ప్రతి పెంపు memory ను ఎక్కువగా వినియోగిస్తుంది, ఎందుకంటే మీరు అనుమతించే tokens సంఖ్యతో KV cache పెరుగుతుంది. విలువను పెంచి, restart చేసి, తరువాత ollama ps ను మళ్లీ అమలు చేయండి. నివేదించిన పరిమాణం పెరుగుతున్నదాన్ని గమనించండి. ఆ మార్పు తరువాత PROCESSOR column 100% GPU నుంచి split కు మారితే, KV cache model layers ను VRAM నుంచి బయటకు నెట్టింది. దాంతో మీ వేగం గణనీయంగా తగ్గుతుంది. Ollamaలో num_ctx ఎంపిక ఈ trade-off ను వివరంగా వివరిస్తుంది. Model card అనుమతిస్తుంది కాబట్టి 1000000 ను సెట్ చేయవద్దు. Allocation ముందుగానే జరుగుతుంది. దాంతో load విఫలమవుతుంది.
ఎల్లప్పుడూ నడిచే agentలో అనుసంధానం
ఈ model కోసం Ollama library page, దానికి ఇప్పటికే సూచించబడిన supported agentను ప్రారంభించే shortcutను వివరిస్తుంది:
ollama launch claude --model nemotron-3.5-lightningఆ స్థానంలో page claude, opencode, openclaw మరియు hermesలను చూపిస్తుంది. ఈ subcommandకు తాజా Ollama అవసరం. అందువల్ల ముందుగా ollama --versionను తనిఖీ చేయండి. అది లేకపోతే agentను మీరే APIకి సూచించండి. Ollama OpenAI-compatible endpointను అందిస్తుంది. చాలా agent harnessలు దీనిని అంగీకరిస్తాయి:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama ఈ keyను పట్టించుకోదు. అయితే చాలా clientలు key సెట్ చేయకుండా ప్రారంభం కావు. Harness వైపు చేసే ఈ అమరికను coding agentను Ollamaకి సూచించడం మరియు మీ స్వంత OpenClaw agentను నిర్మించడంలో వివరించారు.
Agent unattendedగా నడిచిన తర్వాత రెండు server settings ముఖ్యమైనవి. OLLAMA_KEEP_ALIVE చివరి request తర్వాత model memoryలో ఎంతసేపు ఉండాలో నియంత్రిస్తుంది. Defaultగా అది ఐదు నిమిషాల తర్వాత modelను unload చేస్తుంది. అందువల్ల తదుపరి callకు మళ్లీ పూర్తి load time పడుతుంది. GPU లేని 25 GB fileపై ఆ విరామం timeoutను కలిగించేంత ఎక్కువగా ఉండవచ్చు. Modelను memoryలో ఉంచడానికి OLLAMA_KEEP_ALIVE=-1ను సెట్ చేయండి. OLLAMA_HOST=0.0.0.0:11434 ద్వారా ఇతర machines నుంచి APIని చేరుకోవచ్చు. దీనికి ఎలాంటి authentication ఉండదు. కాబట్టి దీన్ని firewall rule లేదా private network వెనుక మాత్రమే అందుబాటులో ఉంచండి.
మీరు చూడబోయే సందేశాలతో వైఫల్య పరిస్థితులు
Pull వెంటనే విఫలమవుతుంది. Error: pull model manifest: file does not exist అంటే ఆ tag ఉనికిలో లేదు. Tag పేర్లు ఖచ్చితమైన strings. అందువల్ల quantisation suffix ను ఊహించకుండా library page నుంచి ఒక పేరును copy చేయండి.
Model load కావడం లేదు. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) అంటే ప్రస్తుత configuration లో ఈ plan కు ఆ tag చాలా పెద్దది. చిన్న quantisation కు మారండి లేదా OLLAMA_CONTEXT_LENGTH విలువను తగ్గించండి. ఎందుకంటే KV cache కూడా ఆ అవసరంలో లెక్కించబడుతుంది.
Port 11434 పై ఏదీ స్పందించడం లేదు. curl: (7) Failed to connect to localhost port 11434 అంటే service నడవడం లేదు లేదా మీరు ఆశించిన చోట listening చేయడం లేదు. systemctl status ollama మరియు journalctl -u ollama -n 50 ను చదవండి. మీరు ollama serve ను చేతితో కూడా start చేసి ఉంటే, రెండవ copy Error: listen tcp 127.0.0.1:11434: bind: address already in use తో exit అవుతుంది.
స్పందిస్తోంది, కానీ చాలా నెమ్మదిగా ఉంది. ఏదైనా మార్చే ముందు ollama ps ను పరిశీలించండి. GPU machine పై PROCESSOR column లో ఏదైనా CPU share కనిపిస్తే, model లో కొంత భాగం VRAM నుంచి బయటకు వెళ్లిందని అర్థం. అందువల్ల context ను తగ్గించండి లేదా చిన్న quantisation తీసుకోండి. GPU లేని machine పై నెమ్మదిగా ఉండటం ఆశించిన ఫలితమే. ఏ setting తోనూ దాన్ని సరిచేయలేరు.
Task మధ్యలో agent తన instructions ను మర్చిపోతుంది. Conversation context window పరిమితిని దాటింది. అందువల్ల పాత tokens నిశ్శబ్దంగా తొలగించబడ్డాయి. OLLAMA_CONTEXT_LENGTH విలువను పెంచండి. Model ఇప్పటికీ సరిపోతుందో ollama ps తో నిర్ధారించండి. ఇక సరిపోకపోతే, పరిష్కారం window ను చిన్నదిగా చేయడం కాదు; పెద్ద machine ఉపయోగించడం.
వేరే ఎంపికలతో పోలిస్తే ఈ మోడల్ స్థానం
చిన్న పనికి 30B MoEను హోస్ట్ చేయడం పెద్ద భారం. Dense 8B మోడల్ ఇప్పటికే మీ పనిని నిర్వహించగలిగితే, దాన్ని అమలు చేయడానికి చాలా తక్కువ ఖర్చవుతుంది మరియు అది కొన్ని సెకన్లలో లోడ్ అవుతుంది. ఈ నిర్ణయానికి నేరుగా పోల్చదగినది VPSపై 8B మరియు 27B వద్ద Qwen 3. ఇచ్చిన plan వాస్తవంగా ఏ పరిమాణంలోని మోడళ్లను నిర్వహించగలదో విస్తృతంగా పరిశీలించాలంటే, ముందుగా మీరు self-host చేయగల AI మోడళ్లు ఏవి చూడండి. ఒకేసారి ఒక agent కాకుండా అనేక agents ను అందించాలని భావిస్తే, ముందుగా Ollama మరియు vLLM పోలిక చదవండి. Ollama ఒకే మోడల్కు వచ్చిన అభ్యర్థనలను సమాంతరంగా ప్రాసెస్ చేయగలదు. అయితే OLLAMA_NUM_PARALLEL విలువ 1తో విడుదలవుతుంది. అందువల్ల default configurationలో రెండో agent అభ్యర్థన, మొదటి అభ్యర్థన పూర్తయ్యే వరకు queueలో వేచి ఉంటుంది. ఈ మోడల్కు ఆ విలువను పెంచడం కూడా సహాయపడదు. Ollama v0.40.11 నాటికి scheduler ఈ tagలో ఉన్న nemotron_h_moe architectureను మళ్లీ ఒకేసారి ఒక అభ్యర్థనకే పరిమితం చేసి, model architecture does not currently support parallel requestsను log చేస్తుంది. దీన్ని అంగీకరించే మోడళ్లలో ఆ విలువను పెంచితే memory వినియోగం పెరుగుతుంది. Ollama FAQ ప్రకారం అవసరమైన RAM, OLLAMA_NUM_PARALLELను OLLAMA_CONTEXT_LENGTHతో గుణించిన మేరకు పెరుగుతుంది. అందువల్ల పెద్ద మోడల్లో ఈ గుణకమే single-user setup ఇక scale కాకుండా ఆపే పరిమితిగా మారుతుంది.
FAQ
Linux VPSలో ఏ Nemotron 3.5 Lightning tag ను pull చేయాలి?
nemotron-3.5-lightning:30b-a3b-q4_K_M ను ఉపయోగించండి. దీని పరిమాణం 25 GB. ఇది పూర్తి 1M గరిష్ట context ను కలిగి ఉంటుంది. 2026 అక్టోబర్ 25న query చేసినప్పుడు latest, 30b మరియు 30b-a3b pointers తిరిగి ఇచ్చిన build ఇదే. Library ఆ pointers ను అక్టోబర్ మధ్యలో వేరే digest కు మార్చినప్పటికీ ఇది వర్తిస్తుంది. latest ను pull చేయడానికి బదులుగా దీని పేరును స్పష్టంగా పేర్కొనండి. లేకపోతే భవిష్యత్తులో ఆ pointer ను మళ్లీ publish చేసినప్పుడు, మీకు తెలియకుండానే agent ప్రవర్తన మారవచ్చు. mlx tags Apple silicon builds. 30b-a3b-nvfp4 కూడా అదే రకం build, మరియు అది 30b-a3b-mlx digest ను share చేస్తుంది. Linuxలో అవి మీకు ఉపయోగపడవు.
Nemotron 3.5 Lightning కు ఎంత RAM అవసరం?
Ollama builds కోసం NVIDIA కనీస memory పరిమాణాన్ని ప్రచురించలేదు. అందువల్ల అంచనా వేయకుండా కొలవండి. Tag ను pull చేసి, model ను ఒకసారి run చేయండి. Model loaded గా ఉన్నప్పుడు ollama ps ను చదవండి. ఇది వాస్తవంగా ఆక్రమించిన పరిమాణాన్ని, అలాగే అది GPUపై లేదా CPUపై load అయిందో చూపిస్తుంది. Default tag కోసం download పరిమాణం 25 GB మాత్రమే కనీస స్థాయి. KV cache అదనంగా చేరుతుంది. మీరు సెట్ చేసే context window పెరిగే కొద్దీ అది కూడా పెరుగుతుంది. Plan చాలా చిన్నదైతే, Ollama model requires more system memory తో fail అయి రెండు పరిమాణాలను చూపిస్తుంది.
GPU లేని VPSలో Nemotron 3.5 Lightning ను run చేయవచ్చా?
అవును. Weights ను ఉంచడానికి planలో తగినంత RAM ఉంటే run చేయవచ్చు. MoE design కూడా సహాయపడుతుంది. ప్రతి tokenకు 30 billion parametersలో సుమారు 3 మాత్రమే compute అవుతాయి. అయితే వేగం పరిమితి అవుతుంది. GPU లేకపోతే model memory bandwidth వల్ల పరిమితం అవుతుంది. అందువల్ల vCPUs పెంచినా ఫలితంలో పెద్ద మార్పు ఉండదు. స్థిరమైన promptతో ollama run --verbose ను run చేసి, eval rate line ను చదవండి. ఆ సంఖ్యను మీ agent deadlineతో పోల్చి నిర్ణయించండి. రాత్రంతా నడిచే batch jobకు ఇది సాధారణంగా సరిపోతుంది. ఒక వ్యక్తి ఫలితం కోసం వేచి ఉండే పనులకు మాత్రం ఇది సాధారణంగా సరిపోదు.
Ollama నాకు పూర్తి 1M context window ను ఎందుకు ఇవ్వదు?
1M model యొక్క గరిష్ట పరిమితి. అది Ollama యొక్క default కాదు. Ollama చాలా చిన్న window ను వర్తింపజేస్తుంది. Conversation ఆ పరిమితిని దాటినప్పుడు, ఎటువంటి error చూపకుండా పాత tokens ను తొలగిస్తుంది. దాంతో agent తన instructions ను మర్చిపోయినట్లు కనిపిస్తుంది. systemd serviceపై OLLAMA_CONTEXT_LENGTH ను set చేయండి. లేదా ప్రతి requestకు num_ctx ను pass చేయండి. దీన్ని దశలవారీగా పెంచండి. ప్రతి మార్పు తర్వాత ollama ps ను మళ్లీ పరిశీలించండి. ఎందుకంటే KV cache memory window పరిమాణానికి అనుగుణంగా పెరుగుతుంది. దాంతో model layersలో కొన్ని GPU నుంచి బయటకు వెళ్లవచ్చు.
Nemotron 3.5 Lightning ను వాణిజ్య ఉపయోగానికి ఉచితంగా ఉపయోగించవచ్చా?
NVIDIA model card ప్రకారం ఈ model OpenMDW-1.1 license కింద ఉంది. 2026 అక్టోబర్ 25న పరిశీలించినప్పుడు ఇది commercial useకు సిద్ధంగా ఉన్నట్లు గుర్తించబడింది. Ollama library page తన downloadతో అందించే licenseను NVIDIA Open Model License Agreementగా పేర్కొంటుంది. అందువల్ల ఏదో ఒకదానిపై ఆధారపడే ముందు రెండింటినీ చదవండి. మీరు స్వయంగా download చేసి run చేసే weightsకు ఇది వర్తిస్తుంది. మీ stackలోని ఇతర software గురించి ఇది ఏమీ చెప్పదు. కాబట్టి agent harness మరియు దానికి మీరు connect చేసే tools యొక్క licences ను విడిగా పరిశీలించండి. Contractual ప్రయోజనాల కోసం దీనిపై ఆధారపడే ముందు ప్రస్తుత model cardను కూడా చదవండి.