SSD Nodes Learn Hosting plans →
கல்வி வழிகாட்டிகள் Matt Connorஆல் Matt Connor · புதுப்பிக்கப்பட்டது 2026-10-26

VPS-ல் Nemotron 3.5 Lightning இயக்குவது எப்படி

Ollama-வில் NVIDIA Nemotron 3.5 Lightning-ஐ VPS-ல் இயக்குங்கள்: பயன்படுத்த வேண்டிய exact tag, தேவையான RAM அளவு, CPU-only இயக்கம் வேகமாக உள்ளதா என்பதைக் காணலாம்.

Nemotron 3.5 Lightning எதற்காகப் பயன்படுத்தப்படுகிறது

Nemotron 3.5 Lightning என்பது NVIDIA வெளியிட்ட open 30B mixture-of-experts model ஆகும். இது August 2026-ல் வெளியிடப்பட்டது. ஒரே chat window-க்காக அல்லாமல், பல மணி நேரம் தொடர்ந்து இயங்கும் agents-க்காக இது உருவாக்கப்பட்டுள்ளது. MoE (mixture of experts) என்பது weights பல expert sub-networks-ஆகப் பிரிக்கப்பட்டு, ஒவ்வொரு token-உம் அவற்றில் சில sub-networks வழியாக மட்டுமே route செய்யப்படுவதைக் குறிக்கும். NVIDIA-ன் model card-ன் படி, இதில் மொத்தம் 30 billion parameters உள்ளன; ஒவ்வொரு token-க்கும் 3 billion parameters செயல்படும். Memory-யில் அதிக எண்ணிக்கைக்கான செலவை நீங்கள் ஏற்க வேண்டும். அதற்குப் பதிலாக, வேகத்தில் குறைந்த எண்ணிக்கையின் பயனைப் பெறுகிறீர்கள்.

நீங்கள் rent செய்யும் server-ல் இந்த model-ஐ பரிசீலிப்பதற்கான காரணம் இந்த trade-off ஆகும். உண்மையான பணிகளைச் செய்யும் agent, ஒரு நாளில் ஆயிரக்கணக்கான சிறிய requests-ஐ அனுப்பும். எனவே, ஒரு dollar-க்கு கிடைக்கும் throughput, அதை உங்கள் சொந்த box-ல் இயக்க முடியுமா என்பதைத் தீர்மானிக்கும். ஒரு reply உருவாக 40 seconds ஆகும் model, பயன்படுத்தக்கூடிய assistant ஆக இருக்கலாம். ஆனால் அது agent-க்கு பொருத்தமற்றது. காரணம், ஒரு task 20 calls-ஐ உருவாக்கக்கூடும்; அவை ஒவ்வொன்றிற்கும் நீங்கள் காத்திருக்க வேண்டும்.

Architecture hybrid ஆக இருப்பதாக NVIDIA குறிப்பிடுகிறது. இதில் interleaved Mamba-2 மற்றும் MoE layers உடன் select attention layers பயன்படுத்தப்படுகின்றன. Model card-ன் படி, maximum context length 1M tokens வரை உள்ளது. OpenMDW-1.1 license கீழ் இது வழங்கப்படுகிறது; commercial use-க்கு தயாராக இருப்பதாகக் குறிக்கப்பட்டுள்ளது. Primary languages ஆக English மற்றும் code குறிப்பிடப்பட்டுள்ளன. Spanish, French, German, Italian மற்றும் Japanese ஆகியவையும் பட்டியலிடப்பட்டுள்ளன.

August 2026-ல் Artificial Analysis வெளியிட்ட launch measurements, NVFP4 weights-ஐ வழங்கிய pre-release DeepInfra endpoint-ல், output வேகம் nearly 670 tokens per second எனக் காட்டின. அது hosted GPU endpoint-ல் பெறப்பட்ட அளவீடு. இதை architecture வழங்கக்கூடிய திறனாகப் புரிந்துகொள்ள வேண்டும்; உங்கள் VPS வழங்கும் செயல்திறனாக அல்ல.

எந்த Ollama tag உங்கள் VPS-க்கு பொருத்தமானது

Ollama library ஒரே மாதிரியான weights-க்கு பல builds-களை வெளியிடுகிறது. அவற்றுக்கிடையேயான மாற்றம் quantisation ஆகும்; அதாவது ஒவ்வொரு weight-ம் எத்தனை bits-ல் சேமிக்கப்படுகிறது என்பதுதான் அது. இது download அளவை பெருமளவு மாற்றுகிறது.

விளக்கப்படம்Download size by Ollama tag, GB (Ollama library, checked October 2026)
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

latest, 30b மற்றும் 30b-a3b என பெயரிடப்பட்ட tags இப்போது அவற்றிற்கே உரிய digest-களைக் கொண்டுள்ளன. அக்டோபர் 2026-ன் நடுப்பகுதியில் library புதுப்பிக்கப்பட்டதிலிருந்து இவை 19 முதல் 25 GB வரை பட்டியலிடப்பட்டுள்ளன. அக்டோபர் 25, 2026 அன்று registry-யிலிருந்து நேரடியாக வினவியபோது, அந்த pointer 30b-a3b-q4_K_M-ல் உள்ள அதே கோப்புகளை வழங்கியது. எனவே, ஒரு VPS-ல் இயல்பாக பதிவிறக்கம் செய்யப்படுவது 25 GB அளவுள்ள நான்கு-பிட் (four-bit) build ஆகும், இது முழுமையான 1M context-ஐக் கொண்டுள்ளது. பட்டியலிடப்பட்ட அளவின் குறைந்தபட்சமான 19 GB என்பது MLX builds-க்கு பொருந்துகிறது; இது Apple silicon இயந்திரங்களுக்கு அவை வழங்கப்படுவதற்கான வாய்ப்பை உணர்த்துகிறது. Q8_0 என்பது 35 GB மற்றும் bf16 என்பது 66 GB ஆகும், இவை இரண்டுமே 1M context-ல் உள்ளன. 19 GB அளவுள்ள MLX builds Apple silicon-க்காக உருவாக்கப்பட்டவை மற்றும் அவை 256K context-ல் மட்டுமே இயங்கும், எனவே Linux VPS-க்கு இவை தவறான தேர்வாகும். Library-ல் 30b-mlx மற்றும் 30b-a3b-nvfp4 ஆகியவையும் பட்டியலிடப்பட்டுள்ளன; இவை இரண்டுமே 30b-a3b-mlx-ன் அதே digest-ஐக் கொண்டுள்ளன (இரண்டாவது format பெயர் NVIDIA-வினுடையது போலத் தோன்றினாலும்). மேலும், 30b-a3b-mxfp8 34 GB அளவிலும், 30b-a3b-mlx-bf16 66 GB அளவிலும் உள்ளன. இவை அனைத்தும் 256K context-ல் மட்டுமே இயங்கும், எனவே இவற்றில் எதுவுமே உங்களுக்கு முழுமையான window-ஐ வழங்காது.

இவை download அளவுகள் மட்டுமே, memory தேவை அல்ல. Ollama builds-க்கு NVIDIA குறைந்தபட்ச VRAM (video RAM) அளவை வெளியிடுவதில்லை, எனவே download அளவை ஒரு அடிப்படை அளவீடாக மட்டுமே கருதுங்கள். Weights எங்காவது ஒரு இடத்தில் இருக்க வேண்டும்; GPU-வில் இடம் இருந்தால் அங்கு இருக்கும், இல்லையெனில் system RAM-ல் இருக்கும். இதனுடன் KV cache (key/value cache, அதாவது உரையாடலின் ஒவ்வொரு token-க்கும் model பயன்படுத்தும் memory) கூடுதலாகச் சேரும். உங்கள் வன்பொருளுக்கான சரியான எண் கணக்கீட்டின் மூலம் அல்லாமல், கீழே உள்ள கட்டளையின் மூலம் கிடைக்கும். நீங்கள் இன்னும் quantisation அளவைத் தீர்மானிக்கவில்லை என்றால், Q4, Q8 மற்றும் FP16 ஆகியவற்றின் செலவுகள் ஒவ்வொரு நிலையிலும் நீங்கள் எதை இழக்கிறீர்கள் என்பதை விளக்குகிறது.

சரியான tag-ஐ மட்டும் பயன்படுத்தவும், latest-ஐ தவிர்க்கவும்

latest என்பது தொடர்ந்து மாறிக்கொண்டே இருக்கும் ஒரு pointer ஆகும். அந்த library-ஐ மீண்டும் வெளியிடும்போது, உங்கள் agent-ன் செயல்பாடு அடுத்த pull-ன் போது தானாகவே மாறிவிடும், இதற்கான காரணம் உங்கள் குறிப்புகளில் இருக்காது. இந்த மாதிரியில் ஏற்கனவே ஒருமுறை இது நடந்துள்ளது: அக்டோபர் 2026-ன் நடுப்பகுதியில், அந்த library latest-ஐ ஒரு புதிய digest-க்கு மாற்றியது. எனவே, சரியான tag-ஐக் குறிப்பிடவும்.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

இந்த install script, ollama user-ஆக இயங்கும் ஒரு systemd service-ஐ அமைக்கிறது மற்றும் மாதிரிகளை (models) /usr/share/ollama/.ollama/models-ல் சேமிக்கிறது. பெரும்பாலான VPS images-ல் இந்த path root filesystem-ல் இருப்பதால், 25 GB-ஐக் கோருவதற்கு முன் போதிய இடம் உள்ளதா எனச் சரிபார்க்கவும். அந்த filesystem-ல் இடம் குறைவாக இருந்தால், Ollama மாதிரிகளை எங்கே சேமிக்கிறது மற்றும் அவற்றை எப்படி நகர்த்துவது என்பதை pull செய்வதற்கு முன்பே படிப்பது நல்லது; இல்லையெனில் disk முழுவதுமாக நிரம்பிவிடும்.

df -h /usr/share/ollama

ஒரு pull பாதியிலேயே நின்று no space left on device என்று காட்டினால், அது அந்தப் பிழையைத்தான் குறிக்கிறது. நீங்கள் அவற்றை நீக்கும் வரை அந்தப் பகுதி blobs disk-லேயே இருக்கும். அதன் பிறகு, எவை பதிவிறக்கம் செய்யப்பட்டுள்ளன என்பதை உறுதிப்படுத்தவும்:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show என்பது அந்த architecture, parameter எண்ணிக்கை, context நீளம் மற்றும் அந்த file-ல் உள்ள quantisation ஆகியவற்றை அச்சிட்டுக் காட்டும். இதில் ஏதேனும் ஒன்று library பக்கத்தில் உள்ள விவரங்களுடன் பொருந்தவில்லை என்றால், நீங்கள் எதிர்பார்த்த tag-க்கு பதிலாக வேறொன்றைப் பதிவிறக்கம் செய்துள்ளீர்கள் என்று அர்த்தம்.

அதை இயக்கி, அது உண்மையில் எங்கு இயங்கியது என்பதைச் சரிபார்க்கவும்

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Model இன்னும் loaded நிலையில் இருக்கும்போது, மற்றொரு shell-ல்:

ollama ps

இந்த command உங்கள் machine-க்கான memory தொடர்பான கேள்விக்கு பதிலளிக்கும். ollama ps loaded model, அது memory-ல் பயன்படுத்தும் அளவு, மற்றும் PROCESSOR column-ஐ காட்டும். 100% GPU என்றால் model முழுவதும் VRAM-ல் உள்ளது. 100% CPU என்றால் model-ன் எந்தப் பகுதியும் VRAM-ல் இல்லை; ஒவ்வொரு token-உம் system RAM-இலிருந்து processor மூலம் கணக்கிடப்படுகிறது. 65%/35% CPU/GPU போன்ற split என்றால், அனைத்து layers-உம் memory-ல் பொருந்தவில்லை என்று பொருள்; CPU share உங்கள் speed-ஐ நிர்ணயிக்கும். Requirement-ஐ ஊகிக்க வேண்டாம். அதை load செய்து, இந்த line-ஐப் படிக்கவும்.

அது முழுமையாக load ஆக முடியாவிட்டால், crash ஆகாமல் Ollama முறையாக மறுக்கும்:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

CPU-மட்டும் கொண்ட VPS போதுமான வேகத்தில் இருக்குமா?

பொதுவான பயன்பாட்டிற்கான VPS-ல் GPU இருக்காது. எனவே, CPU அனைத்து வேலைகளையும் செய்து, தனக்குத் தேவையான ஒவ்வொரு weight-ஐயும் system RAM-லிருந்து படிக்க வேண்டும். இதில் MoE உதவுகிறது; ஏனெனில் 30 பில்லியன் parameters கொண்ட ஒரு model-ல், ஒரு token-க்கு சுமார் 3 பில்லியன் parameters மட்டுமே கையாளப்படுகின்றன. இதனால் dense 30B model-ஐ விட, ஒரு token-க்கான கணக்கீடுகள் மிகக் குறைவு. ஆனால், memory-க்கு இதில் எந்த உதவியும் கிடைக்காது. அனைத்து 30 பில்லியன் parameters-ம் RAM-ல் இருக்க வேண்டும், ஏனெனில் router எந்த token-க்கும் எந்த expert-ஐயும் தேர்ந்தெடுக்கலாம்.

எனவே, இந்த model-ல் CPU-மட்டும் கொண்ட inference, core-களின் எண்ணிக்கையை விட memory bandwidth-ஆலேயே கட்டுப்படுத்தப்படுகிறது. ஏற்கனவே போதுமான vCPU-கள் கொண்ட ஒரு திட்டத்தில், கூடுதல் vCPU-களைச் சேர்ப்பதால் பெரிய மாற்றம் இருக்காது. உங்களுக்குத் தேவையானது, weights மற்றும் KV cache-ஐச் சேமிக்கப் போதுமான RAM மற்றும் அந்தத் திட்டம் வழங்கும் அதிவேக memory மட்டுமே.

ஒரு agent-ஐ அதில் பயன்படுத்துவதற்கு முன், local LLM-க்கான tokens per second-ஐ அளவிடுதல் என்ற முறையில் அதை அளவிடவும்:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

முடிவில் அச்சிடப்படும் eval rate வரி, உங்கள் generation வேகத்தை tokens per second-ல் குறிக்கும். அந்த ஒற்றை எண்ணே உங்கள் முடிவைத் தீர்மானிக்கும், ஏனெனில் ஒரு agent-ன் wall-clock நேரம் பெரும்பாலும் இதையே சார்ந்துள்ளது. நீங்கள் எதிர்பார்க்கும் பதிலின் நீளத்தை இந்த எண்ணால் பெருக்கவும். அந்த நேரம் நீங்கள் காத்திருக்க விரும்பும் கால அளவை விட அதிகமாக இருந்தால், num_predict மூலம் output-ஐக் கட்டுப்படுத்துதல் என்பது வன்பொருளை மாற்றாமல் ஒரு அழைப்பின் கால அளவை நிர்ணயிக்கும் வழியாகும்.

விளக்கப்படம்Average seconds per Intelligence Index task (Artificial Analysis, published August 2026)
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

இவை வெளியிடப்பட்ட மூன்றாம் தரப்பு புள்ளிவிவரங்கள். இவை Artificial Analysis அறிமுகத்தின் போது குறிப்பிட்ட per-task நிமிடங்களிலிருந்து மாற்றப்பட்டவை. இவை VPS-ல் அல்லாமல், hosted GPU endpoints-ல் அளவிடப்பட்டவை. Nemotron 3.5 Lightning சராசரியாக ஒரு task-க்கு 30 வினாடிகளை எடுத்துக்கொண்டது. இதில் gpt-oss-120b சுமார் 204 வினாடிகளையும், Qwen3.6 35B சுமார் 210 வினாடிகளையும் எடுத்துக்கொண்டன. இவற்றை உங்கள் வன்பொருளுக்கான உத்தரவாதமாக எடுத்துக்கொள்ளாமல், வேக இடைவெளியைப் புரிந்துகொள்ள மட்டும் பயன்படுத்தவும்.

யார் காத்திருக்கிறார்கள் என்பதைப் பொறுத்தே உண்மையான வழிகாட்டுதல் அமையும். ஒரு நபர் agent-க்காகக் காத்திருந்தால் அல்லது agent தொடர்ந்து நீண்ட சங்கிலித் தொடர் அழைப்புகளைச் செய்தால், GPU வசதியுள்ள server-ஐ வாடகைக்கு எடுக்கவும். அது இரவு நேரத்தில் ஒரு கால அட்டவணையின்படி இயங்கி, யாரும் அதைக் கவனிக்கவில்லை என்றால், அதிக RAM கொண்ட CPU திட்டம் ஒரு நியாயமான தேர்வாகும். எதுவாக இருந்தாலும் அமைப்பு ஒன்றுதான். VPS-ல் Ollama-வை இயக்குதல் என்ற கட்டுரை, திட்டத்தின் அளவையும், GPU instance-க்கும் API provider-க்கு token-க்கு பணம் செலுத்துவதற்கும் உள்ள ஒப்பீட்டையும் விளக்குகிறது. லாப-நட்ட சமநிலை என்பது பயன்பாட்டைப் பொறுத்தது: ஒரு GPU instance அது இருக்கும் ஒவ்வொரு மணி நேரத்திற்கும் கட்டணம் வசூலிக்கும், ஆனால் API tokens பயன்படுத்தும் போது மட்டுமே கட்டணம் வசூலிக்கும். எனவே, நாள் முழுவதும் பிஸியாக இருக்கும் ஒரு agent-க்கு நீங்கள் சொந்தமாக வைத்திருக்கும் server சிறந்தது; ஒரு மணி நேரத்திற்கு இருமுறை மட்டும் இயங்கும் agent-க்கு பொதுவாக API சிறந்தது. Ollama மென்பொருள் இந்த கணக்கீட்டின் எந்தப் பக்கத்திலும் எந்த மாற்றத்தையும் ஏற்படுத்தாது, ஏனெனில் நீங்கள் வாடகைக்கு எடுக்கும் server-ல் அதை இலவசமாக இயக்கலாம். Ollama எதற்கு கட்டணம் வசூலிக்கிறது, எதற்கு வசூலிப்பதில்லை என்ற கட்டுரை, நீங்கள் வன்பொருளை வாடகைக்கு எடுக்க விரும்பவில்லை என்றால் Ollama Cloud எங்கே பொருந்தும் என்பதை விளக்குகிறது.

1M context window இலவசமானது அல்ல

1M tokens என்பது இந்த model-ன் அதிகபட்ச கொள்ளளவு ஆகும், Ollama இதை இயல்பாகவே உங்களுக்கு வழங்குவதில்லை. Ollama மிகச்சிறிய default window-வையே வழங்குகிறது, உரையாடல் அந்த அளவைத் தாண்டும்போது பழைய tokens-ஐ நீக்கிவிடும். இது நடக்கும்போது default log level-ல் எந்தப் பதிவும் இருக்காது, எனவே ஒரு agent-க்கு, model தனது பணியின் தொடக்கத்தை மறந்துவிட்டது போலத் தோன்றும்.

Window-வை நீங்களே திட்டமிட்டு அமைக்கவும். முழு server-க்கும், service-ஐ edit செய்யவும்:

sudo systemctl edit ollama

இதைச் சேர்த்து, பின் sudo systemctl restart ollama-ஐ இயக்கவும்:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

ஒவ்வொரு request-க்கும், options object-ல் num_ctx-ஐ அனுப்பவும்:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

ஒவ்வொரு அதிகரிப்பும் memory-ஐப் பாதிக்கும், ஏனெனில் நீங்கள் அனுமதிக்கும் tokens-ன் எண்ணிக்கைக்கு ஏற்ப KV cache வளரும். மதிப்பை உயர்த்தி, restart செய்து, பின் மீண்டும் ollama ps-ஐ இயக்கி, காட்டப்படும் அளவு அதிகரிப்பதைக் கவனிக்கவும். அந்த மாற்றத்திற்குப் பிறகு PROCESSOR column 100% GPU-லிருந்து split-ஆக மாறினால், KV cache model layers-ஐ VRAM-லிருந்து வெளியேற்றியுள்ளது என்று அர்த்தம், இதனால் வேகம் கடுமையாகக் குறையும். Ollama-வில் num_ctx-ஐத் தேர்ந்தெடுத்தல் இந்தச் சமநிலையை விரிவாக விளக்குகிறது. Model card அனுமதிக்கிறது என்பதற்காக மட்டும் 1000000 என்று அமைக்க வேண்டாம், ஏனெனில் ஒதுக்கீடு (allocation) தொடக்கத்திலேயே நடக்கும், அவ்வாறு செய்தால் load தோல்வியடையும்.

எப்போதும் இயங்கும் agent-உடன் இணைத்தல்

இந்த model-க்கான Ollama library பக்கம், ஏற்கனவே அதனுடன் இணைக்கப்பட்ட ஒரு ஆதரிக்கப்படும் agent-ஐத் தொடங்கும் குறுக்குவழியை விளக்குகிறது:

ollama launch claude --model nemotron-3.5-lightning

அந்த இடத்தில் claude, opencode, openclaw மற்றும் hermes ஆகியவற்றை அந்தப் பக்கம் பட்டியலிடுகிறது. இந்த subcommand-க்கு தற்போதைய Ollama பதிப்பு தேவை, எனவே முதலில் ollama --version-ஐச் சரிபார்க்கவும். அது இல்லையெனில், agent-ஐ நீங்களே API-க்குச் சுட்டிக்காட்டவும். Ollama ஒரு OpenAI-compatible endpoint-ஐ வழங்குகிறது, இதை பெரும்பாலான agent harnesses ஏற்றுக்கொள்கின்றன:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama இந்த key-ஐப் புறக்கணிக்கும், ஆனால் பெரும்பாலான clients ஒரு key அமைக்கப்படாமல் தொடங்க மறுக்கும். இதன் harness பகுதி coding agent-ஐ Ollama-க்குச் சுட்டிக்காட்டுதல் மற்றும் சொந்தமாக OpenClaw agent-ஐ உருவாக்குதல் ஆகியவற்றில் விளக்கப்பட்டுள்ளது.

Agent கவனிக்கப்படாமல் இயங்கும்போது இரண்டு server அமைப்புகள் முக்கியமானவை. OLLAMA_KEEP_ALIVE என்பது கடைசி கோரிக்கைக்குப் பிறகு ஒரு model எவ்வளவு நேரம் நினைவகத்தில் (memory) இருக்க வேண்டும் என்பதைக் கட்டுப்படுத்துகிறது. இயல்புநிலை அமைப்பில் ஐந்து நிமிடங்களுக்குப் பிறகு அது நீக்கப்படும், எனவே அடுத்த அழைப்பின்போது முழுமையாக ஏற்றும் நேரத்தைச் செலவிட வேண்டியிருக்கும். GPU இல்லாத நிலையில் 25 GB கோப்பிற்கு அந்தத் தாமதம் timeout-ஐத் தூண்டும் அளவுக்கு அதிகமாக இருக்கும். அதை நினைவகத்திலேயே வைத்திருக்க OLLAMA_KEEP_ALIVE=-1-ஐ அமைக்கவும். OLLAMA_HOST=0.0.0.0:11434 மற்ற கணினிகளிலிருந்து API-ஐ அணுக அனுமதிக்கிறது. இதில் எந்தவிதமான அங்கீகாரமும் (authentication) இல்லை என்பதால், firewall விதி அல்லது private network-க்கு பின்னால் மட்டுமே இதைத் திறக்கவும்.

நீங்கள் காணும் strings உடன் தோல்வி நிலைகள்

Pull உடனடியாக தோல்வியடைகிறது. Error: pull model manifest: file does not exist என்றால் அந்த tag இல்லை என்று பொருள். Tag names துல்லியமான strings ஆகும். எனவே quantisation suffix-ஐ ஊகிக்காமல், library page-இலிருந்து ஒன்றை copy செய்யவும்.

Model load ஆகவில்லை. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) என்றால், தற்போதைய plan configuration-க்கு அந்த tag மிகவும் பெரியது என்று பொருள். சிறிய quantisation-க்கு மாறவும் அல்லது OLLAMA_CONTEXT_LENGTH-ஐக் குறைக்கவும். KV cache-ம் அந்தத் தேவையில் கணக்கிடப்படுகிறது.

11434 port-ல் எந்தப் பதிலும் இல்லை. curl: (7) Failed to connect to localhost port 11434 என்றால் service இயங்கவில்லை அல்லது நீங்கள் எதிர்பார்க்கும் இடத்தில் listening செய்யவில்லை என்று பொருள். systemctl status ollama மற்றும் journalctl -u ollama -n 50-ஐப் பார்க்கவும். ollama serve-ஐ கைமுறையாகத் தொடங்கியிருந்தால், இரண்டாவது copy Error: listen tcp 127.0.0.1:11434: bind: address already in use உடன் வெளியேறும்.

பதில் வருகிறது, ஆனால் மிகவும் மெதுவாக உள்ளது. வேறு எதையும் மாற்றுவதற்கு முன் ollama ps-ஐச் சரிபார்க்கவும். GPU machine-ல் PROCESSOR column-ல் ஏதேனும் CPU share இருந்தால், model-ன் ஒரு பகுதி VRAM-க்கு வெளியே பயன்படுத்தப்படுகிறது என்று பொருள். எனவே context-ஐக் குறைக்கவும் அல்லது சிறிய quantisation-ஐத் தேர்ந்தெடுக்கவும். GPU இல்லாத machine-ல் மெதுவாக இருப்பது எதிர்பார்க்கப்படும் விளைவு. எந்த setting-ம் அதைச் சரிசெய்யாது.

Task-ன் நடுவில் agent தனது instructions-ஐ மறந்துவிடுகிறது. Conversation context window-ஐத் தாண்டியதால், பழைய tokens அமைதியாக நீக்கப்பட்டுள்ளன. OLLAMA_CONTEXT_LENGTH-ஐ அதிகரிக்கவும். Model இன்னும் பொருந்துகிறதா என்பதை ollama ps மூலம் உறுதிப்படுத்தவும். இனி பொருந்தவில்லை என்றால், தீர்வு சிறிய window அல்ல; பெரிய machine தேவை.

மாற்றுத் தீர்வுகளுடன் ஒப்பிடும்போது இந்த மாதிரியின் நிலை

சிறிய பணிகளுக்கு 30B MoE மாதிரியை இயக்குவது அதிக சுமையாகும். ஒரு அடர்த்தியான (dense) 8B மாதிரி உங்கள் பணியைச் சிறப்பாகச் செய்யுமெனில், அதை இயக்குவது குறைந்த செலவாகும் மற்றும் சில நொடிகளில் load ஆகிவிடும். இந்த முடிவை எடுப்பதற்கான நேரடி ஒப்பீட்டிற்கு Qwen 3 at 8B and 27B on a VPS-ஐப் பார்க்கவும். ஒரு குறிப்பிட்ட plan-ல் எத்தகைய மாதிரிகளை இயக்க முடியும் என்பதற்கான விரிவான ஆய்விற்கு, which AI models you can self-host என்பதிலிருந்து தொடங்கவும். ஒரே நேரத்தில் பல agents-ஐ இயக்கத் திட்டமிட்டால், முதலில் Ollama compared with vLLM-ஐப் படிக்கவும். Ollama ஒரே மாதிரிக்கான கோரிக்கைகளை இணையாக (parallel) கையாளும், ஆனால் OLLAMA_NUM_PARALLEL ஆனது 1 என்ற அளவில் இயங்குவதால், இயல்பாகவே இரண்டாவது agent-ன் கோரிக்கை முதலாவது முடிவடையும் வரை வரிசையில் காத்திருக்கும். இந்த மாதிரியைப் பொறுத்தவரை, அந்த அளவை அதிகரிப்பதும் உதவாது: Ollama v0.40.11 பதிப்பின்படி, இந்த tag கொண்டுள்ள nemotron_h_moe கட்டமைப்பை scheduler ஒரு நேரத்தில் ஒரு கோரிக்கையாக மட்டுமே கட்டுப்படுத்துகிறது மற்றும் model architecture does not currently support parallel requests என்று log செய்கிறது. அதை அனுமதிக்கும் மாதிரிகளில், அந்த அளவை அதிகரிப்பது நினைவகச் செலவை (memory cost) உயர்த்தும்: Ollama-வின் FAQ கூறுவது என்னவென்றால், தேவைப்படும் RAM அளவானது OLLAMA_NUM_PARALLEL பெருக்கல் OLLAMA_CONTEXT_LENGTH என்ற விகிதத்தில் அதிகரிக்கும்; எனவே, பெரிய மாதிரிகளில் அந்தப் பெருக்கல் காரணிதான் ஒரு பயனர் கொண்ட அமைப்பின் (single-user setup) விரிவாக்க எல்லையாக அமைகிறது.

FAQ

Linux VPS-ல் நான் எந்த Nemotron 3.5 Lightning tag-ஐ pull செய்ய வேண்டும்?

nemotron-3.5-lightning:30b-a3b-q4_K_M-ஐப் பயன்படுத்தவும். இது 25 GB அளவு கொண்டது, இது முழுமையான 1M அதிகபட்ச context-ஐக் கொண்டுள்ளது. அக்டோபர் 25, 2026 அன்று வினவப்பட்டபோது latest, 30b மற்றும் 30b-a3b pointers எதைக் காட்டினவோ, அந்த build இதுவேயாகும்; அக்டோபர் நடுப்பகுதியில் அந்த library pointers-ஐத் தனி digest-க்கு மாற்றியிருந்தாலும் இதுவே சரியான build. latest-ஐப் பதிவிறக்குவதற்குப் பதிலாக, அதன் பெயரைத் தெளிவாகக் குறிப்பிடவும்; அப்போதுதான் அந்த pointer மீண்டும் வெளியிடப்படும்போது, உங்கள் கவனத்திற்கு வராமல் உங்கள் agent-ன் செயல்பாடு மாறாது. mlx tags என்பவை Apple silicon build-கள், 30b-a3b-nvfp4-ம் அதே வகையைச் சார்ந்தது, இது 30b-a3b-mlx digest-ஐப் பகிர்ந்து கொள்கிறது. இவை Linux-ல் உங்களுக்கு உதவாது.

Nemotron 3.5 Lightning-க்கு எவ்வளவு RAM தேவை?

Ollama build-களுக்கு NVIDIA குறைந்தபட்ச நினைவக அளவை வெளியிடுவதில்லை, எனவே மதிப்பீடு செய்வதற்குப் பதிலாக அளந்து பார்க்கவும். Tag-ஐப் பதிவிறக்கி, model-ஐ ஒருமுறை இயக்கி, அது loaded நிலையில் இருக்கும்போது ollama ps-ஐப் படிக்கவும்: இது உண்மையில் ஆக்கிரமிக்கப்பட்டுள்ள அளவு மற்றும் அது GPU-ல் உள்ளதா அல்லது CPU-ல் உள்ளதா என்பதைக் காட்டும். Default tag-க்கான பதிவிறக்க அளவு 25 GB என்பது ஒரு அடிப்படை அளவு மட்டுமே, ஏனெனில் KV cache அதன் மேல் சேர்க்கப்பட்டு, நீங்கள் அமைக்கும் context window-க்கு ஏற்ப வளரும். உங்கள் திட்டம் மிகச் சிறியதாக இருந்தால், Ollama model requires more system memory பிழையைக் காட்டி இரண்டு எண்களையும் குறிப்பிடும்.

GPU இல்லாத VPS-ல் என்னால் Nemotron 3.5 Lightning-ஐ இயக்க முடியுமா?

ஆம், உங்கள் திட்டத்தில் weights-ஐ வைத்திருக்கப் போதுமான RAM இருந்தால் இயக்கலாம். MoE வடிவமைப்பு இதற்கு உதவுகிறது, ஏனெனில் 30 billion parameters-ல் ஒரு token-க்கு சுமார் 3 மட்டுமே கணக்கிடப்படுகின்றன. வேகம் தான் இதில் உள்ள சிக்கல். GPU இல்லையென்றால், model-ன் வேகம் memory bandwidth-ஆல் கட்டுப்படுத்தப்படும், எனவே vCPU-களை அதிகரிப்பதால் வேகத்தில் பெரிய மாற்றம் இருக்காது. ஒரு நிலையான prompt-உடன் ollama run --verbose-ஐ இயக்கி, eval rate வரியைப் படித்து, உங்கள் agent-ன் காலக்கெடுவுக்கு ஏற்ப அந்த எண்ணை மதிப்பிடவும். இரவு நேரத்தில் நடக்கும் batch job-களுக்கு இது பெரும்பாலும் போதுமானது. பயனர் காத்திருக்கும் எந்தவொரு பயன்பாட்டிற்கும் இது பொதுவாகப் போதாது.

Ollama ஏன் எனக்கு முழுமையான 1M context window-ஐத் தருவதில்லை?

1M என்பது model-ன் அதிகபட்ச அளவு, Ollama-வின் default அளவு அல்ல. Ollama மிகச் சிறிய window-ஐயே பயன்படுத்துகிறது. உரையாடல் அந்த அளவைத் தாண்டியவுடன், பழைய token-களை எந்தப் பிழைச் செய்தியும் இன்றி நீக்கிவிடும். இதனால் agent தனது சொந்த அறிவுறுத்தல்களை மறந்துவிட்டதாகத் தோன்றும். systemd service-ல் OLLAMA_CONTEXT_LENGTH-ஐ அமைக்கவும் அல்லது ஒவ்வொரு கோரிக்கைக்கும் num_ctx-ஐ அனுப்பவும். படிப்படியாக இதை உயர்த்தி, ஒவ்வொரு முறையும் ollama ps-ஐச் சரிபார்க்கவும், ஏனெனில் KV cache நினைவகம் window-க்கு ஏற்ப விரிவடையும், இது model layers-ஐ GPU-விலிருந்து வெளியேற்றக்கூடும்.

Nemotron 3.5 Lightning-ஐ வணிக ரீதியாகப் பயன்படுத்த இலவசமா?

NVIDIA-வின் model card, இந்த model-ஐ OpenMDW-1.1 உரிமத்தின் கீழ் வகைப்படுத்துகிறது மற்றும் அக்டோபர் 25, 2026 அன்று சரிபார்க்கப்பட்டபடி, இது வணிக ரீதியான பயன்பாட்டிற்குத் தயாராக உள்ளது. Ollama-வின் library பக்கம், அதன் பதிவிறக்கத்துடன் வரும் உரிமத்தை NVIDIA Open Model License Agreement என்று குறிப்பிடுகிறது, எனவே எதையும் நம்புவதற்கு முன் இரண்டையும் படிக்கவும். இது நீங்கள் பதிவிறக்கி இயக்கும் weights-க்கு மட்டுமே பொருந்தும். உங்கள் stack-ல் உள்ள பிற மென்பொருள்களைப் பற்றி இது எதையும் கூறவில்லை, எனவே agent harness மற்றும் நீங்கள் இணைக்கும் பிற கருவிகளின் உரிமங்களைச் தனித்தனியாகச் சரிபார்க்கவும். ஒப்பந்தம் சார்ந்த எதற்கும் இதைப் பயன்படுத்துவதற்கு முன் தற்போதைய model card-ஐப் படிக்கவும்.

இந்தக் கட்டுரை பயனுள்ளதாக இருந்ததா?