SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor · Оновлено 2026-10-26

Як запустити Nemotron 3.5 Lightning на VPS

Запустіть NVIDIA Nemotron 3.5 Lightning через Ollama на власному сервері: точний tag для завантаження, вимоги до RAM і швидкість роботи лише на CPU.

Для чого призначений Nemotron 3.5 Lightning

Nemotron 3.5 Lightning — це відкрита модель NVIDIA на 30B параметрів з architecture mixture-of-experts, випущена в August 2026. Вона призначена для агентів, які працюють годинами, а не для одного чат-сеансу. MoE (mixture of experts) означає, що ваги розподілено між багатьма експертними підмережами, і кожен токен проходить лише через кілька з них. У model card NVIDIA вказано 30 billion загальних параметрів і 3 billion активних параметрів на токен. У пам’яті потрібно розмістити більшу кількість параметрів. Натомість швидкість визначається меншою кількістю активних параметрів.

Саме цей компроміс робить модель цікавою для орендованого сервера. Агент, який виконує реальну роботу, надсилає протягом дня тисячі коротких запитів. Тому пропускна здатність на одиницю вартості визначає, чи можна запускати його на власному сервері. Модель, яка формує відповідь за 40 секунд, придатна як асистент, але погано підходить для агента. Одне завдання може потребувати 20 викликів, і кожного з них доведеться чекати.

NVIDIA описує цю архітектуру як гібридну: чергування шарів Mamba-2 і MoE з окремими шарами attention. У model card вказано максимальну довжину контексту до 1M токенів і ліцензію OpenMDW-1.1 зі статусом ready for commercial use. Основні мови — English і code. Також зазначено Spanish, French, German, Italian та Japanese.

Artificial Analysis опублікувала вимірювання під час запуску в August 2026. Вони показали майже 670 output tokens per second на попередньому endpoint DeepInfra, який обслуговував ваги NVFP4. Це hosted GPU endpoint. Сприймайте цей показник як можливість архітектури, а не як результат, якого обов’язково досягне ваш VPS.

Який тег Ollama відповідає якому VPS

Бібліотека Ollama публікує кілька збірок з однаковими вагами. Вони відрізняються квантизацією — кількістю бітів для зберігання кожної ваги. Через це розмір завантаження може суттєво відрізнятися.

ГрафікDownload size by Ollama tag, GB (Ollama library, checked October 2026)
Дані, на яких побудовано графік
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

Теги з назвами latest, 30b і 30b-a3b тепер мають власний дайджест. У бібліотеці для них указано діапазон від 19 до 25 GB після оновлення в середині жовтня 2026 року. Під час прямого запиту до registry 25 жовтня 2026 року цей вказівник повернув точно такі самі файли, як і 30b-a3b-q4_K_M. Отже, стандартне завантаження на VPS — це чотирибітна збірка обсягом 25 GB із повним контекстом 1M. Нижня межа діапазону, 19 GB, відповідає збіркам MLX. Це свідчить, що на машинах з Apple silicon, імовірно, використовуються саме вони. Обсяг Q8_0 становить 35 GB, а bf16 — 66 GB; обидві збірки також підтримують контекст 1M. Збірки MLX обсягом 19 GB призначені для Apple silicon і обмежені контекстом 256K, тому на Linux VPS це неправильний вибір. У бібліотеці також указано 30b-mlx і 30b-a3b-nvfp4. Обидва теги мають такий самий дайджест, як 30b-a3b-mlx, хоча назва другого формату схожа на формат NVIDIA. Крім того, є 30b-a3b-mxfp8 обсягом 34 GB і 30b-a3b-mlx-bf16 обсягом 66 GB. Усі вони також обмежені контекстом 256K, тому жоден із них не надає повного контекстного вікна.

Це розміри завантаження, а не вимоги до пам’яті. NVIDIA не публікує мінімальний обсяг VRAM (відеопам’яті) для збірок Ollama, тому сприймайте розмір завантаження лише як нижню межу. Ваги мають постійно зберігатися десь: у пам’яті GPU, якщо відеокарта може їх умістити, або в системній RAM в іншому разі. Додатково потрібен KV cache (key/value cache, пам’ять моделі для зберігання контексту розмови для кожного токена). Фактичне значення для вашого обладнання визначається командою, а не арифметичним розрахунком; її наведено нижче. Якщо ви ще не визначилися з рівнем квантизації, у матеріалі яку ціну мають Q4, Q8 і FP16 пояснено, від чого доводиться відмовлятися на кожному кроці.

Завантажуйте точний тег, а не latest

latest — це змінний покажчик. Коли бібліотека публікує його повторно, поведінка вашого агента змінюється під час наступного завантаження, і в нотатках не залишається пояснення причини. Це вже одного разу сталося з цією моделлю: у середині жовтня 2026 року бібліотека перемістила latest на новий дайджест. Вкажіть тег.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

Скрипт інсталяції налаштовує службу systemd, яка працює від імені користувача ollama і зберігає моделі в /usr/share/ollama/.ollama/models. У більшості образів VPS цей шлях розташований у кореневій файловій системі, тому перевірте вільне місце, перш ніж запитувати 25 GB. Якщо у цій файловій системі мало місця, варто прочитати де Ollama зберігає свої моделі та як їх перемістити до завантаження, а не після заповнення диска.

df -h /usr/share/ollama

Якщо завантаження зупиняється посередині й повідомляє no space left on device, це саме те й означає. Часткові blobs залишаються на диску, доки ви їх не видалите. Потім перевірте, що було завантажено:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show виводить архітектуру, кількість параметрів, довжину контексту та квантизацію, які фактично містить файл. Якщо будь-яке з цих значень не збігається зі сторінкою бібліотеки, ви завантажили не той тег, який планували.

Запустіть його та перевірте, де саме він працює

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Поки модель ще завантажена, відкрийте другу оболонку:

ollama ps

Ця команда показує, скільки пам’яті потрібно саме вашій системі. ollama ps виводить завантажену модель, обсяг пам’яті, який вона займає, і стовпчик PROCESSOR. Значення 100% GPU означає, що модель повністю розміщена у VRAM. Значення 100% CPU означає, що модель повністю розміщена поза VRAM, а всі токени обчислює процесор, використовуючи системну RAM. Значення 65%/35% CPU/GPU означає, що всі шари не помістилися, і частка обчислень на CPU визначає швидкість роботи. Не оцінюйте вимоги приблизно. Завантажте модель і прочитайте цей рядок.

Якщо модель взагалі не вдається завантажити, Ollama коректно відмовляється від запуску, а не аварійно завершує роботу:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

Чи достатньо швидкий VPS лише з CPU?

Звичайний VPS не має GPU, тому всю роботу виконує CPU, який зчитує всі потрібні ваги із системної RAM. MoE допомагає в цьому випадку, оскільки для кожного токена задіюється лише близько 3 мільярдів із 30 мільярдів параметрів. Тому обсяг обчислень для одного токена значно менший, ніж у щільної моделі 30B. На використання пам’яті це не впливає. Усі 30 мільярдів параметрів мають залишатися в пам’яті, оскільки router може вибрати будь-який expert для будь-якого токена.

Отже, inference на CPU без GPU обмежується пропускною здатністю пам’яті, а не кількістю ядер. Додавання vCPU до плану, у якому їх уже достатньо, майже нічого не змінює. Вам потрібно достатньо RAM для зберігання ваг і вашого KV cache, а також найшвидша пам’ять, яку надає план.

Перед остаточним вибором перевірте швидкість за допомогою методу з розділу вимірювання токенів за секунду для локальної LLM:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

Рядок eval rate, виведений наприкінці, показує швидкість генерації в токенах за секунду. Саме це число визначає відповідь, оскільки час роботи агента переважно залежить від нього. Помножте його на очікувану довжину відповіді. Якщо результат означає надто довге очікування, обмеження вихідних даних за допомогою num_predict — це єдиний параметр, який обмежує тривалість одного виклику без зміни обладнання.

ГрафікAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
Дані, на яких побудовано графік
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

Це опубліковані дані сторонніх джерел, перераховані з тривалості виконання окремих завдань у хвилинах, яку Artificial Analysis навела під час запуску. Вимірювання проводили на hosted GPU endpoints, а не на VPS. Середній показник Nemotron 3.5 Lightning становив близько 30 секунд на завдання. Для gpt-oss-120b потрібно було приблизно 204, а для Qwen3.6 35B — приблизно 210. Використовуйте ці значення, щоб оцінити масштаб різниці, а не як гарантію для свого обладнання.

Правильний вибір залежить від того, хто очікує на результат. Якщо на агента очікує людина або агент послідовно виконує довгі ланцюжки викликів, орендуйте GPU capacity. Якщо він працює за розкладом уночі й ніхто не стежить за процесом, план із великим обсягом RAM на CPU є обґрунтованим варіантом. В обох випадках налаштування однакове. У розділі запуск Ollama на VPS описано вибір конфігурації та порівняння GPU instance з оплатою API provider за токен. Точка беззбитковості залежить від рівня використання: GPU instance тарифікується за кожну годину роботи, а API tokens — лише під час використання. Тому агент, який працює більшу частину дня, зазвичай виправдовує власний сервер, а агент, який запускається двічі на годину, зазвичай — ні. Ollama не додає витрат до жодного з цих варіантів, оскільки його можна безкоштовно запускати на орендованому сервері. У розділі за що Ollama стягує плату, а за що — ні пояснено, яке місце Ollama Cloud займає в цій схемі, якщо ви взагалі не хочете орендувати обладнання.

Вікно контексту 1M не є безкоштовним

1M токенів — це максимальний розмір контексту моделі, але Ollama не надає його за замовчуванням. Ollama використовує значно менше вікно за замовчуванням і видаляє найстаріші токени, коли розмір контексту перевищено. На рівні журналювання за замовчуванням це не фіксується, тому для агента виглядає так, ніби модель забула початок власного завдання.

Встановлюйте розмір вікна явно. Щоб змінити його для всього сервера, відредагуйте сервіс:

sudo systemctl edit ollama

Додайте цей параметр, а потім виконайте sudo systemctl restart ollama:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Для окремого запиту натомість передайте num_ctx в об’єкті options:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

Кожне збільшення потребує більше пам’яті, оскільки KV cache зростає разом із дозволеною кількістю токенів. Збільште значення, перезапустіть сервіс, потім знову виконайте ollama ps і стежте, як зростає вказаний розмір. Якщо після цієї зміни стовпець PROCESSOR зміниться з 100% GPU на split, KV cache витіснить шари моделі з VRAM, і швидкість різко впаде. У матеріалі Вибір num_ctx в Ollama цей компроміс розглянуто докладно. Не встановлюйте 1000000 лише тому, що це значення дозволяє картка моделі: пам’ять виділяється наперед, і завантаження просто завершиться помилкою.

Підключення до агента, що працює постійно

На сторінці бібліотеки Ollama для цієї моделі описано скорочену команду, яка запускає сумісного агента, уже налаштованого на роботу з нею:

ollama launch claude --model nemotron-3.5-lightning

На цій позиції наведено claude, opencode, openclaw і hermes. Для цієї підкоманди потрібна актуальна версія Ollama, тому спочатку перевірте ollama --version. Якщо її немає, самостійно вкажіть агенту адресу API. Ollama надає сумісну з OpenAI кінцеву точку, яку приймає більшість оболонок агентів:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama ігнорує цей ключ, але більшість клієнтів не запускається без заданого ключа. Налаштування оболонки описано в розділах підключення coding agent до Ollama і створення власного агента OpenClaw.

Після запуску агента без нагляду важливі два параметри сервера. OLLAMA_KEEP_ALIVE визначає, як довго модель зберігається в пам’яті після останнього запиту. За замовчуванням вона вивантажується через п’ять хвилин, тому наступний виклик знову потребує повного часу завантаження. Для файлу розміром 25 GB без GPU ця пауза може бути достатньою, щоб спрацював тайм-аут. Установіть OLLAMA_KEEP_ALIVE=-1, щоб модель залишалася в пам’яті. OLLAMA_HOST=0.0.0.0:11434 робить API доступним з інших машин і не забезпечує жодної автентифікації, тому відкривайте його лише за наявності правила firewall або в приватній мережі.

Режими відмови та повідомлення, які ви побачите

Pull завершується негайно. Error: pull model manifest: file does not exist означає, що такого tag не існує. Назви tag є точними рядками, тому скопіюйте потрібну назву зі сторінки library, а не вгадуйте суфікс quantisation.

Model не завантажується. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) означає, що цей tag завеликий для поточного плану. Виберіть менший рівень quantisation або зменште OLLAMA_CONTEXT_LENGTH, оскільки KV cache враховується в цій вимозі.

На port 11434 ніхто не відповідає. curl: (7) Failed to connect to localhost port 11434 означає, що сервіс не запущений або слухає не там, де очікується. Перегляньте systemctl status ollama і journalctl -u ollama -n 50. Якщо ви також запустили ollama serve вручну, другий процес завершиться з Error: listen tcp 127.0.0.1:11434: bind: address already in use.

Відповідь надходить дуже повільно. Перед будь-якими змінами перевірте ollama ps. Будь-яке значення CPU у стовпці PROCESSOR на машині з GPU означає, що частина model не помістилася у VRAM. Зменште context або виберіть менший рівень quantisation. На машині без GPU повільна робота є очікуваним результатом, і жодне налаштування це не виправить.

Agent забуває свої інструкції посеред виконання завдання. Розмова перевищила context window, тому найстаріші tokens було непомітно відкинуто. Збільште OLLAMA_CONTEXT_LENGTH, перевірте за допомогою ollama ps, що model і далі поміщається в пам’ять. Якщо він більше не поміщається, потрібна потужніша машина, а не менше вікно.

Як ця модель виглядає на тлі альтернатив

30B MoE — це великий об’єкт для розгортання заради невеликого завдання. Якщо щільна модель 8B уже справляється з вашим завданням, її запуск і завантаження триватимуть значно менше, а Qwen 3 на 8B і 27B на VPS дає пряме порівняння для такого вибору. Щоб ширше оцінити, яку модель фактично може розмістити певний тарифний план, почніть зі статті які AI-моделі можна розгорнути на власному сервері. Якщо ви плануєте одночасно обслуговувати кількох агентів, а не одного, спочатку прочитайте Ollama порівняно з vLLM. Ollama може паралельно обробляти запити до однієї моделі, але OLLAMA_NUM_PARALLEL має значення 1, тому за замовчуванням запит другого агента чекає в черзі, доки перший не завершиться. Для цієї моделі збільшення цього значення також не допоможе: станом на Ollama v0.40.11 планувальник примусово повертає архітектуру nemotron_h_moe, яку має цей тег, до обробки одного запиту за раз і записує в журнал model architecture does not currently support parallel requests. У моделях, які підтримують це значення, його збільшення потребує більше пам’яті: в FAQ Ollama зазначено, що потрібний обсяг RAM масштабується у OLLAMA_NUM_PARALLEL разів за значенням OLLAMA_CONTEXT_LENGTH, тому у великій моделі саме це множення обмежує масштабування конфігурації для одного користувача.

FAQ

Який тег Nemotron 3.5 Lightning слід завантажувати на Linux VPS?

Використовуйте nemotron-3.5-lightning:30b-a3b-q4_K_M. Він займає 25 GB, підтримує повне максимальне контекстне вікно 1M і є збіркою, на яку вказували latest, 30b та 30b-a3b під час перевірки 25 жовтня 2026 року, хоча в середині жовтня бібліотека перенесла ці вказівники до окремого digest. Вказуйте його явно замість завантаження latest, щоб майбутня повторна публікація цього вказівника непомітно не змінила поведінку вашого агента. Теги mlx призначені для Apple silicon. Те саме стосується 30b-a3b-nvfp4, який використовує digest 30b-a3b-mlx. На Linux вони не допоможуть.

Скільки RAM потребує Nemotron 3.5 Lightning?

NVIDIA не публікує мінімальний обсяг пам’яті для збірок Ollama, тому вимірюйте фактичне споживання, а не оцінюйте його. Завантажте тег, один раз запустіть модель і прочитайте ollama ps, поки модель завантажена: цей параметр показує фактично зайнятий обсяг і те, чи розміщено модель на GPU або CPU. Розмір завантаження для тегу за замовчуванням становить 25 GB, але це лише нижня межа, оскільки KV cache додається поверх нього й збільшується разом із заданим контекстним вікном. Якщо план має недостатній обсяг пам’яті, Ollama відмовляється запускати модель із повідомленням model requires more system memory і вказує обидва значення.

Чи можна запускати Nemotron 3.5 Lightning на VPS без GPU?

Так, якщо план має достатньо RAM для розміщення ваг моделі. Архітектура MoE також допомагає, оскільки для кожного токена обчислюється лише близько 3 із 30 billion параметрів. Обмеженням є швидкість. Без GPU модель залежить від пропускної здатності пам’яті, тому збільшення кількості vCPU майже не змінює результат. Запустіть ollama run --verbose із фіксованим prompt, прочитайте рядок eval rate і порівняйте це значення з допустимим часом відповіді вашого агента. Для пакетного завдання, яке виконується вночі, цього часто достатньо. Для завдань, на результат яких очікує користувач, зазвичай недостатньо.

Чому Ollama не надає повне контекстне вікно 1M?

1M — це максимальне значення моделі, а не значення за замовчуванням в Ollama. Ollama використовує значно менше вікно й відкидає найстаріші токени, коли розмір розмови перевищує це вікно. При цьому помилка не виводиться, тому здається, що агент забув власні інструкції. Задайте OLLAMA_CONTEXT_LENGTH для systemd service або передавайте num_ctx для кожного запиту. Збільшуйте значення поступово й щоразу повторно перевіряйте ollama ps, оскільки обсяг пам’яті для KV cache масштабується разом із розміром вікна й може перемістити шари моделі з GPU.

Чи можна безкоштовно використовувати Nemotron 3.5 Lightning у комерційних цілях?

У model card NVIDIA зазначено, що модель поширюється за ліцензією OpenMDW-1.1 і готова до комерційного використання. Це було перевірено 25 жовтня 2026 року. На сторінці бібліотеки Ollama вказано, що ліцензія, яка постачається із завантаженням, має назву NVIDIA Open Model License Agreement. Перед використанням перевірте обидві ліцензії. Це стосується завантажених вами ваг моделі, які ви запускаєте самостійно. Ліцензія нічого не визначає щодо іншого програмного забезпечення у вашому стеку. Тому окремо перевірте ліцензії agent harness і всіх підключених до нього інструментів. Перед використанням моделі в договірних або інших юридично значущих сценаріях ознайомтеся з актуальною model card.

Чи була ця стаття корисною?