Как запустить Nemotron 3.5 Lightning на VPS через Ollama
Узнайте, как развернуть NVIDIA Nemotron 3.5 Lightning на сервере. Инструкция содержит точный тег для команды pull, требования к объему RAM и оценку производительности CPU.
Назначение Nemotron 3.5 Lightning
Nemotron 3.5 Lightning — это открытая модель NVIDIA типа mixture-of-experts с 30B параметров, выпущенная в августе 2026 года. Она создана для агентов, которые работают часами, а не для разовых сессий чата. Архитектура MoE (mixture-of-experts) означает, что веса разделены на множество экспертных подсетей, и каждый токен проходит только через некоторые из них. Согласно документации NVIDIA, модель содержит 30 миллиардов параметров, из которых 3 миллиарда активны для каждого токена. Вы платите за большой объем памяти, но получаете скорость, соответствующую малому числу активных параметров.
Этот компромисс — главная причина рассмотреть данную модель для арендованного сервера. Агент, выполняющий реальную работу, отправляет тысячи коротких запросов в течение дня, поэтому пропускная способность на каждый потраченный доллар определяет, может ли он работать на вашем оборудовании. Модель, которая тратит 40 секунд на ответ, подходит для помощника, но не для агента: одна задача может требовать двадцати вызовов, и вы будете ждать завершения каждого из них.
NVIDIA описывает архитектуру как гибридную: чередующиеся слои Mamba-2 и MoE с выборочными слоями внимания (attention layers). В документации указана максимальная длина контекста до 1M токенов и лицензия OpenMDW-1.1, разрешающая коммерческое использование. Основные языки — английский и языки программирования; также заявлена поддержка испанского, французского, немецкого, итальянского и японского языков.
В августе 2026 года Artificial Analysis опубликовала результаты замеров, показавшие почти 670 выходных токенов в секунду на предрелизной конечной точке DeepInfra, использующей веса NVFP4. Это показатели облачного GPU-сервиса. Воспринимайте их как возможности архитектуры, а не как производительность вашего VPS.
Какая метка Ollama подходит для какого VPS
В библиотеке Ollama публикуется несколько сборок с одинаковыми весами. Они отличаются квантизацией — количеством битов, в которых хранится каждый вес. Из-за этого размер загрузки сильно различается.
Данные, на которых построен график
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]Метки latest, 30b и 30b-a3b теперь имеют собственный digest. После обновления библиотеки в середине октября 2026 года для них указан диапазон от 19 до 25 GB. При прямом запросе к registry 25 октября 2026 года этот указатель вернул точно те же файлы, что и 30b-a3b-q4_K_M. Поэтому загрузка по умолчанию на VPS — это четырёхбитная сборка размером 25 GB с полным контекстом 1M. Нижняя граница указанного диапазона, 19 GB, соответствует сборкам MLX. Это указывает на то, что для машин с Apple silicon вместо них выдаются эти сборки. Размер Q8_0 составляет 35 GB, а bf16 — 66 GB. Обе сборки также поддерживают контекст 1M. Сборки MLX размером 19 GB предназначены для Apple silicon и ограничены контекстом 256K, поэтому на Linux VPS они не подходят. В библиотеке также указаны 30b-mlx и 30b-a3b-nvfp4. У обеих меток тот же digest, что и у 30b-a3b-mlx, хотя название второго формата напоминает формат NVIDIA. Кроме того, указана 30b-a3b-mxfp8 размером 34 GB и 30b-a3b-mlx-bf16 размером 66 GB. Все они также ограничены контекстом 256K, поэтому ни одна из этих сборок не предоставляет полный контекстный диапазон.
Это размеры загрузки, а не требования к памяти. NVIDIA не публикует минимальный объём VRAM (видеопамяти) для сборок Ollama. Поэтому считайте размер загрузки только нижней границей, и не более того. Веса должны постоянно находиться в памяти: в памяти GPU, если видеокарта может их вместить, либо в системной RAM в противном случае. Кроме того, сверху добавляется KV cache (кэш key/value — память модели для хранения контекста диалога по каждому токену). Реальное значение для вашего оборудования показывает команда, а не расчёт. Она приведена ниже. Если вы ещё не выбрали уровень квантизации, в разделе сколько стоят вам Q4, Q8 и FP16 описано, от чего вы отказываетесь на каждом шаге.
Загружайте точный тег, а не latest
latest — это изменяемый указатель. Когда библиотека публикует его заново, поведение агента меняется при следующей загрузке, и в заметках не остаётся объяснения причины. С этой моделью такое уже происходило: в середине октября 2026 года библиотека переместила latest на новый дайджест. Укажите имя тега.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_MСкрипт установки создаёт службу systemd, которая запускается от имени пользователя ollama и хранит модели в /usr/share/ollama/.ollama/models. В большинстве образов VPS этот путь находится в корневой файловой системе, поэтому проверьте свободное место, прежде чем запрашивать 25 ГБ. Если в этой файловой системе мало места, ознакомьтесь с материалом о том, где Ollama хранит модели и как перенести их до загрузки, а не после заполнения диска.
df -h /usr/share/ollamaЕсли загрузка останавливается на полпути и сообщает no space left on device, это означает именно указанную проблему. Частичные blobs остаются на диске, пока вы их не удалите. Затем проверьте результат:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show выводит архитектуру, количество параметров, длину контекста и фактическую квантализацию файла. Если какие-либо из этих параметров не совпадают со страницей библиотеки, вы загрузили не тот тег, который намеревались использовать.
Запуск модели и проверка фактического места выполнения
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"Пока модель загружена, откройте вторую оболочку (shell) и выполните:
ollama psЭта команда позволяет определить объем памяти, используемый на вашей машине. ollama ps выводит загруженную модель, занимаемый ею объем памяти и столбец PROCESSOR. Значение 100% GPU означает, что модель полностью находится в VRAM. Значение 100% CPU означает, что модель не загружена в видеопамять, и каждый токен вычисляется процессором из системной оперативной памяти. Разделение, например 65%/35% CPU/GPU, означает, что слои не поместились целиком, и скорость работы определяется долей участия CPU. Не пытайтесь оценить требования «на глаз». Загрузите модель и изучите эту строку.
Если загрузка невозможна, Ollama корректно завершает работу, не допуская аварийного сбоя:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)Достаточно ли быстро работает VPS только с CPU?
VPS общего назначения не имеет GPU, поэтому всю работу выполняет CPU, считывая каждый необходимый вес из системной оперативной памяти. Здесь помогает архитектура MoE, так как для каждого токена задействуется лишь около 3 миллиардов параметров из 30 миллиардов, поэтому объем вычислений на токен значительно меньше, чем у плотной модели 30B. Однако это не ускоряет работу с памятью. Все 30 миллиардов параметров должны оставаться в оперативной памяти, так как маршрутизатор может выбрать любого эксперта для любого токена.
Таким образом, скорость инференса на CPU для этой модели ограничивается пропускной способностью памяти, а не количеством ядер. Добавление vCPU к тарифному плану, в котором их уже достаточно, практически ничего не меняет. Вам необходим достаточный объем RAM для размещения весов и KV-кэша, а также максимально быстрая память, доступная в рамках тарифа.
Проведите измерения перед тем, как запускать на нем агента, используя метод из измерения количества токенов в секунду для локальной LLM:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."Значение eval rate, выведенное в конце, — это ваша скорость генерации в токенах в секунду. Это единственное число определяет ответ, так как время выполнения задачи агентом напрямую зависит от него. Умножьте его на ожидаемую длину ответа, и если результат превышает время, которое вы готовы ждать, ограничение вывода через num_predict станет тем рычагом, который позволит ограничить длительность одного вызова без смены оборудования.
Данные, на которых построен график
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]Это опубликованные сторонние данные, пересчитанные из времени выполнения задачи в минутах, представленного Artificial Analysis на момент запуска; они были измерены на хостинговых GPU-эндпоинтах, а не на VPS. Nemotron 3.5 Lightning в среднем тратил 30 секунд на задачу, при этом gpt-oss-120b занимала примерно 204, а Qwen3.6 35B — примерно 210. Используйте эти данные для понимания соотношения производительности, а не как гарантию для вашего оборудования.
Честный ответ зависит от того, кто ждёт результат. Если результат нужен человеку сразу или агент выполняет длинную цепочку вызовов один за другим, арендуйте GPU. Если агент запускается ночью по расписанию и за его работой никто не следит, разумным вариантом будет тариф с большим объёмом RAM и CPU. В обоих случаях настройка одинакова. В статье Запуск Ollama на VPS разобраны выбор тарифа и различия между GPU-инстансом и оплатой API-провайдера за токены. Точка окупаемости зависит от загрузки: GPU-инстанс тарифицируется за каждый час работы, а API-токены — только при использовании. Поэтому для агента, который занят большую часть дня, обычно выгоднее собственный сервер, а для агента, который запускается дважды в час, — нет. Ollama не влияет на эту сумму: программу можно бесплатно запускать на арендованном сервере. В статье За что Ollama взимает плату, а за что нет объясняется, какое место занимает Ollama Cloud, если вы не хотите арендовать оборудование.
Контекстное окно 1M не является бесплатным
1M токенов — это максимум для модели, и Ollama не предоставляет его по умолчанию. Ollama использует гораздо меньшее окно по умолчанию и отбрасывает самые старые токены, как только диалог превышает этот лимит. При стандартном уровне логирования это никак не фиксируется, поэтому для агента ситуация выглядит так, будто модель «забывает» начало собственной задачи.
Устанавливайте размер окна намеренно. Для всего сервера отредактируйте сервис:
sudo systemctl edit ollamaДобавьте следующее, а затем выполните sudo systemctl restart ollama:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"Для отдельного запроса передавайте num_ctx в объекте options:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'Любое увеличение требует больше памяти, так как KV-кэш растет вместе с количеством разрешенных токенов. Увеличьте значение, перезапустите сервис, затем снова выполните ollama ps и наблюдайте за ростом указанного размера. Если после этого изменения столбец PROCESSOR сменится с 100% GPU на split, значит, KV-кэш вытеснил слои модели из VRAM, и скорость работы значительно упадет. Статья Выбор num_ctx в Ollama подробно описывает этот компромисс. Не устанавливайте значение 1000000 только потому, что карточка модели это позволяет: выделение памяти происходит заранее, и при нехватке ресурсов загрузка просто завершится ошибкой.
Подключение к постоянно работающему агенту
На странице библиотеки Ollama для этой модели описана сокращенная команда, которая запускает поддерживаемый агент, уже настроенный на работу с ней:
ollama launch claude --model nemotron-3.5-lightningНа странице в этой позиции указаны claude, opencode, openclaw и hermes. Для работы подкоманды требуется актуальная версия Ollama, поэтому сначала проверьте ollama --version, а если она отсутствует, укажите агенту путь к API самостоятельно. Ollama предоставляет эндпоинт, совместимый с OpenAI, который принимает большинство сред для агентов:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama игнорирует ключ, но большинство клиентов отказываются запускаться, если он не задан. Настройка со стороны среды агента описана в настройке агента для программирования на Ollama и в создании собственного агента OpenClaw.
Когда агент работает в фоновом режиме, важны две настройки сервера. OLLAMA_KEEP_ALIVE определяет время нахождения модели в памяти после последнего запроса; по умолчанию она выгружается через пять минут, поэтому при следующем вызове снова потребуется время на полную загрузку. Для файла размером 25 ГБ без GPU эта пауза достаточно велика, чтобы вызвать таймаут. Установите OLLAMA_KEEP_ALIVE=-1, чтобы модель оставалась в оперативной памяти. OLLAMA_HOST=0.0.0.0:11434 делает API доступным с других машин; поскольку в нем нет никакой аутентификации, открывайте его только при наличии правила брандмауэра или в частной сети.
Типичные ошибки и сообщения, которые вы увидите
Процесс pull завершается сразу. Error: pull model manifest: file does not exist означает, что такого тега не существует. Имена тегов — это точные строки, поэтому копируйте их со страницы библиотеки, а не пытайтесь угадать суффикс квантования.
Модель не загружается. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) означает, что тег слишком велик для текущего плана конфигурации. Перейдите на меньшее квантование или уменьшите OLLAMA_CONTEXT_LENGTH, так как KV-кэш учитывается в этом требовании.
Нет ответа на порту 11434. curl: (7) Failed to connect to localhost port 11434 означает, что сервис не запущен или не прослушивает ожидаемый порт. Прочитайте systemctl status ollama и journalctl -u ollama -n 50. Если вы также запустили ollama serve вручную, вторая копия завершит работу с ошибкой Error: listen tcp 127.0.0.1:11434: bind: address already in use.
Ответы приходят очень медленно. Проверьте ollama ps, прежде чем что-либо менять. Любое использование CPU в столбце PROCESSOR на машине с GPU означает, что часть модели не поместилась в VRAM, поэтому уменьшите контекст или выберите меньшее квантование. На машине без GPU низкая скорость — ожидаемый результат, и никакие настройки это не исправят.
Агент забывает инструкции в процессе выполнения задачи. Конверсия вышла за пределы окна контекста, и самые старые токены были молча отброшены. Увеличьте OLLAMA_CONTEXT_LENGTH, подтвердите с помощью ollama ps, что модель всё ещё помещается в память; если это не так, решением будет переход на более мощную машину, а не уменьшение окна.
Сравнение этой модели с альтернативами
Размещать модель 30B MoE ради небольшой задачи затратно. Если с вашей задачей уже справляется плотная модель 8B, её запуск обойдётся значительно дешевле и займёт несколько секунд, а Qwen 3 в вариантах 8B и 27B на VPS — прямое сравнение для такого выбора. Чтобы получить более широкий обзор того, какие модели фактически помещаются в тариф, начните со статьи какие AI-модели можно разместить на собственном сервере. Если вы планируете одновременно обслуживать несколько агентов, а не одного, сначала прочитайте Ollama в сравнении с vLLM. Ollama может параллельно обрабатывать запросы к одной модели, но OLLAMA_NUM_PARALLEL поставляется со значением 1, поэтому по умолчанию запрос второго агента ждёт в очереди, пока завершится первый. Для этой модели увеличение значения также не помогает: в Ollama v0.40.11 планировщик принудительно ограничивает архитектуру nemotron_h_moe, которую использует этот тег, одним запросом за раз и записывает в журнал model architecture does not currently support parallel requests. Для моделей, которые поддерживают это значение, его увеличение требует больше памяти: согласно FAQ Ollama, необходимый объём RAM масштабируется в OLLAMA_NUM_PARALLEL раз по OLLAMA_CONTEXT_LENGTH, поэтому для большой модели именно это умножение ограничивает масштабирование конфигурации для одного пользователя.
FAQ
Какой тег Nemotron 3.5 Lightning следует загрузить на Linux VPS?
Используйте nemotron-3.5-lightning:30b-a3b-q4_K_M. Он занимает 25 GB, поддерживает полный максимальный контекст размером 1M и соответствует сборке, на которую указывали ссылки latest, 30b и 30b-a3b при проверке 25 октября 2026 года, хотя в середине октября библиотека перенесла эти ссылки на отдельный дайджест. Указывайте этот тег явно, а не загружайте latest. Иначе будущая публикация по этой ссылке может незаметно изменить поведение вашего агента. Теги mlx предназначены для сборок под Apple silicon. То же относится к 30b-a3b-nvfp4, который использует дайджест 30b-a3b-mlx. На Linux они не помогут.
Сколько RAM требуется Nemotron 3.5 Lightning?
NVIDIA не публикует минимальный объём памяти для сборок Ollama, поэтому его нужно измерять, а не оценивать. Загрузите тег, один раз запустите модель и прочитайте ollama ps, пока модель загружена. Эта команда показывает фактически занятый объём и указывает, использовалась ли GPU или CPU. Размер загрузки для тега по умолчанию составляет 25 GB, но это минимальное значение, потому что KV cache выделяется дополнительно и увеличивается вместе с заданным размером контекстного окна. Если памяти недостаточно, Ollama завершает работу с ошибкой model requires more system memory и показывает оба значения.
Можно ли запускать Nemotron 3.5 Lightning на VPS без GPU?
Да, если на VPS достаточно RAM для размещения весов модели. Архитектура MoE также снижает требования к вычислениям: для каждого токена обрабатывается только около 3 из 30 миллиардов параметров. Ограничением будет скорость. Без GPU модель зависит от пропускной способности памяти, поэтому увеличение числа vCPU почти не влияет на результат. Запустите ollama run --verbose с фиксированным запросом, прочитайте строку eval rate и сравните это значение с допустимым временем ответа вашего агента. Для пакетной задачи, выполняемой ночью, этого часто достаточно. Для задач, которых ожидает пользователь, обычно нет.
Почему Ollama не предоставляет полное контекстное окно размером 1M?
1M — это максимальный размер контекста модели, а не значение по умолчанию в Ollama. Ollama использует значительно меньшее окно и удаляет самые старые токены после превышения этого ограничения. При этом ошибка не выводится, поэтому кажется, что агент забыл собственные инструкции. Задайте OLLAMA_CONTEXT_LENGTH в systemd-сервисе или передавайте num_ctx для каждого запроса. Увеличивайте значение поэтапно и каждый раз проверяйте ollama ps, потому что объём памяти для KV cache пропорционален размеру окна и может привести к выгрузке слоёв модели с GPU.
Можно ли бесплатно использовать Nemotron 3.5 Lightning в коммерческих целях?
В карточке модели NVIDIA указано, что модель распространяется по лицензии OpenMDW-1.1 и готова к коммерческому использованию. Это было проверено 25 октября 2026 года. На странице библиотеки Ollama лицензия для загружаемой версии указана как NVIDIA Open Model License Agreement, поэтому перед использованием проверьте оба документа. Эти условия распространяются на загружаемые и самостоятельно запускаемые веса модели. Они ничего не говорят об остальном программном обеспечении в вашем стеке. Поэтому отдельно проверьте лицензии agent harness и подключаемых инструментов. Перед использованием модели в договорных или иных юридически значимых целях ознакомьтесь с актуальной карточкой модели.