Как запустить Meta Muse Glimmer 30B на VPS
Узнайте требования к RAM и диску для запуска Muse Glimmer 30B на Linux VPS. Разбираем реальный объем памяти для тегов от 18 до 59 ГБ и стоимость CPU инференса модели.
Требования Muse Glimmer к VPS
Muse Glimmer работает на обычном Linux VPS без GPU, а выбор тега определяет, поместится ли модель в оперативную память. Лаборатория Meta Superintelligence Labs опубликовала модель 10 августа 2026 года под лицензией Apache 2.0: 30 миллиардов параметров, контекстное окно 128K и выделенный энкодер восприятия на 1.8B параметров для обработки изображений вместе с текстом. Meta позиционирует её для постоянно работающих локальных агентов, а не для чат-ботов, с возможностью настройки силы рассуждения для каждого запроса.
Опубликованные теги Ollama для Linux, актуальные на 25 октября 2026 года, варьируются от 18 ГБ до 59 ГБ. Этот диапазон и составляет всю проблему выбора размера. Полный список тегов начинается с меньших значений и заканчивается на 17 ГБ и 65 ГБ, но оба этих крайних варианта — это теги MLX, собранные для Apple Silicon, поэтому они не подходят для Linux-сервера. Тег по умолчанию занимает около 18 ГБ, поэтому для минимально подходящего сервера требуется явно больше 18 ГБ свободной оперативной памяти. Сверх этого необходимо учитывать место на диске для загрузки и память для контекстного окна.
Какой тег muse-glimmer следует использовать?
Данные, на которых построен график
[
{
"label": "30b (default)",
"size_gb": 18
},
{
"label": "30b-q4_K_M",
"size_gb": 18
},
{
"label": "30b-q4_K_M-dflash",
"size_gb": 20
},
{
"label": "30b-q8_0",
"size_gb": 31
},
{
"label": "30b-q8_0-dflash",
"size_gb": 33
},
{
"label": "30b-bf16",
"size_gb": 57
},
{
"label": "30b-bf16-dflash",
"size_gb": 59
}
]Ollama содержит 7 тегов для этой модели без метки MLX, не считая псевдонима latest. Обычные теги содержат одни и те же веса для 30-миллиардной модели, сохраненные с разной числовой точностью. Теги -dflash содержат эти веса плюс вторую, меньшую сеть, описанную ниже; именно поэтому каждый из них имеет больший размер, чем его обычный аналог. Указанный размер — это объем данных для загрузки, а также примерный объем оперативной памяти, необходимый до добавления контекста.
4-битная сборка — самая компактная: 30b-q4_K_M объемом 18 ГБ. Тег 30b по умолчанию — это та же сборка под другим именем, с тем же хешем на странице тега. 8-битная сборка — это 30b-q8_0 объемом 31 ГБ. 30b-bf16 — это неквантованный 16-битный релиз объемом 57 ГБ, что требует больше оперативной памяти, чем доступно на большинстве арендуемых серверов по разумной для побочного проекта цене. Тег 30b-nvfp4 размером 17 ГБ и 8-битный 30b-mxfp8 размером 33 ГБ имеют метку MLX, поэтому они не включены в таблицу. В следующем разделе объясняется почему.
Теги -dflash добавляют механизм DFlash от Meta, который в карточке модели описан как «небольшая вспомогательная сеть, предлагающая целые блоки токенов за раз»: 5 слоев предсказания, генерирующих блоки по 16 токенов. Это функция ускорения за счет спекулятивного декодирования, и на странице модели в Ollama поддержка DFlash представлена как часть движка MLX для Apple Silicon. На VPS, работающем только на CPU, это потребует около 2 ГБ дополнительной оперативной памяти для drafter, эффективность которого на вашем оборудовании еще не измерена, поэтому начните с обычного тега и меняйте параметры по одному.
Начинайте с 4-битной версии, если у вас нет веских причин для иного. Переход с 4-битной на 8-битную версию примерно удваивает количество байтов, которые CPU должен считывать для генерации каждого токена, поэтому пропускная способность падает, а потребление памяти растет. Этот компромисс подробно описан в во что на самом деле обходятся квантование q4, q8 и fp16, и для CPU-сервера краткий ответ таков: 4-битная сборка — единственная, с которой стоит начинать.
Почему теги MLX не работают на Linux-сервере
MLX — это фреймворк для работы с массивами от Apple, а движок MLX в Ollama является бэкендом для Apple Silicon. Когда Ollama анонсировала его, инструкция гласила: «убедитесь, что у вас есть Mac с более чем 32GB объединенной памяти». Каждый тег, помеченный на странице тегов как MLX, собран именно для этого движка и этого оборудования. Эта метка не всегда присутствует в названии: в данной модели она охватывает 30b-nvfp4, 30b-mxfp8 и их варианты -dflash, а также любой тег, содержащий mlx. На x86 Linux VPS каждый такой тег — это десятки гигабайт загружаемых данных, которые вы не сможете запустить, и они будут просто занимать место на диске. Любые показатели скорости, измеренные на Mac, относятся к этим тегам и не применимы к вашему серверу. При просмотре списка тегов на странице модели сначала отфильтруйте все теги с меткой MLX, а затем выбирайте размер из оставшихся вариантов.
Сколько оперативной памяти и дискового пространства на самом деле требуется?
Два фактора потребляют память, и только один из них зависит от размера тега. Веса модели фиксированы и определяются выбранным тегом. KV-cache — состояние, которое модель хранит для каждого токена в рамках диалога — увеличивается пропорционально настроенной длине контекста. В документации Ollama указано, что параллельная обработка запросов умножает контекст на количество активных запросов, поэтому сервер, отвечающий двум агентам одновременно, требует больше памяти, чем сервер, работающий с одним.
Не полагайтесь на цифры объема RAM из любых руководств, включая это. Загрузите тег, отправьте один запрос и, пока модель находится в памяти, выполните эти две команды.
ollama ps
free -hollama ps показывает, что загружено в данный момент и как распределена нагрузка между CPU и GPU. free -h показывает остаток свободных ресурсов. Эти данные с вашего собственного сервера точнее любой опубликованной таблицы, так как они уже учитывают ваши настройки контекста, квантование и все остальные запущенные процессы.
С дисковым пространством всё проще. Ollama хранит модели в /usr/share/ollama/.ollama/models в Linux, что на большинстве образов VPS соответствует корневой файловой системе. Корневой раздел объемом 40 GB не вместит сборку bf16 размером 57 GB, и он не позволит хранить 8-битные и 4-битные сборки одновременно. Если вы еще не проверяли, что именно записывается при выполнении команды pull, где Ollama хранит модели и как их переместить содержит описание этого каталога. Перенесите хранилище на смонтированный том перед тем, как что-либо загружать.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_MODELS=/mnt/models"sudo mkdir -p /mnt/models
sudo chown -R ollama:ollama /mnt/models
sudo systemctl daemon-reload
sudo systemctl restart ollamaПользователь ollama должен быть владельцем этого каталога, так как служба работает от имени ollama и записывает туда свои блобы. Если загрузка завершается ошибкой прав доступа, причина будет указана в journalctl -u ollama -n 50.
О файле подкачки (swap) нужно сказать прямо: он не позволит вам запустить модель большего размера. Генерация затрагивает веса для каждого создаваемого токена, поэтому веса, находящиеся в swap, постоянно считываются с диска. vmstat 1 покажет активность в столбцах si и so, а скорость генерации упадет до секунд на один токен. Держите небольшой файл подкачки как страховку от срабатывания OOM-killer. Рассчитывайте объем RAM исходя из размера тега, который вы планируете использовать.
Установка Ollama и закрепление именованного тега
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollamaСкрипт установки настраивает службу systemd, поэтому сервер автоматически запускается после перезагрузки. Если вы не хотите запускать его как системную службу от имени root, в разделе запуск Ollama без прав root в Podman описан альтернативный путь. После этого загрузите конкретный тег модели.
ollama pull muse-glimmer:30b
ollama listСамостоятельно проверяйте столбец размера в ollama list и сравнивайте его с актуальным списком тегов на странице модели. Опубликованные теги добавляются, переименовываются и удаляются, поэтому размер, указанный в руководстве, является лишь снимком состояния на конкретный день.
Никогда не пишите ollama pull muse-glimmer на сервере, от которого зависит ваша работа. Простое имя модели разрешается в тег latest, а latest — это указатель, который издатель может перенаправить на другую сборку. В таком случае обычная команда pull незаметно подменит модель, используемую вашим агентом, что приведет к изменению требований к памяти и поведения системы, причем в логах не будет никаких уведомлений об этом. Указывайте тег в своих скриптах, файлах юнитов и конфигурации агента. В разделе Self-hosting an LLM with Ollama on a VPS описана остальная часть настройки сервера.
Можно ли запустить Muse Glimmer без GPU?
Да, но стоит прямо сказать об ограничениях. Генерация одного токена означает чтение весов модели из оперативной памяти, поэтому скорость определяется пропускной способностью памяти, а не количеством vCPU, заявленных в тарифном плане. После достижения определенного количества ядер добавление новых дает минимальный прирост. На общем VPS эта пропускная способность делится между всеми арендаторами хоста, поэтому модель 30B в 4-битном квантовании будет выдавать небольшое количество токенов в секунду.
Не принимайте на веру чужие цифры, включая мои. Измерьте количество токенов в секунду на своем оборудовании и примите решение на основе полученных данных.
Результатом становится четкое разделение сценариев использования модели. Интерактивный чат будет некомфортным, так как вы читаете быстрее, чем сервер пишет, а каждый ответ начинается с долгой паузы. Фоновая работа агента вполне допустима, так как задаче, которая выполняется без присмотра в течение десяти минут, не важна низкая скорость. Именно такой сценарий использования для этой модели описывает Meta.
Если вам нужна интерактивная скорость, есть два честных варианта: GPU или облачный API. Рассчитайте точку окупаемости между GPU VPS и API-токенами перед арендой чего-либо, а в статье что на самом деле дает GPU VPS описано, за что именно вы платите. Что касается более широкого вопроса о том, что может потянуть конкретный сервер, начните с какие модели можно разместить самостоятельно, а запуск модели Qwen аналогичного размера на VPS является наиболее близким сравнением в этом классе размеров. Если измеренные вами показатели оказались слишком низкими для комфортной работы, в Nemotron 3.5 Lightning на VPS рассматриваются те же вопросы объема RAM и скорости генерации для модели, созданной для скорости, а не для размера.
Почему модель «забывает» информацию задолго до достижения 128K токенов?
Потому что на сервере без GPU стандартное окно контекста Ollama составляет 4096 токенов, независимо от того, какой объем поддерживает сама модель. В FAQ Ollama указано, что значение по умолчанию равно 4096, а документация по длине контекста, актуальная на 25 октября 2026 года, масштабирует это значение в зависимости от объема видеопамяти: 4k при наличии менее 24 GiB VRAM, 32k при объеме от 24 до 48 GiB и 256k при 48 GiB и более. VPS, использующий только CPU, попадает в нижнюю категорию. Тег модели заявляет о поддержке 128K, но сервер выделяет ей 4096 токенов, пока вы не укажете иное. В результате длинная история диалога с агентом теряет свои начальные фрагменты, и создается впечатление, что у модели амнезия.
Увеличивайте этот параметр на сервере для каждого запроса:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"В рамках интерактивной сессии команда /set parameter num_ctx 32768 изменяет значение только для текущего сеанса. При работе через API передавайте num_ctx в параметрах запроса.
Каждый дополнительный токен контекста требует оперативной памяти сверх той, что занята весами модели. Если запросить полные 128K на сервере, объем которого рассчитан только на веса, процесс завершится ошибкой или переключится на более медленный режим работы. Увеличивайте значение постепенно и запускайте ollama ps после каждого этапа. В статье Как работают num_ctx и длина контекста в Ollama подробно описаны соответствующие расчеты.
Уровень глубины рассуждений: low, medium, high и xhigh
Meta определяет четыре уровня глубины рассуждений для Muse Glimmer — от low до xhigh — и рекомендует использовать два верхних уровня для сложных задач программирования и работы агентов. В Ollama это настраивается через параметр think. Используйте --think= в командной строке или передавайте think в теле запроса API.
ollama run muse-glimmer:30b --think=high "Summarise the changes in /tmp/patch.diff"В интерактивной сессии переключение осуществляется командами /set think и /set nothink. Согласно документации Ollama по функции мышления (прочитано 25 октября 2026 года), используйте /api/show, чтобы узнать поддерживаемые моделью значения. Модель с метаданными о процессе мышления перечисляет их в поле thinking.values: это могут быть либо логические значения (вкл/выкл), либо заданные моделью названия уровней. Документация предписывает использовать именно те значения, которые указаны в этом списке. Не каждая модель публикует такой список: если поле thinking отсутствует в ответе, значит, у модели нет метаданных о мышлении. На той же странице указано, что при использовании неподдерживаемого значения система возвращается к настройкам по умолчанию, поэтому опечатка в названии уровня не вызывает ошибку, а просто приводит к выполнению задачи с параметрами по умолчанию. Справка командной строки упоминает только true, false, high, medium и low, передавая любую другую строку на сервер без проверки. Поэтому лучше ознакомиться с тем, что возвращает /api/show для muse-glimmer:30b, чем пытаться угадать, и протестировать уровень вручную, прежде чем внедрять его в работу агента.
На серверах, использующих только CPU, этот параметр существенно влияет на производительность. Более высокий уровень означает генерацию большего количества токенов «мышления» до появления первого слова ответа, а каждый такой токен требует столько же времени, сколько и токен самого ответа. Для рутинных задач оставляйте значение low. Длина ответа также требует внимания, поэтому лучше ограничить ответ с помощью num_predict, чем позволять одному пространному сообщению занимать ресурсы медленной системы на несколько минут.
Удержание модели в памяти для постоянно активного агента
По умолчанию Ollama выгружает неактивную модель через пять минут. Если агент запускается каждые десять минут, это означает необходимость полной загрузки 18 ГБ с диска при каждом выполнении. На VPS с сетевым хранилищем такая загрузка происходит медленно. Вместо этого закрепите модель в оперативной памяти.
[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"Отрицательное значение позволяет модели оставаться в памяти до тех пор, пока она не будет выгружена принудительно, а параметр keep_alive в API-запросе переопределяет настройки сервера для конкретного вызова. Цена такого решения очевидна: оперативная память остается занятой даже в периоды простоя, поэтому данная настройка подходит для сервера, выделенного под работу агента. В статье Удержание модели Ollama в памяти описаны различные варианты реализации.
Настройка агента для написания кода
Ollama предоставляет API, совместимый с OpenAI, по адресу http://127.0.0.1:11434/v1, поэтому большинство инструментов для агентов подключаются к нему с использованием базового URL и любого непустого API-ключа. На странице Muse Glimmer для Ollama также описан ярлык для запуска, который одной командой связывает поддерживаемый агент с локальной моделью; рекомендуется также зафиксировать там тег версии.
ollama launch claude --model muse-glimmer:30bАгенты отправляют объемные промпты. Содержимое файлов, вывод инструментов и растущая история переписки — всё это поступает в виде входных токенов, и на сервере с CPU обработка промпта становится наиболее ресурсоемким этапом еще до начала генерации. Ограничивайте контекст минимально необходимым для выполнения задачи размером. В настройке агента для работы с Ollama рассматривается клиентская сторона, в запуске агента на VPS — серверная часть, а в контроле расходов на работу агента на VPS — сценарии круглосуточного выполнения.
Обработка изображений работает аналогичным образом. API Ollama принимает изображения в поле images сообщения, поэтому текстовый клиент никогда не отправит изображение, независимо от возможностей энкодера восприятия.
Не открывайте порт 11434
API Ollama не имеет встроенной аутентификации. Настройка OLLAMA_HOST=0.0.0.0:11434 для доступа к нему с вашего ноутбука делает модель доступной из публичного интернета без какой-либо защиты. Любой, кто обнаружит этот порт, сможет загружать модели на ваш диск и читать данные, которые ваш агент передает через этот API. Оставьте привязку к localhost и используйте туннелирование.
ssh -N -L 11434:127.0.0.1:11434 user@your-vpsОбеспечение безопасности конечной точки API Ollama содержит описание подходящих вариантов, включая использование reverse proxy, который запрашивает учетные данные.
Что может пойти не так и что вы увидите
Загрузка прерывается на середине. Проблема с диском. Запустите df -h для каталога с моделью. Сборка bf16 размером 57 ГБ не поместится на корневой раздел объемом 40 ГБ, как и 8-битная и 4-битная сборки вместе взятые.
Модель загружается, а затем процесс завершается. Нехватка оперативной памяти. dmesg -T фиксирует, что OOM-killer ядра выбрал процесс для завершения, а journalctl -u ollama -n 100 показывает это же событие со стороны сервиса. Решение — выбрать тег поменьше или использовать меньший num_ctx. Увеличение swap не поможет.
Скорость работы составляет секунды на токен. Запустите vmstat 1 и следите за столбцами si и so. Постоянная активность swap означает, что веса не помещаются в RAM и система считывает их с диска во время работы.
Тег, который работал на прошлой неделе, исчез. Списки тегов меняются. Перечитайте страницу модели, зафиксируйте текущую версию и запишите имя тега там, где вы сможете его найти в будущем.
Перед загрузкой проверьте размеры самостоятельно
Размеры в таблице были взяты со страницы тегов модели 25 октября 2026 года, и опубликованный список тегов не является гарантией. Ознакомьтесь с актуальным списком на странице модели, а затем подтвердите, какой объем данных фактически занял место на вашем диске:
ollama pull muse-glimmer:30b
ollama list
sudo du -sh /usr/share/ollama/.ollama/modelsOllama хранит слои моделей как общие блобы, поэтому два тега, использующие один и тот же слой, не занимают в два раза больше места на диске. Сравните данные, которые выводит du, с опубликованным размером и планируйте дисковое пространство, ориентируясь на большее из этих двух значений.
FAQ
Сколько оперативной памяти требуется Muse Glimmer на VPS?
Начните с размера тега и добавьте объем контекстного окна. Размер тега по умолчанию составляет около 18 ГБ по состоянию на 25 октября 2026 года, поэтому сервер с 16 ГБ ОЗУ не сможет его запустить, а на сервере с 24 ГБ останется мало места для контекста. Рассматривайте это как отправную точку, а не как готовый ответ. Загрузите тег, запустите его один раз, затем выполните ollama ps и free -h на своем сервере и изучите полученные показатели. Увеличение контекста и параллельные запросы дополнительно расходуют память сверх весов модели.
Можно ли запустить Muse Glimmer без GPU?
Да. Модель загружается и отвечает на VPS только с CPU. Скорость генерации ограничена пропускной способностью памяти, а не количеством ядер. На виртуальном хостинге эта пропускная способность является общей, поэтому ожидайте небольшое количество токенов в секунду при 4-битном квантовании. Это приемлемо для фоновых задач агента, выполняемых без участия пользователя, но неудобно для интерактивного чата. Запустите ollama ps во время выполнения запроса и проверьте столбец процессора, чтобы убедиться, где именно идет обработка.
Полезны ли теги MLX на Linux VPS?
Нет. Каждый тег, помеченный на странице как MLX, создан для движка Ollama MLX, который является бэкендом для Apple Silicon. Это касается 30b-nvfp4 и 30b-mxfp8, даже если в их названиях нет упоминания mlx. На x86 Linux-сервере эти теги представляют собой большой объем данных, который вы не сможете запустить. Используйте обычный тег 30b или другие теги без пометки MLX и игнорируйте бенчмарки для оборудования Apple, которые сопровождают сборки MLX.
Почему модель забывает информацию задолго до достижения 128K токенов?
Потому что на сервере без GPU стандартное контекстное окно Ollama составляет 4096 токенов, независимо от того, что поддерживает модель. Сервер обрезает длинные диалоги до того, как они попадут в модель. Установите OLLAMA_CONTEXT_LENGTH на сервере, используйте /set parameter num_ctx для одной сессии или передайте num_ctx в параметрах API-запроса. Потребление памяти растет вместе с этим значением, поэтому увеличивайте его постепенно и каждый раз проверяйте ollama ps.
Стоит ли фиксировать версию тега или использовать latest?
Фиксируйте версию. muse-glimmer без указания тега разрешается в latest — это указатель, который издатель может в любой момент перенаправить на другую сборку. В результате обычное обновление может изменить модель, на которой работает ваш агент. Указывайте muse-glimmer:30b в скриптах, юнит-файлах и конфигурациях агентов. Перед фиксацией проверяйте список тегов на странице модели, так как опубликованные теги могут меняться.