SSD Nodes Learn Hosting plans →
Руководства Matt ConnorАвтор: Matt Connor

Запуск GLM на VPS через Ollama: выбор модели и RAM

Модель GLM 5.2 доступна только через облачный API. Узнайте, какой тег GLM реально запустить на VPS, сколько RAM требуется для каждой квантованной версии и как настроить сервер.

Можно ли запустить GLM 5.2 на VPS?

Да, но не через официальный тег Ollama. По состоянию на 25 октября 2026 года GLM 5.2 в библиотеке Ollama имеет только один тег — glm-5.2:cloud. Тег :cloud работает на серверах Ollama. Ваш сервер отправляет запрос и получает токены, поэтому веса модели никогда не попадают на ваш диск. Z.ai публикует веса и документацию по локальному развертыванию с помощью SGLang и vLLM. Согласно репозиторию Z.ai, модель содержит около 753 миллиардов параметров. При использовании 4 бит на параметр для 753 миллиардов параметров объем весов составляет примерно 377 ГБ, и это расчет без учета контекста, активаций или операционной системы. Существующие тарифы VPS превышают этот объем памяти: Paragon предлагает план E-48 с 512 ГБ ОЗУ за €580 в месяц.

Модель GLM, которая помещается на арендованный сервер, — это glm-4.7-flash. Она публикуется с доступными для загрузки весами в 4 тегах. Это модель типа mixture-of-experts, что означает, что для каждого токена работает только небольшая часть сети. Z.ai описывает её как 30B-A3B: 30 миллиардов параметров всего, около 3 миллиардов активных на токен. Таким образом, это руководство отвечает на вопрос, с которым можно работать. Выберите тег, подберите размер сервера, измерьте скорость работы и обеспечьте приватность эндпоинта.

Проверяйте тег перед копированием любой команды, включая приведенные здесь. Библиотека Ollama меняется без предупреждения. Откройте список тегов glm-4.7-flash и убедитесь, что тег все еще существует. Если вышел новый релиз GLM с локальными весами, отдайте предпочтение ему и зафиксируйте, какой именно тег вы тестировали.

Если вы все же хотите использовать именно GLM 5.2, ollama run glm-5.2:cloud работает после ollama signin, и со стороны клиента модель ведет себя так же, как любая другая модель Ollama. Понимайте, на что вы идете: ваш запрос покидает ваш сервер. Если ваша цель при самостоятельном хостинге — хранение данных исключительно на вашей машине, то тег :cloud не соответствует этому требованию.

Какие теги GLM существуют и какой из них закрепить

Здесь важны две официальные записи GLM. glm-5.2 доступна только в облаке в библиотеке Ollama. glm-4.7-flash — это локальная версия, ниже приведены её опубликованные теги с размером загрузки, который указывает Ollama для каждого из них. Если вы использовали glm-5.1 ранее, учтите, что Ollama прекратила его поддержку 25 сентября 2026 года, и на странице библиотеки для него больше нет моделей. Z.ai по-прежнему публикует веса GLM-5.1 и предоставляет документацию по локальному развертыванию, поэтому отказ Ollama не делает модель недоступной в других местах.

Графикglm-4.7-flash tags in Ollama's library, checked 2026-10-25
Данные, на которых построен график
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

Это опубликованные цифры со страницы библиотеки, а не результаты измерений. latest и q4_K_M указаны с размером 19 ГБ, поэтому latest в настоящее время ссылается на сборку Q4. Это может измениться при любой повторной публикации, поэтому никогда не указывайте просто ollama pull glm-4.7-flash в скрипте или Dockerfile. Указывайте квантование. Самый большой тег, bf16, имеет размер 60 ГБ и содержит неквантованные веса bfloat16.

Поиск в библиотеке также возвращает загрузки с пространством имен, содержащие косую черту в названии, например someuser/glm-5.2. Косая черта означает, что модель опубликована учетной записью пользователя, поэтому это повторная загрузка сообществом, а не официальная запись. Никто не гарантирует, какие именно веса находятся внутри. Относитесь к такой модели так же, как к любому неподписанному бинарному файлу, найденному в сети.

Установка Ollama и загрузка конкретного тега

Установщик Ollama для Linux запускается одной командой.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Установщик создает systemd-юнит, который работает от имени пользователя ollama. Убедитесь, что служба запущена, прежде чем что-либо загружать.

systemctl status ollama --no-pager

Статус Active: active (running) означает, что systemd считает службу запущенной; это не гарантирует готовность API или открытие порта для прослушивания. Проверьте API отдельно с помощью curl -fsS http://127.0.0.1:11434/api/tags по адресу и порту по умолчанию. Если юнит отсутствует, значит, установщик выполнил обычную установку бинарного файла, и в документации Ollama для Linux приведен файл службы, который нужно создать вручную.

На странице glm-4.7-flash указана минимальная версия Ollama. Устаревший бинарный файл не замедляет работу модели, он просто отказывается её запускать: загрузка завершается ошибкой с сообщением о том, что для модели требуется более новая версия Ollama. Запустите скрипт установки повторно для обновления. По состоянию на 2 ноября 2026 года текущий релиз — 0.40.13, что значительно выше минимальных требований.

Теперь загрузите один тег по имени.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

Команда ollama ls должна вывести glm-4.7-flash:q4_K_M с размером, близким к опубликованному 19 ГБ. Если загрузка прервалась на середине, запустить модель не получится, поэтому повторите ту же команду. На тарифах с небольшим объемом диска проверьте свободное место перед загрузкой: стандартная установка в Linux записывает модели в /usr/share/ollama/.ollama/models, если вы не изменили расположение с помощью OLLAMA_MODELS. Проверьте свободное место с помощью df -h /usr/share/ollama перед началом работы.

Сколько оперативной памяти требуется для каждой квантованной модели?

Начните с размера загрузочного файла как с минимального порога, а затем добавьте к нему запас. Веса модели должны постоянно находиться в оперативной памяти. Поверх них располагается KV-кэш (key/value cache) — память, которую среда выполнения использует для хранения токенов текущего диалога, а также вычислительные буферы и ресурсы, потребляемые операционной системой. Сервер, имеющий ровно 19 ГБ оперативной памяти, не сможет запустить модель с тегом 19 ГБ.

Универсального множителя не существует, так как размер KV-кэша увеличивается вместе с допустимой длиной контекста, а остальные параметры меняются в зависимости от версии среды выполнения. Поэтому лучше проводить измерения, а не гадать. Загрузите модель с простым запросом и посмотрите, какой объем памяти зарезервировал сервер.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps выводит информацию о загруженной модели с колонками SIZE и PROCESSOR. SIZE — это объем, который среда выполнения зарезервировала фактически; именно это число нужно сравнивать с вашими планами. PROCESSOR показывает, где выполняются вычисления, поэтому 100% CPU означает, что GPU не задействован вовсе.

Если модель не помещается в память, Ollama может вернуть ошибку загрузки до начала генерации. Другие возможные последствия — высокая нагрузка на swap и принудительное завершение процесса из-за нехватки памяти (OOM kill). Проверяйте логи службы с помощью journalctl -u ollama --no-pager и логи ядра через journalctl -k | grep -i "out of memory", вместо того чтобы предполагать, что любой сбой памяти проходит незаметно.

Переход от тега Q4 размером 19 ГБ к тегу Q8 размером 32 ГБ — это основной рычаг управления потреблением памяти. Квантование Q4 снижает качество вывода, степень которого зависит от задачи: структурированный вывод и длинные цепочки рассуждений страдают сильнее, чем обычный чат. Статью Чем на практике отличаются Q4, Q8 и FP16 стоит прочитать до принятия окончательного решения, так как на VPS без GPU выбор квантования обычно определяет, запустится ли модель вообще.

Что происходит на VPS без GPU

Большинство тарифных планов VPS не включают GPU, и Ollama будет запускать модель на CPU, не предупреждая вас об этом. Будет ли результат пригоден для использования, зависит от рабочей нагрузки и вашего терпения.

Архитектура mixture-of-experts помогает увеличить скорость. Для генерации каждого токена используется лишь около 3 миллиардов из 30 миллиардов параметров, поэтому объем вычислений на токен значительно меньше, чем потребовалось бы для плотной модели 30B. Однако объем необходимой памяти не уменьшается. Каждый эксперт должен постоянно находиться в оперативной памяти, так как маршрутизатор может выбрать любого из них для следующего токена. Поэтому серверу только с CPU всё равно требуется полный объем 19 ГБ или больше для тега Q4, а пропускная способность в основном определяется пропускной способностью памяти, а не тактовой частотой процессора.

Это имеет практическое следствие: два тарифных плана с одинаковым количеством ядер и объемом RAM могут генерировать текст с заметно разной скоростью, так как их подсистемы памяти различаются. Общий (shared) тарифный план добавляет вторую переменную, поскольку время ожидания CPU из-за «шумного соседа» проявляется в виде показателя количества токенов в секунду, который меняется от часа к часу. Именно по этой причине опубликованные другими результаты не предсказывают ваши показатели, и именно поэтому следующий раздел представляет собой методику измерений, а не таблицу результатов.

Измерение собственной скорости генерации токенов

Эндпоинт generate в Ollama возвращает поля с временными метками в финальном JSON-объекте. Разделите количество сгенерированных токенов на длительность генерации, чтобы получить показатель для вашего тарифного плана и вашего промпта.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count — это количество сгенерированных токенов, а eval_duration — время генерации в наносекундах, поэтому eval_count / eval_duration * 1e9 показывает количество токенов в секунду. prompt_eval_duration учитывает время обработки промпта: именно это время пользователь воспринимает как ожидание появления первого токена. load_duration — это время загрузки модели с диска; оно велико при первом вызове после перезапуска и близко к нулю при последующих.

Выполните замер трижды и сохраните результаты второго и третьего прогонов, так как первый включает время загрузки. Затем повторите тест с гораздо более длинным промптом, поскольку скорость обработки промпта зависит от длины входных данных, а скорость генерации — нет. Запишите полученные значения рядом с названием вашего тарифного плана и типом квантования. Эти данные ценнее любых сторонних бенчмарков, так как они получены на оборудовании, за которое вы платите.

Как длина контекста увеличивает расход памяти

На сервере без GPU или с объёмом VRAM менее 24 GiB Ollama по умолчанию использует контекст из 4096 токенов. Модель поддерживает гораздо больше — 198K токенов для glm-4.7-flash, — но это значение не включается автоматически, и его использование требует дополнительной памяти.

KV-кэш хранит один ключевой вектор и один вектор значения для каждого токена в каждом слое. Его размер линейно растёт вместе с допустимой длиной контекста. Переход с 4096 на 32768 токенов увеличивает контекст в 8 раз, поэтому объём KV-кэша также увеличивается примерно в 8 раз. На сервере, где памяти достаточно только для загрузки весов, именно это дополнительное выделение памяти приводит к использованию swap. Поэтому машина, которая нормально обрабатывала короткие запросы, внезапно начинает работать очень медленно, когда кто-то вставляет длинный документ. Если на том же сервере нужен более длинный контекст, хранение KV-кэша в формате q8_0 вместо f16 позволяет примерно вдвое сократить это выделение памяти без изменения весов. В FAQ Ollama указано, что q8_0 требует примерно вдвое меньше памяти, чем f16, который используется для OLLAMA_KV_CACHE_TYPE по умолчанию. Квантизированный кэш применяется только при включённом flash attention. Ollama включает flash attention автоматически, если его поддерживают backend и устройства, а OLLAMA_FLASH_ATTENTION=1 принудительно включает этот режим.

Задайте это значение для отдельного запроса с помощью num_ctx в объекте options, как в приведённой выше команде curl, либо измените значение по умолчанию для сервера.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Последняя команда должна вывести значение OLLAMA_CONTEXT_LENGTH. Если она выводит пустое значение Environment=, файл переопределений находится не в том каталоге либо reload не выполнялся. После следующей загрузки модели значение ollama ps должно показать заметно большее значение SIZE, чем при 4096. Увеличивайте значение поэтапно и каждый раз отслеживайте это число. В разделе Настройка длины контекста Ollama с помощью num_ctx описано, как это взаимодействует с keep-alive и параллельными запросами. Оба параметра увеличивают те же расходы. Если сервером будут пользоваться несколько клиентов, одновременно с настройкой контекста задайте ограничения параллелизма, потому что каждый параллельный слот использует собственный KV-кэш, а параметр очереди определяет, будет ли второй запрос ждать или сразу отклонён.

Когда API обходится дешевле сервера

Самостоятельное размещение не всегда дешевле. Для этого семейства моделей опубликованные цены особенно наглядно это показывают.

ГрафикZ.ai published list prices per million tokens, checked 2026-10-25
Данные, на которых построен график
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

По состоянию на 25 October 2026 компания Z.ai указывает цену GLM-5.2 в размере $1.4 за миллион входных токенов и $4.4 за миллион выходных токенов. Для GLM-4.7-Flash — модели, которую запускает это руководство, — указана цена $0 в обоих направлениях. Это опубликованные цены, и они могут измениться. Поэтому перед планированием бюджета проверьте актуальную страницу для любой из этих моделей.

Поэтому сейчас финансовое обоснование самостоятельного размещения glm-4.7-flash выглядит слабым. VPS с достаточным объёмом RAM каждый месяц требует реальных расходов, а поставщик предоставляет ту же модель бесплатно. При самостоятельном запуске вы получаете другое: промпты остаются на машине под вашим контролем, а версия модели не меняется, пока вы сами её не измените. Это веские причины для самостоятельного размещения. Но для этой модели при таких ценах стоимость к ним не относится.

Расчёт меняется, если нужная вам модель не бесплатна или если ваши данные по закону не могут покидать собственную сеть. В статье Точка безубыточности между GPU VPS и токенами API этот расчёт приведён с явным описанием каждой переменной. Если вы ещё выбираете машину, вторая часть расчёта приведена в статье Сколько на самом деле стоит VPS в месяц.

Ограничение доступа через localhost

Это шаг, который часто пропускают, хотя он является самым важным.

По умолчанию Ollama привязывается к адресу 127.0.0.1 на порту 11434, поэтому сервис доступен только с самого сервера. Убедитесь в этом на своей машине, а не полагайтесь на предположения.

ss -ltnp | grep 11434

Вы должны увидеть 127.0.0.1:11434. Если вы видите 0.0.0.0:11434 или *:11434, это означает, что API прослушивает все сетевые интерфейсы, включая публичный.

Это критически важно, так как локальный API Ollama по умолчанию не требует аутентификации. Здесь нет паролей, токенов или списков разрешенных IP-адресов. Любой, кто имеет доступ к порту 11434, может просматривать список ваших моделей, запускать генерацию на оборудовании, за которое вы платите, загружать новые модели на ваш диск до его заполнения и удалять существующие. Порт 11434 является стандартным; переменная OLLAMA_HOST позволяет изменить как адрес привязки, так и порт.

Не устанавливайте OLLAMA_HOST=0.0.0.0. Эта переменная меняет адрес, к которому привязывается Ollama, и многие руководства предлагают её как решение, если клиент на вашем ноутбуке не может подключиться. Это неверный подход. Вместо этого используйте проброс порта.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

SSH прослушивает порт 11434 на вашем ноутбуке и перенаправляет каждое соединение на 127.0.0.1:11434 с точки зрения сервера, где Ollama уже ожидает подключений по умолчанию. Таким образом, для туннеля не требуется изменять OLLAMA_HOST, любой клиент, настроенный на http://localhost:11434, будет работать без правок, и ничего лишнего не будет открыто для доступа. Если доступ нужен нескольким пользователям или машинам, поместите сервер в частную сеть туннеля и привяжите Ollama к адресу туннеля, но никогда не привязывайте её к 0.0.0.0.

Проверьте доступность не с сервера, а извне. С вашего ноутбука при закрытом SSH-туннеле выполните:

curl -m 5 http://your-server-ip:11434/api/tags

Результатом должен быть curl: (28) Connection timed out или curl: (7) Failed to connect. Если вы видите JSON-список ваших моделей, значит, порт открыт для Интернета, и его необходимо немедленно закрыть. Сетевой файрвол вашего провайдера — это отдельный уровень контроля, отличный от того, что работает на самой машине, поэтому проверьте оба. В разделе Более широкий вопрос о безопасности VPS-хостинга рассматриваются остальные базовые требования для машины, которая работает постоянно.

Если модель glm-4.7-flash всё ещё слишком велика

Если тег Q4 не вписывается в ваш тарифный план, решение заключается в выборе модели меньшего размера, а не в сокращении контекста. Урезание контекста ради запуска модели приводит к тому, что она загружается, но выдает ошибку при первом же длинном запросе. В статье Qwen 3 в версиях 8B и 27B на VPS описан аналогичный процесс установки для моделей, подходящих для серверов с ограниченными ресурсами, а в общем руководстве по самостоятельному хостингу LLM с помощью Ollama на VPS разобраны аспекты, которые остаются неизменными независимо от выбора модели. На чем бы вы ни остановились, фиксируйте версию тега, проводите замеры на своем тарифе и оставляйте эндпоинт доступным только через loopback.

FAQ

Можно ли запустить GLM 5.2 локально на VPS?

Да, используя опубликованные веса Z.ai и поддерживаемую среду выполнения, например SGLang или vLLM. По состоянию на 25 октября 2026 года GLM 5.2 присутствует в библиотеке Ollama только как glm-5.2:cloud — тег, который работает на собственной инфраструктуре Ollama и требует ollama signin для корректной работы. Репозиторий весов Z.ai содержит модель объемом около 753 миллиардов параметров, поэтому даже при квантовании до четырех бит на параметр одни только веса занимают примерно 377 ГБ. Существующие тарифы VPS с большим объемом памяти превышают это значение, включая план E-48 с 512 ГБ от Paragon, но вам всё равно потребуется запас для накладных расходов среды выполнения и контекста. Меньшая модель GLM с загружаемыми весами, используемая в этом руководстве, — glm-4.7-flash.

Сколько оперативной памяти нужно для glm-4.7-flash?

Рассматривайте размер загрузки тега как минимальный порог, добавляя к нему место для KV-кэша и операционной системы. Ollama указывает размер тега Q4 как 19 ГБ, Q8 — 32 ГБ, а тег bfloat16 — 60 ГБ. Универсального множителя не существует, так как KV-кэш увеличивается в зависимости от установленной длины контекста. Загрузите модель, выполните ollama ps и посмотрите столбец SIZE, чтобы узнать реальное значение для вашей системы.

Как измерить количество токенов в секунду на собственном VPS?

Отправьте один запрос к http://localhost:11434/api/generate с помощью "stream": false, затем считайте eval_count и eval_duration из ответа. Количество токенов в секунду вычисляется как eval_count / eval_duration * 1e9, поскольку eval_duration измеряется в наносекундах. Отбросьте результат первого запуска, так как load_duration в этом случае включает чтение весов с диска. Повторите тест с длинным промптом, так как prompt_eval_duration растет вместе с длиной входных данных, в то время как скорость генерации — нет.

Почему не следует устанавливать OLLAMA_HOST в 0.0.0.0?

Потому что локальный API Ollama по умолчанию не требует аутентификации, поэтому привязка к 0.0.0.0 делает его доступным через любой интерфейс IPv4; публичный доступ в таком случае зависит от маршрутизации и настроек брандмауэра. Любой, кто получит доступ к порту 11434, сможет генерировать контент на вашем оборудовании и изменять список установленных моделей. Сохраняйте привязку по умолчанию 127.0.0.1, проверяйте её с помощью ss -ltnp | grep 11434 и обращайтесь к API со своего ноутбука через SSH-туннель, например ssh -N -L 11434:127.0.0.1:11434 you@your-server.

Была ли эта статья полезной?