SSD Nodes Learn Hosting plans →
Руководства Matt ConnorАвтор: Matt Connor

Запуск llama.cpp сервера на VPS с systemd

Узнайте, как собрать llama.cpp из конкретного тега, настроить API совместимое с OpenAI и запустить сервер через systemd с жесткими лимитами памяти для стабильной работы.

Что вы создаете

Запуск сервера llama.cpp на VPS подразумевает использование одного бинарного файла, llama-server, который загружает единственный файл модели GGUF и отвечает на HTTP-запросы через API, совместимый с OpenAI. Укажите совместимый клиент в http://127.0.0.1:8080/v1, а затем протестируйте функции, которые использует ваше приложение: совместимость является частичной. Установка — это лишь простая часть работы.

Остальная часть работы — это эксплуатация: фиксация версии, ограничение порта адресом localhost, написание unit-файла systemd и определение поведения системы при нехватке оперативной памяти. Именно это рассматривается в данном руководстве. Если вы еще не выбрали между двумя очевидными вариантами, сначала прочитайте сравнение преимуществ и недостатков Ollama и llama.cpp, так как это руководство описывает то, что намеренно опущено в сравнении.

Выберите тег релиза и запишите его

llama.cpp использует теги с номером сборки, такие как b10488 для ночных сборок, и теги семантического версионирования, vX.Y.Z, для официальных релизов. b10488 — это зафиксированная сборка, используемая в данном руководстве, выпущенная 18 августа 2026 года. Версия "latest" постоянно меняется, поэтому версия, которую вы протестировали, — это единственная версия, которую вы можете поддерживать. Выберите тег, запишите его и используйте эту же строку при клонировании, в имени бинарного файла и в своих заметках.

Для тега b10488 также поставляются предварительно собранные архивы. Для x86 VPS только с CPU это llama-b10488-bin-ubuntu-x64.tar.gz, а архив для arm64 находится рядом, если вы используете ARM VPS вместо x86.

curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | head

Просмотрите содержимое архива перед распаковкой, чтобы знать, куда будут помещены файлы. Эти бинарные файлы скомпилированы с привязкой к библиотеке C того образа, в котором они были собраны, поэтому в старых дистрибутивах они не запускаются с ошибкой, указывающей на отсутствующую версию GLIBC_. Сборка из исходного кода занимает несколько минут на небольшом VPS и устраняет этот класс проблем, поэтому ниже описан именно этот путь.

Сборка llama-server из зафиксированного тега

sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2

Команда --branch b10488 в клоне --depth 1 переключает состояние репозитория строго на этот тег, поэтому сборка не изменится в процессе работы.

libssl-dev важен, так как опция LLAMA_OPENSSL включена по умолчанию, и именно она позволяет бинарному файлу загружать модели по HTTPS в дальнейшем. Без файлов разработки OpenSSL эта зафиксированная сборка выдаст предупреждение об отключении поддержки HTTPS вместо ошибки конфигурации.

-DBUILD_SHARED_LIBS=OFF связывает llama.cpp и GGML в исполняемый файл; зависимости от системных библиотек сохраняются. Сборка по умолчанию размещает общие библиотеки рядом с исполняемым файлом, поэтому копирование только самого файла в /usr/local/bin приведет к ошибке error while loading shared libraries: libllama.so.

-t llama-server собирает только цель server. Сборка по умолчанию также компилирует остальные инструменты и тесты, что на VPS с двумя ядрами занимает лишние минуты на файлы, которые вы никогда не будете запускать.

-j 2 используется намеренно. Каждый параллельный процесс компиляции занимает свой объем оперативной памяти, поэтому -j $(nproc) на тарифе с малым объемом ресурсов заканчивается ошибкой c++: fatal error: Killed signal terminated program cc1plus — это OOM-killer ядра останавливает компилятор. Уменьшите количество потоков или добавьте swap на время сборки.

Один флаг, который может потребоваться изменить: GGML_NATIVE включен по умолчанию, поэтому компилятор оптимизирует код под конкретный процессор, на котором идет сборка. Это именно то, что нужно, если вы собираете программу на той же машине, где она будет работать. Если вы собираете бинарный файл один раз для переноса на другой хост, добавьте -DGGML_NATIVE=OFF, иначе программа, использующая инструкции, которых нет у другого процессора, завершится с ошибкой Illegal instruction (core dumped) при первой попытке вывода.

Установите его под именем, содержащим тег.

./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server

--version выводит номер сборки и коммит. Он должен совпадать с тегом, который вы выбрали. Если это не так, вы собрали что-то другое. Использование номера в имени файла и создание символической ссылки на него означает, что обновление выполняется одной командой ln -sfn и перезапуском, а откат — той же командой с указанием старого номера.

Получение модели GGUF и проверка диска

GGUF — это формат единого файла, который загружает llama.cpp. Один файл содержит веса, токенизатор и метаданные, поэтому устанавливать что-либо еще не требуется. Суффикс в имени файла обозначает квантование — точность, с которой хранятся веса: Q4_K_M представляет собой 4-битный микс, Q8_0 — 8-битный, а f16 — неквантованный файл половинной точности.

Создайте сервисную учетную запись и каталог для моделей перед тем, как что-либо скачивать.

sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srv

Сервер может самостоятельно загрузить модель с помощью -hf; это самый быстрый способ убедиться, что ваша сборка работает.

sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
  -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080

LLAMA_CACHE задает каталог для загрузки. Без этого параметра или XDG_CACHE_HOME файл попадет в ~/.cache/llama.cpp от имени той учетной записи, которая выполнила команду; приведенный ниже юнит делает /srv/llama доступным только для чтения. После этого выполните ls -lh /srv/models, так как имя файла в кэше формируется на основе имени репозитория, а не исходного имени файла.

Для сервиса скачивайте файлы в выбранный вами путь, чтобы у файла юнита был стабильный адрес.

sudo -u llama curl -L --output-dir /srv/models -O \
  https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf

Дисковое пространство — это ограничение, с которым сталкиваются в первую очередь. Ниже приведены опубликованные размеры файлов для двух моделей, проверенные 18 августа 2026 года.

ГрафикGGUF file size on disk, published figures, 18 August 2026
Данные, на которых построен график
[
  {
    "label": "gemma-3-1b-it Q4_K_M",
    "size_gb": 0.81
  },
  {
    "label": "gemma-3-1b-it Q8_0",
    "size_gb": 1.07
  },
  {
    "label": "gemma-3-1b-it f16",
    "size_gb": 2.01
  },
  {
    "label": "gpt-oss-20b MXFP4",
    "size_gb": 12.11
  }
]

4-битный файл для модели 1B занимает 0.81 ГБ. Та же модель без квантования занимает 2.01 ГБ, таким образом, выбор формата меняет размер более чем в два раза. Модель 20B в формате MXFP4 занимает 12.11 ГБ, и после этого она еще должна быть считана в память. Если вы присматриваетесь к конкретному семейству, аналогичный расчет размеров для GLM показывает, как быстро топовая модель становится слишком дорогой для VPS, в то время как ее младшая версия вполне подходит.

Проверяйте df -h перед каждой загрузкой. Корневая файловая система, переполненная во время передачи 12 ГБ данных, нарушает работу всех остальных процессов, которым требуется запись, включая журнал.

Запустите его вручную один раз и проверьте

sudo -u llama /usr/local/bin/llama-server \
  --model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  --ctx-size 4096 --parallel 1 --threads 2 --no-webui

Во втором сеансе запросите у сервера, готов ли он к работе.

curl -s http://127.0.0.1:8080/health

Пока файл загружается, вы получаете ошибку HTTP 503 и следующее тело ответа:

{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}

Когда сервер готов, тело ответа содержит {"status": "ok" }. После этого отправьте реальный запрос.

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'

JSON-объект с массивом choices означает, что сервер работает корректно. Поле model присутствует, так как клиенты OpenAI всегда его отправляют. На этом сервере загружена только одна модель, поэтому данное значение не используется для выбора.

API, совместимый с OpenAI, и другие возможности порта

POST /v1/chat/completions, POST /v1/completions, POST /v1/responses и POST /v1/embeddings — это маршруты, совместимые с OpenAI, а GET /v1/models сообщает о загруженной модели. Для работы с эмбеддингами требуется модель с пулингом, отличным от none. GET /health — это проверка готовности, упомянутая выше, GET /props возвращает текущие настройки сервера, а GET /metrics предоставляет счетчики Prometheus, если вы запускаете сервер с флагом --metrics.

Для вызовов через совместимые SDK OpenAI установите базовый URL в http://127.0.0.1:8080/v1 и укажите любую непустую строку в качестве API-ключа, если этого требует SDK. Это не гарантирует совместимость со всеми функциями SDK. Никакие механизмы не проверяют этот ключ, пока вы сами не установите --api-key или --api-key-file.

Не принимайте заявления о пропускной способности за показатели для вашего собственного плана. Скорость инференса на CPU зависит от количества ядер, пропускной способности памяти и соседей, с которыми вы делите хост, поэтому измерьте количество токенов в секунду на своей машине и считайте этот результат истинным. Steal time от шумного соседа проявляется здесь как скорость генерации, которая меняется от часа к часу.

Оставьте привязку к 127.0.0.1 и используйте прокси

--host по умолчанию использует 127.0.0.1, поэтому сервер недоступен извне, пока вы не измените настройки. Не меняйте их. Используйте прокси для управления учетными записями пользователей, ограничения частоты запросов и аудита логов; встроенная аутентификация API использует статические ключи: --api-key принимает один ключ или список через запятую, а --api-key-file считывает по одному ключу на строку. Открытый порт для инференса — это бесплатные вычислительные мощности для любого, кто его обнаружит, и та же ошибка с Ollama выглядит точно так же: ограничение доступа к API самохостируемой модели применимо здесь в полной мере.

Завершайте TLS (transport layer security) в nginx и проксируйте запросы на loopback-интерфейс.

server {
    listen 443 ssl;
    server_name llm.example.com;

    location /v1/ {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

proxy_buffering off передает потоковые ответы клиенту по мере их получения nginx. При включенном буферизации nginx накапливает данные от upstream, вместо того чтобы немедленно пересылать каждое событие. proxy_read_timeout 600s дает запас времени для медленных ответов. Это максимальное время ожидания nginx между двумя операциями чтения с сервера, а не ограничение на весь ответ целиком, поэтому при значении по умолчанию в 60 секунд нестриминговый запрос, который ничего не отправляет в течение этого интервала, завершится по таймауту. В b10488 потоковые ответы отправляют SSE keepalive-пинги каждые 30 секунд по умолчанию, в том числе во время длительной обработки промпта. Получите сертификат с помощью Certbot и Let's Encrypt в nginx.

Юнит systemd

Запишите /etc/systemd/system/llama-server.service.

[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes

[Install]
WantedBy=multi-user.target

Настройки находятся в строках Environment=, так как llama-server считывает переменные LLAMA_ARG_* для большинства флагов, а аргумент командной строки переопределяет соответствующую переменную. Это позволяет изменять размер контекста в одном месте и сохраняет ExecStart достаточно коротким для быстрого чтения.

ProtectSystem=strict делает файловую систему доступной только для чтения для данного юнита, за исключением частных временных директорий, что допустимо, так как сервер только считывает модель. Добавьте ReadWritePaths=/srv/models и Environment=LLAMA_CACHE=/srv/models, если вы хотите, чтобы сам сервис загружал модели с помощью -hf. ProtectHome=yes скрывает /home, /root и /run/user; это не скрывает домашнюю директорию учетной записи сервиса в /srv/llama, но ProtectSystem=strict делает эту директорию доступной только для чтения.

sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pager

enable --now — это та часть, которую люди часто пропускают. Без enable сервер исчезнет после следующей перезагрузки. Если вам требуется выполнение запланированных задач вокруг сервиса, например, ночная проверка наличия нового релиза, механизмом для этого является сервис systemd вместе с таймером.

Определите поведение при OOM до возникновения проблемы

Использование памяти состоит из двух частей, которые ведут себя по-разному при достижении лимита. Файл модели по умолчанию отображается в память (memory-mapped), поэтому его страницы привязаны к файлу: ядро может выгрузить их и считать снова с диска. KV cache, представляющий собой состояние для каждого токена, которое сервер хранит для всех активных диалогов, является анонимной памятью. Она не может быть выгружена, поэтому именно из-за неё процесс завершается принудительно.

Именно поэтому два лимита в юните выполняют разные задачи. MemoryHigh=3G — это мягкий лимит: при его превышении ядро оказывает давление на cgroup, поэтому отображенные страницы модели вытесняются и считываются с диска при обработке следующего токена. Сервис продолжает работать, но замедляется. MemoryMax=3500M — это жесткий потолок: ядро сначала пытается освободить всё, что возможно, и если использование памяти всё равно не удается удержать в рамках лимита, внутри юнита срабатывает OOM killer, о чем прямо сообщается в журнале.

llama-server.service: A process of this unit has been killed by the OOM killer.

Установите --ctx-size самостоятельно. Значение по умолчанию — 0, что соответствует контексту, на котором обучалась модель, и в современных моделях с длинным контекстом это приводит к выделению очень большого KV cache при запуске. В результате сервис завершается, не успев обработать ни одного запроса. --parallel не умножает эти затраты сам по себе: --ctx-size задает общий размер KV cache, разделяемый всеми слотами, поэтому --ctx-size 4096 --parallel 4 выделяет каждому диалогу около 1,024 токенов, а не в четыре раза больше памяти. Предоставление каждому слоту полного контекста означает умножение --ctx-size на количество слотов, и потребление памяти растет пропорционально, поэтому оставьте --parallel равным 1, пока не убедитесь в необходимости параллельной обработки.

С Restart=on-failure завершенный сервис перезапускается. Systemd прекращает попытки перезапуска с start request repeated too quickly только в том случае, если количество запусков превышает настроенный лимит; пятисекундная задержка перезапуска в данном случае не достигает лимита по умолчанию в пять запусков за десять секунд. Остановите бесконечный цикл перезапуска с помощью sudo systemctl stop llama-server, исправьте лимит или размер контекста, затем очистите состояние ошибки через sudo systemctl reset-failed llama-server и запустите сервис снова.

Отслеживайте реальные показатели с помощью systemctl show llama-server -p MemoryCurrent во время выполнения запроса. Ограничение памяти и процессора для процесса с помощью systemd подробно описывает эти директивы.

Избегайте использования swap для этой рабочей нагрузки. Выгрузка модели в swap превращает генерацию каждого токена в случайное чтение с диска. Отображение файла модели в память (memory mapping) достигает того же эффекта с меньшим ущербом, так как ядро считывает нужные страницы напрямую из файла.

В каких случаях Ollama является лучшим решением

Здесь пути расходятся. Выбирайте llama-server, если вам нужен один процесс с заданными флагами, зафиксированной сборкой и конкретным файлом, где конфигурация остается неизменной, так как другие службы не запущены.

Выбирайте Ollama, если вам требуется управление моделями: загрузка моделей по имени, хранение нескольких моделей на диске, выгрузка неактивных моделей и обновление одной командой вместо пересборки. Это реальная работа, которую в противном случае вам пришлось бы автоматизировать самостоятельно. Запуск Ollama на VPS — это та же задача, но с иным балансом компромиссов. Оба варианта предоставляют API, совместимый с OpenAI, но перед переходом на любой из них протестируйте конечные точки и функции, которые использует ваш клиент.

Обновление зафиксированной сборки

Замените bNNNNN на тег nightly-сборки, на которую вы переходите; для официальных релизов используйте тег vX.Y.Z.

cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-server

Старый бинарный файл остается на диске, поэтому для отката достаточно выполнить ln -sfn, вернувшись к llama-server-b10488, и перезапустить сервис. Перед обновлением ознакомьтесь с примечаниями к выпуску. Файлы GGUF имеют версионность, но обратная совместимость не является универсальной: текущий загрузчик отклоняет GGUFv1. Флаги также переименовываются: в b10488 параметры --mlock и --no-mmap уже были объявлены устаревшими в пользу --load-mode, а по состоянию на 11 октября 2026 года в текущей документации сервера они больше не упоминаются. В результате юнит-файл, содержащий удаленный флаг, при запуске выдает ошибку о неизвестном аргументе. Значения по умолчанию также меняются: текущие сборки по умолчанию слушают порт 9931, тогда как b10488 использовал 8080. Именно поэтому в каждой команде и в юнит-файле здесь порт указывается явно.

Типичные сбои и сообщения об ошибках

error while loading shared libraries: libllama.so после копирования бинарного файла в другое место. Сборка по умолчанию создает общие библиотеки рядом с исполняемым файлом. Выполните пересборку с -DBUILD_SHARED_LIBS=OFF или скопируйте всю директорию build/bin.

Illegal instruction (core dumped) при запуске или при первом запросе. Бинарный файл был скомпилирован с GGML_NATIVE для процессора, архитектура которого отличается от текущей. Выполните пересборку на этой машине или настройте параметры через -DGGML_NATIVE=OFF.

c++: fatal error: Killed signal terminated program cc1plus во время сборки. Компилятор был завершен принудительно из-за нехватки оперативной памяти. Уменьшите -j или добавьте swap на время сборки, а затем удалите его.

curl: (7) Failed to connect ... Connection refused при попытке подключения с вашего ноутбука. Это ожидаемое поведение: сервер слушает только loopback-адрес на VPS. Протестируйте работу на самом VPS или откройте туннель с помощью ssh -L 8080:127.0.0.1:8080 user@your-vps и используйте http://127.0.0.1:8080 локально.

HTTP 503 с "message":"Loading model" в течение первых секунд или минут после перезагрузки. Чтение файла размером в несколько гигабайт требует времени, а systemd помечает юнит как активный сразу после запуска процесса, еще до того, как модель загрузится в память.

Запросы зависают, а затем возвращают 504 Gateway Time-out. Сервер не отправлял данные дольше, чем proxy_read_timeout, что может происходить при не-потоковых запросах. Потоковые запросы в b10488 по умолчанию отправляют keepalive-пинги каждые 30 секунд во время обработки длинных промптов. Увеличьте proxy_read_timeout и отключите proxy_buffering, чтобы токены доставлялись клиенту по мере их генерации.

Юнит постоянно перезапускается и затем останавливается с ошибкой start request repeated too quickly. Количество попыток запуска превысило настроенный лимит. Проверьте journalctl -u llama-server на наличие записи о срабатывании OOM killer, затем уменьшите --ctx-size или увеличьте MemoryMax.

FAQ

Что лучше запустить на VPS: сервер llama.cpp или Ollama?

Используйте llama-server, если вам нужно зафиксировать конкретную сборку, передать точные флаги и хранить одну модель в одном файле, который никто не обновит без вашего ведома. Используйте Ollama, если вам нужно управление моделями и обновления одной командой, так как загрузка моделей по имени, хранение нескольких версий на диске и выгрузка простаивающих моделей — это работа, которую в противном случае пришлось бы автоматизировать самостоятельно. Оба решения предоставляют API, совместимый с OpenAI, но при переключении необходимо проверять, какие именно эндпоинты и функции использует ваш клиент.

На какую версию llama.cpp стоит ориентироваться?

На любой тег, который вы успешно собрали и протестировали. Ночные сборки для разработчиков используют теги с номером сборки, например b10488, выпущенный 18 августа 2026 года; официальные релизы используют семантические теги версий, например vX.Y.Z. Клонируйте репозиторий с помощью --branch <tag>, установите бинарный файл под именем, содержащим этот тег, и укажите на него через символическую ссылку. Это позволит выполнять обновление и откат одной командой.

Сколько оперативной памяти нужно для llama-server?

Начните с размера файла GGUF, затем добавьте объем KV-кэша, который растет вместе с --ctx-size. Это число представляет собой общий бюджет токенов, разделяемый всеми слотами --parallel, поэтому для большего количества слотов требуется больший --ctx-size, если каждый из них должен поддерживать одинаковый контекст. Опубликованные цифры не заменяют замеры вашей собственной системы, так как итоговое значение зависит от модели, квантования и разрешенного вами контекста. Запустите systemctl show llama-server -p MemoryCurrent во время выполнения запроса и используйте полученное значение.

Почему /health возвращает 503 с сообщением "Loading model"?

Процесс запущен, но файл модели еще не загружен в память, поэтому сервер отвечает {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}. Это нормальное поведение после каждого перезапуска, и оно длится столько, сколько занимает чтение файла. Проблема возникает только в том случае, если клиент или прокси воспринимает этот первый 503 как критический сбой. Опрашивайте /health до тех пор, пока он не вернет {"status": "ok" }.

Можно ли открывать llama-server напрямую в Интернет?

Не привязывайте его к 0.0.0.0 и не открывайте порт. Используйте прокси для управления учетными записями, ограничения частоты запросов и ведения аудита; встроенная аутентификация API использует статические ключи, заданные через --api-key или --api-key-file. Оставьте привязку по умолчанию 127.0.0.1, установите перед ним nginx с TLS и настройте --api-key, чтобы одна ошибка в конфигурации прокси не оставила модель доступной для всех.

Была ли эта статья полезной?