Ollama чи llama.cpp на VPS: що вибрати
Порівняння Ollama і llama.cpp для VPS лише з CPU: як quantisation змінює RAM, коли потрібен точний GGUF-файл і коли не підійде жоден варіант.
Ollama проти llama.cpp: який рівень ви хочете запускати?
Ollama і llama.cpp не є конкурентами в тому сенсі, який передбачає це запитання. llama.cpp — це рушій інференсу: він завантажує файл моделі та перетворює prompt на токени. Ollama — це менеджер моделей, фоновий daemon і HTTP API, що працює поверх цього рушія. У README Ollama досі зазначено llama.cpp як backend для інференсу (перевірено 27 October 2026). Отже, насправді потрібно вирішити, з яким рівнем ви хочете працювати на своєму VPS, а не який із них швидший.
Запускайте Ollama, якщо вам потрібен сервіс, який завантажує моделі за іменем і працює без постійного контролю. Запускайте llama.cpp безпосередньо, якщо сервер має обмежені ресурси й вам потрібно вибрати точний файл моделі, точний розмір контексту та точну кількість потоків, оскільки на невеликому VPS кожен із цих параметрів споживає пам’ять, якої у вас недостатньо.
Що насправді являє собою кожен проєкт
llama.cpp — це реалізація inference для transformer-моделей мовами C і C++, побудована на бібліотеці ggml. Вона читає файли GGUF. GGUF (GGML universal file format) — це контейнер в одному файлі, який містить weights, tokeniser і metadata, потрібні engine для запуску моделі. Проєкт постачає окремі binaries для різних завдань. llama-server — це HTTP server, llama-cli — інтерактивний prompt, а llama-bench вимірює throughput. Тепер проєкт випускає релізи із semantic versioning (MAJOR.MINOR.PATCH), і v0.7.0, опублікований 15 October 2026, був останнім станом на 27 October 2026. Поряд із ними й далі регулярно з’являються nightly tags із номерами збірок — по кілька на день; найновішим станом на 27 October 2026 був b11913.
Ollama — це програма мовою Go. Фоновий daemon, запущений за допомогою ollama serve, завантажує моделі та обробляє HTTP-запити, а command line client взаємодіє з цим daemon. В основі обох компонентів лежить registry на ollama.com, де зберігаються попередньо підготовлені моделі. Ollama використовує semantic versions. v0.32.5 вийшла 27 July 2026, а v0.40.12 була випущена 27 October 2026 о 00:07 UTC. ollama pull завантажує GGUF разом із prompt template та набором default parameters, а потім зберігає його в /usr/share/ollama/.ollama/models у Linux. Ці файли розміщуються на root disk і кожен може займати кілька гігабайтів, тому на VPS із root volume на 25 GB варто заздалегідь знати що залишає pull і як перенести model directory в інше місце, перш ніж третє завантаження заповнить диск.
У цьому і полягає вся різниця між цими способами пакування. Ollama самостійно визначає quantisation, template і context length та дає одне ім’я, яке потрібно запам’ятати. llama.cpp відкриває ці параметри у вигляді flags і автоматично використовує default settings для параметрів, які ви не вказали.
Вісь 1: керування моделлю та квантизацією
Квантизація зберігає ваги в меншій кількості бітів, ніж 16 або 32 біти оригінальної моделі. У поширених збірках GGUF у середньому використовується приблизно 4, 5 або 8 бітів на вагу. Точність розподілена по файлу нерівномірно. У вихідному коді квантизатора llama.cpp (перевірено 27 October 2026) збірка Q4_K_M зберігає більшість тензорів у 4-бітному форматі, але вихідний шар, а також тензори значень attention і down feed-forward приблизно в половині шарів — у 6-бітному форматі Q6_K. Малі тензори, наприклад norms, взагалі не квантизуються. Завдяки цьому модель із 8 billion параметрів уміщується в RAM звичайного VPS. Позначення GGUF стає зрозумілим, якщо знати цю схему: Q4_K_M означає 4-bit K-quant середнього розміру. Більше число зберігає вищу точність і потребує більше пам’яті.
Дані, на яких побудовано графік
[
{
"label": "Q2_K",
"file_size_gib": 2.96
},
{
"label": "Q3_K_M",
"file_size_gib": 3.74
},
{
"label": "Q4_K_M",
"file_size_gib": 4.58
},
{
"label": "Q5_K_M",
"file_size_gib": 5.34
},
{
"label": "Q6_K",
"file_size_gib": 6.14
},
{
"label": "Q8_0",
"file_size_gib": 7.95
}
]Це опубліковані розміри файлів у репозиторії bartowski/Meta-Llama-3.1-8B-Instruct-GGUF на Hugging Face, перевірені 2 August 2026 і перетворені з bytes у GiB. Для однієї моделі доступно 6 збірок. Найменша має розмір 2.96 GiB, а найбільша — 7.95 GiB. Поширена збірка за замовчуванням, Q4_K_M, має розмір 4.58 GiB. На VPS із 4 GiB цей вибір визначає, чи завантажиться модель взагалі. Розмір — лише половина рішення, оскільки доступний за ресурсами варіант не обов’язково вартий використання. Що саме Q4, Q8 і fp16 коштують вам у якості відповідей визначає, чи дають додаткові гігабайти помітний результат.
У llama.cpp потрібно вказати файл, тому цей варіант ви вибираєте самостійно.
llama-server -m ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
-c 4096 -t 4 --host 127.0.0.1 --port 8080-c — це розмір контексту в tokens, -t — кількість threads, а -ngl визначає, скільки layers переміщуються на GPU (0 на сервері лише з CPU). Невстановлені параметри мають значення за замовчуванням. --fit увімкнено за замовчуванням: цей параметр коригує невстановлені аргументи відповідно до обсягу пам’яті пристрою.
В Ollama квантизація визначається tag, який ви завантажуєте, а ollama ls показує, що фактично збережено на диску. Якщо registry не містить потрібної збірки, імпортуйте GGUF самостійно. Створіть Modelfile:
FROM ./Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
PARAMETER num_ctx 4096Потім зберіть його та перевірте результат:
ollama create llama31-q4 -f ./Modelfile
ollama lsДовжина контексту часто стає причиною проблем. Ollama вибирає значення за замовчуванням на основі доступної VRAM, а сервер без GPU потрапляє до найменшої категорії: 4096 tokens. Якщо передати документ на 20,000 tokens, зайві tokens буде відкинуто ще до того, як модель їх побачить. У результаті відповідь буде впевнено неправильною щодо файла, який модель прочитала лише частково. Збільшіть значення за допомогою OLLAMA_CONTEXT_LENGTH для daemon або PARAMETER num_ctx у Modelfile. Якщо більший контекст потрібен лише одному завданню, num_ctx можна встановити для окремого запиту, а не для всього сервера, щоб додатковий кеш не використовувався для інших завдань daemon. У llama.cpp також немає значення за замовчуванням, якому варто довіряти. Явно встановіть -c і перевірте, яке значення задано.
Арифметика використання пам’яті, про яку зазвичай не говорять
Файл моделі — не єдина складова витрат пам’яті. KV cache (кеш ключів і значень) зберігає один запис на кожен шар і кожен токен контексту. Він збільшується разом із довжиною розмови.
Розглянемо Llama 3.1 8B. Модель має 32 шари, 8 голів ключів і значень та розмірність голови 128. Для кожного токена зберігаються і ключ, і значення по 2 байти кожне у f16, тому 2 x 8 x 128 x 2 = 4096 байтів на шар. Для 32 шарів це 128 KiB на токен. Контекст на 4096 токенів потребує 512 MiB, а контекст на 32,768 токенів — 4 GiB.
Отже, моделі Q4_K_M 8B за контексту 4k потрібно приблизно 4.58 GiB для ваг, близько 0.5 GiB для кешу та додатково пам’ять для самого runtime. У 4 GiB RAM вона не поміститься. У 8 GiB вона працюватиме із запасом. Якщо збільшити контекст до 32k на тому самому сервері з 8 GiB, кеш сам використає весь запас пам’яті. Під час завантаження моделі спостерігайте за використанням пам’яті в реальному часі за допомогою free -h і не покладайтеся на оцінку, яку не перевірили вимірюванням. Якщо ви плануєте модель, значно більшу за 8B, та сама арифметика для моделі 27B на VPS лише з CPU показує, який обсяг даних фактично вміщує кожен рівень від 8 до 64 GB.
Ollama збільшує ці вимоги. OLLAMA_NUM_PARALLEL за замовчуванням дорівнює 1, а обсяг пам’яті, потрібний моделі, масштабується пропорційно до цього значення та довжини контексту. Якщо одночасно збільшити обидва параметри, daemon непомітно запитає у кілька разів більше RAM, ніж ви очікували. Та сама арифметика визначає граничну кількість одночасних користувачів, оскільки кожен паралельний запит потребує власної частини KV cache. Саме тому сервер, який нормально працює для одного користувача, зупиняється під навантаженням від п’яти.
Вісь 2: daemon, яким потрібно керувати
Скрипт встановлення Ollama записує unit systemd, створює системного користувача ollama і вмикає сервіс. Керування життєвим циклом доступне без ручного написання всіх цих налаштувань. Конфігурація виконується через systemd:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KEEP_ALIVE=30m"sudo systemctl daemon-reload
sudo systemctl restart ollama
journalctl -e -u ollamaOLLAMA_KEEP_ALIVE має особливе значення на CPU VPS. За замовчуванням моделі зберігаються в пам’яті протягом 5 хвилин, а потім вивантажуються. Перед відповіддю на наступний запит потрібно знову завантажити весь файл. Якщо ядро все ще зберігає файл у page cache, це відбувається швидко. Але файл залишається там лише за наявності вільної RAM. Коли інші процеси витісняють його з кешу, файл знову зчитується з диска. Через це повторне завантаження розміром 4.58 GiB може збільшити час відповіді з двох секунд до тридцяти секунд на повільному сховищі. Тривалий keep-alive усуває затримку, але постійно займає RAM. Обидва варіанти мають реальну ціну. Оберіть той, який створює меншу проблему. Якщо модель має постійно залишатися в пам’яті, налаштування keep_alive, щоб модель переживала періоди простою та перезавантаження потребує лише кількох рядків і позбавляє необхідності вручну прогрівати модель після кожного перезапуску сервера.
llama.cpp не створює daemon і системного користувача для сервісу, тому їх потрібно налаштувати самостійно. У каталозі llama.cpp, з якого ви виконували збирання, встановіть binary та його бібліотеки в /usr/local, створіть користувача llama і надайте йому копію моделі:
sudo cmake --install build
sudo ldconfig
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
sudo install -o llama -g llama -m 644 ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf /srv/models/model-Q4_K_M.ggufЯкщо замість збирання ви використали release archive, вкажіть ExecStart на llama-server усередині цього архіву, оскільки archive зберігає бібліотеки поруч із binary. Потім запишіть unit як /etc/systemd/system/llama-server.service:
[Unit]
Description=llama.cpp server
After=network-online.target
[Service]
ExecStart=/usr/local/bin/llama-server -m /srv/models/model-Q4_K_M.gguf -c 4096 -t 4 --host 127.0.0.1 --port 8080
Restart=always
RestartSec=3
User=llama
[Install]
WantedBy=multi-user.targetУвімкніть його за допомогою sudo systemctl enable --now llama-server. Після цього процес утримує модель протягом усього часу роботи. За замовчуванням модель не вивантажується під час простою, але додавання --sleep-idle-seconds вмикає автоматичне вивантаження та повторне завантаження без зупинки сервісу. Якщо ви вперше створюєте units, це та сама схема, що й запуск власних сервісів через systemd на VPS.
Вісь 3: API, з яким взаємодіятиме ваш застосунок
Ця вісь стала значно вужчою. Тепер обидва проєкти підтримують формат OpenAI chat, тому більшість клієнтських бібліотек працює з будь-яким із них після зміни лише базової URL-адреси.
Ollama прослуховує 127.0.0.1:11434. Його сумісний з OpenAI маршрут — http://localhost:11434/v1/chat/completions, а паралельно він надає власний API за адресою /api/chat. Також задокументовано маршрут, сумісний з Anthropic. Жоден із цих маршрутів не дає моделі змоги самостійно шукати інформацію, тому якщо застосунку потрібні відповіді, актуальніші за дані навчання моделі, передбачте підключення вебпошуку через API Ollama, Open WebUI або короткий цикл виклику інструментів.
curl -X POST http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "llama31-q4", "messages": [{"role": "user", "content": "Say this is a test"}]}'Запущений із наведеними вище прапорцями, llama-server слухає на 127.0.0.1:8080. Якщо не вказати параметри, тепер він використовує порт 9931 (перевірено 27 October 2026), тому залиште --port у командному рядку, якщо ваш застосунок очікує порт 8080. Він надає /v1/chat/completions, /v1/completions і /v1/embeddings, а також власний endpoint /completion і вбудований вебінтерфейс. Крім того, він надає службові маршрути, яких немає в Ollama: /health для readiness probe, /props для параметрів завантаженої моделі, /slots для відображення стану кожного слота запитів і /metrics у форматі Prometheus після додавання --metrics, оскільки цей endpoint за замовчуванням вимкнений. Якщо ви плануєте моніторити цей сервіс, саме ця відмінність, імовірно, стане вирішальною.
Жоден із серверів не вмикає автентифікацію автоматично. За замовчуванням обидва слухають лише loopback, і це обґрунтовано. Підключайтеся до них через SSH-тунель або використовуйте reverse proxy. Ніколи не відкривайте порти 11434 або 8080 в інтернет.
Що насправді може VPS лише з CPU
VPS лише з CPU повільно запускає невеликі моделі. Це чесний підсумок, а корисно знати, де саме проходить межа. Перш ніж будувати на цьому будь-яку архітектуру, виконайте вимірювання:
llama-bench -m ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -p 512 -n 128У стовпці pp вказано швидкість обробки prompt, а у стовпці tg — швидкість генерації токенів; обидва значення наведено в токенах за секунду. На плані зі спільним vCPU модель 8B у форматі Q4_K_M зазвичай показує лише кілька одиниць для tg. Найбільше впливає обробка prompt: увесь prompt обробляється до появи першого вихідного токена, тому довгий системний prompt додає затримку до кожного запиту. Довжина відповіді — це частина витрат, яку можна реально контролювати: за швидкості три токени за секунду модель, яка генерує 600 токенів, займає VPS протягом 200 секунд, тобто понад три хвилини лише на генерацію. Тому обмеження вихідних даних за допомогою num_predict — найдешевший спосіб не допустити, щоб одна надто довга відповідь спричинила тайм-аут.
На CPU придатна модель від 1B до 4B для класифікації, вилучення даних, коротких підсумків або маршрутизації. Відповіді надходять за кілька секунд, а обсяг пам’яті відповідає звичайному плану. Практичний приклад моделі такого розміру, а не діапазону розмірів, наведено в матеріалі Nemotron 3.5 Lightning завантажено та виміряно на VPS: там вказано точний tag, фактичний обсяг RAM і швидкість роботи без GPU. На CPU непридатні інтерактивний чат зі швидкістю читання, асистенти для програмування, робота з довгими документами та будь-які сценарії з agent loop, який послідовно виконує багато викликів. Цикл із дванадцяти викликів по чотири секунди займає хвилину ще до появи результату. Якщо план полягав у використанні асистента для програмування, матеріал підключення agent до моделі, яку ви розміщуєте самостійно пояснює, які завдання мала локальна модель справді виконує краще, а які мають залишатися на hosted API.
Якщо показники не відповідають вимогам, є два варіанти. Якщо проблема в concurrency, тобто багато користувачів одночасно звертаються до однієї моделі, потрібно змінити engine; це питання розглянуто в матеріалі порівняння Ollama та vLLM для одночасного обслуговування запитів. Якщо проблема в загальній швидкодії, рішенням буде VPS із підключеним GPU, де -ngl починає мати практичне значення. Перед вибором будь-якого з цих варіантів визначте базові показники самого обладнання, оскільки пропускна здатність диска та пам’яті впливає на час завантаження не менше, ніж CPU. Повторюваний benchmark для VPS вартий витраченої години.
Встановіть llama.cpp із фіксованою збіркою
Обидва проєкти оновлюються щотижня, тому зафіксуйте версію, яку розгорнули. One-liner від upstream встановлює поточну збірку:
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFЩоб зафіксувати конкретну збірку, замість цього завантажте готовий tarball зі сторінки releases. Тепер проєкт також публікує релізи із semantic versioning: v0.7.0 був останнім станом на 27 October 2026, а його сторінка релізу вказує на nightly b11669 для бінарних файлів. v0.8.0 вийшов 28 October 2026, а його сторінка релізу вказує на nightly b11960 для бінарних файлів. У наведених нижче командах використовується b10224 — поточний tag станом на 2 August 2026. Замініть його на tag, який ви перевірили:
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10224/llama-b10224-bin-ubuntu-x64.tar.gz
tar xf llama-b10224-bin-ubuntu-x64.tar.gz
find . -type f -name 'llama-server'Або зберіть цей самий tag із вихідного коду:
sudo apt update && sudo apt install -y build-essential cmake git libssl-dev
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout b10224
cmake -B build
cmake --build build --config Release -j $(nproc)libssl-dev — задокументована залежність для функцій HTTPS. Компіляція триває кілька хвилин і потребує більше RAM, ніж доступно в найменших планах. Тому виконайте збірку на потужнішому сервері та скопіюйте бінарні файли, якщо на малому сервері не вистачає ресурсів.
Встановлення Ollama із зафіксованою версією
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.32.5 sh
ollama -vСкрипт читає OLLAMA_VERSION, тому можна зафіксувати перевірений реліз і не встановлювати версію, яка вийшла сьогодні вранці. v0.32.5 опубліковано 27 July 2026. Також доступний ручний спосіб, якщо ви не хочете передавати скрипт до shell через pipe:
sudo rm -rf /usr/lib/ollama
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst | sudo tar x -C /usr
ollama -vРучний спосіб не створює unit systemd або користувача сервісу, тому їх потрібно додати самостійно. У повному посібнику з розгортання Ollama на VPS цей етап налаштування сервісу описано покроково.
Режими відмови та повідомлення, які ви побачите
Ollama відмовляється завантажувати модель. Старіші версії Ollama перевіряли розмір перед завантаженням, і ollama run повертала рядок такого вигляду:
Error: model requires more system memory (5.6 GiB) than is available (3.2 GiB)У поточному вихідному коді Ollama це повідомлення більше не використовується (перевірено 27 October 2026). Тепер Ollama передає завантаження llama-server, тому модель, яка не поміщається в доступну пам’ять, спричиняє помилку runner з повідомленнями, що починаються так:
llama-server reported out-of-memory during startup
llama-server process has terminatedВ обох випадках виправлення однакове. Перейдіть на один рядок нижче в таблиці quantisation, зменште довжину контексту або виберіть меншу модель.
llama.cpp не завершується з помилкою, а працює вкрай повільно. Типово llama.cpp використовує memory mapping для GGUF, тому файл, більший за обсяг RAM, усе одно запускається. Потім kernel підвантажує ваги з диска та вивантажує їх на кожному токені, а генерація сповільнюється до кількох секунд на токен, тоді як використання диска сягає 100 percent. Передайте --load-mode none, щоб вимкнути memory mapping. Ця опція замінила --no-mmap, яку в pinned build b10224 позначено як deprecated і якої більше немає в поточних збірках (перевірено 29 October 2026). Коли kernel втручається, dmesg показує причину:
Out of memory: Killed process 1234 (llama-server)Файл моделі взагалі не завантажується. GGUF, створений для новішого сімейства моделей, ніж підтримує ваш engine, повертає помилку з назвою невідомої архітектури, де <arch> — це назва, збережена в метаданих файлу:
llama_model_load: error loading model: unknown model architecture: '<arch>'Потрібно оновити engine, а не вибирати інший файл. Це наслідок фіксації версії, тому номер збірки потрібно записувати. Ви маєте знати, з якої версії виконуєте оновлення.
API відповідає локально, але не з вашого застосунку. Ollama прослуховує 127.0.0.1:11434, тому інший host отримує connection refused. Встановлюйте OLLAMA_HOST=0.0.0.0:11434 через systemctl edit ollama лише тоді, коли порт розташований за firewall або в приватній мережі, оскільки перед API немає автентифікації.
Перша відповідь після паузи дуже повільна. Відбулося вивантаження після 5 minute бездіяльності, і модель знову завантажується з диска, якщо page cache її не зберіг. Команда ollama ps, виконана безпосередньо перед запитом, не показує завантажених моделей, що підтверджує це. Збільште OLLAMA_KEEP_ALIVE.
То який варіант слід використовувати?
Використовуйте Ollama, якщо хочете, щоб моделі керувалися автоматично, а OpenAI-сумісний endpoint був доступний без додаткових налаштувань. Це оптимальний варіант за замовчуванням для першого розгортання та для сценаріїв, у яких вибір моделі часто змінюватиметься.
Запускайте llama.cpp безпосередньо, якщо пам’яті настільки мало, що потрібно самостійно вибрати рядок квантизації, якщо вам потрібні /health, /slots і /metrics для моніторингу або якщо потрібен прапорець, якого немає в Ollama. Це правильний вибір для VPS, де модель ледве поміщається в доступну пам’ять, оскільки саме параметри, завдяки яким вона запускається, Ollama вибирає замість вас.
Запускати обидва варіанти — нормально. Ollama — для експериментів, llama.cpp — для єдиної моделі, яку ви розгортаєте в production і не плануєте змінювати.
FAQ
Чи є Ollama лише оболонкою навколо llama.cpp?
Майже, але оболонка виконує реальну роботу. У README Ollama llama.cpp зазначено як backend для inference (перевірено 27 October 2026). Ollama додає до нього registry моделей, prompt template, який перетворює chat messages на prompt, набір default sampling parameters, daemon із вивантаженням моделей у стані простою та HTTP API. Якщо порівнювати tokens per second за однакових налаштувань, ви порівнюєте той самий engine із самим собою. Фактично ви обираєте management layer.
Що швидше на VPS лише з CPU?
Вони використовують один engine, тому для однакового model file, quantisation, context size і thread count результати будуть близькими. Відмінності, про які повідомляють користувачі, зазвичай спричинені різними default settings, найчастіше context length і thread count, а не engine. Виміряйте це за допомогою llama-bench -m <file> -p 512 -n 128 і порівняйте стовпчик tg на власному сервері, перш ніж довіряти опублікованим показникам.
Чи можна використовувати власний GGUF file з Ollama?
Так. Розмістіть file на сервері, створіть Modelfile, перший рядок якого містить FROM ./your-model.gguf, додайте потрібні рядки PARAMETER, наприклад num_ctx, а потім виконайте ollama create your-name -f ./Modelfile. ollama ls покаже його поруч з усіма моделями, отриманими з registry. Так можна використовувати quantisation, якої немає в registry.
Скільки RAM потрібно для моделі 8B?
Врахуйте розмір file, KV cache і runtime. Збірка Llama 3.1 8B у форматі Q4_K_M займає на диску приблизно 4.58 GiB, а context на 4096 tokens додає приблизно 512 MiB cache, тому 8 GiB RAM достатньо, а 4 GiB — ні. Розмір cache залежить від context: для тієї самої моделі з context на 32,768 tokens потрібно близько 4 GiB cache. Для Ollama також врахуйте, що ця вимога залежить від OLLAMA_NUM_PARALLEL.