SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor

Як залишити модель Ollama завантаженою в пам’яті

Ollama вивантажує модель після 5 хвилин бездіяльності. Налаштуйте OLLAMA_KEEP_ALIVE через systemd override і завантажуйте модель після перезавантаження.

Чому Ollama вивантажує модель через кілька хвилин?

Ollama зберігає модель у пам’яті протягом п’яти хвилин після останнього запиту, а потім звільняє пам’ять. Наступний запит має знову завантажити ваги в RAM або VRAM, тому перед появою першого токена виникає затримка. Через це chat UI або coding agent спочатку працює швидко, потім деякий час неактивний, а наступне повідомлення знову обробляється повільно. Нічого не зламалося. Таймер бездіяльності завершився.

Цей таймер називається keep_alive. Він налаштовується окремо для кожної моделі та запускається знову після завершення кожного запиту. Модель, яка наразі обробляє запит, не вивантажується, оскільки сервер завершує термін дії лише для моделі без активного запиту. Станом на October 2026 значення за замовчуванням становить п’ять хвилин і застосовується до кожної моделі, яку завантажує цей сервер.

Є два способи налаштувати тайм-аут бездіяльності: поле keep_alive в окремому запиті або OLLAMA_KEEP_ALIVE як значення за замовчуванням для сервера. Саме systemd drop-in дає змогу зберегти серверне значення за замовчуванням після перезапуску. У цьому посібнику передбачається, що Ollama вже працює як service. Якщо це не так, почніть з інсталяції Ollama на VPS, а потім поверніться до цього посібника.

Які моделі зараз завантажені та коли вони вивантажаться?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Порожній вивід означає, що нічого не завантажено, тому наступний запит спочатку має завантажити модель. PROCESSOR показує, куди завантажено ваги. 100% GPU і 100% CPU — однозначні випадки. Розподіл на кшталт 25%/75% CPU/GPU означає, що у VRAM перебуває лише частина моделі, а решта виконується на процесорі, тому генерація повільніша. Зазвичай це означає, що модель не помістилася, але так само виглядає розподіл, спричинений параметром num_gpu, який обмежує кількість шарів, що передаються на GPU.

UNTIL — це зворотний відлік. Він виводить відносний час, наприклад 4 minutes from now. Значення Forever виводиться, якщо модель завантажено з від’ємним значенням keep_alive. Після завершення терміну дії виводиться Stopping..., зокрема коли активні запити затримують вивантаження.

Набір стовпців змінювався між релізами, тому читайте заголовок, а не підраховуйте поля у скрипті. Ollama v0.40.5, перевірена 2026-10-30, також виводить стовпець RUNNER між CONTEXT і UNTIL. У ньому вказано runner, який обслуговує модель, тому у вашому заголовку може бути на один стовпець більше, ніж у наведеному вище прикладі. Для автоматизації використовуйте API:

curl -s http://localhost:11434/api/ps

Кожен запис містить expires_at — абсолютну часову мітку, наприклад 2026-08-09T14:38:31.83753Z, — і size_vram, тобто частину цієї моделі, що перебуває в пам’яті GPU. Значення size_vram, що дорівнює 0, означає, що модель працює на CPU.

Фактична вартість повторного завантаження

Не покладайтеся на припущення. Ollama в кожній відповіді повідомляє час завантаження як load_duration у наносекундах.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Перш ніж виконувати два API-виклики, дочекайтеся, поки ollama ps більше не показуватиме модель після ollama stop. Перший виклик завантажує модель, тому його load_duration має велике значення. Поділіть його на 1000000000, щоб отримати час у секундах. Другий виклик виконується, коли модель уже перебуває в пам’яті, і повідомляє значно менше значення. Різниця між цими двома показниками — це затримка, яку кожен користувач сплачує після завершення таймера. Саме тому потрібно змінити keep_alive. Після вивантаження kernel page cache часто все ще містить файл моделі, тому на сервері з вільною RAM повторне завантаження може бути швидшим, ніж перше завантаження після запуску системи. Коли цей кеш буде звільнено, ваги зчитуватимуться з диска. Тому, якщо ви перемістили каталог моделі на другий том, швидкість цього тому визначатиме мінімальний час кожного холодного завантаження. Щоб виміряти швидкість генерації до та після цієї паузи, див. як виміряти кількість токенів за секунду на власному сервері.

Завантаження моделі Ollama у пам’ять на час одного запиту

Передайте keep_alive разом із запитом. Цей параметр застосовується до моделі після завершення запиту.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Підтримуються чотири форми значення:

  • рядок із тривалістю: "30m", "24h", "90s"
  • звичайне число, яке інтерпретується як кількість секунд: 3600
  • від’ємне значення, -1 або "-1m", що вимикає тайм-аут простою
  • 0, що вивантажує модель, коли в неї немає активних запитів

Значення в запиті перевизначає стандартне значення сервера в обох напрямках. Це важливіше, ніж може здаватися: якщо клієнт передає власний keep_alive, він має пріоритет над усіма параметрами, налаштованими на сервері.

Модель також можна завантажити без генерування результату. Передайте лише назву моделі. Сервер завантажить її та поверне порожню відповідь із "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Цю команду слід виконати після перезавантаження або після завантаження нової моделі, щоб перший реальний запит користувача не очікував її завантаження. CLI виконує те саме завдання за допомогою прапорця:

ollama run --keepalive 30m qwen3:8b "hello"

Нехай значення завантажується за замовчуванням через OLLAMA_KEEP_ALIVE

Сервер читає OLLAMA_KEEP_ALIVE під час запуску й використовує його для кожної моделі, яка не має власного значення. Параметр підтримує ті самі формати, що й поле запиту, тому працюють 30m, 3600 і -1.

Важливо, у середовищі якого процесу має бути задано це значення. Виконання export OLLAMA_KEEP_ALIVE=30m у вашій SSH-сесії нічого не змінює, оскільки інсталяція з пакета запускає сервер як службу systemd під власним користувачем і з власним середовищем. Середовище вашої оболонки входу та середовище цієї служби не перетинаються. Це найпоширеніша причина, через яку параметр здається проігнорованим.

Збережіть налаштування після перезапуску за допомогою drop-in для systemd

sudo systemctl edit ollama.service

Редактор відкриється з двома маркерами коментарів. Введіть текст між ними: systemd відкидає все, що ви напишете нижче другого маркера.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Після збереження буде записано /etc/systemd/system/ollama.service.d/override.conf. Це drop-in, а не редагування встановленого unit-файлу, тому оновлення пакета Ollama, яке замінює ollama.service, не змінить ваше налаштування. Якщо drop-in і unit-файли для вас нові, у посібнику зі служб і таймерів systemd описано принцип їхньої роботи.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Остання команда виводить середовище, з яким служба фактично запускатиметься. Якщо OLLAMA_KEEP_ALIVE=30m відсутній у цьому рядку, drop-in не застосовано. Майже завжди причина полягає у відсутньому заголовку [Service] або в рядках, введених нижче маркера. Сам перезапуск вивантажує всі завантажені моделі, тому наступний запит спричинить холодне завантаження. Виконайте наведений вище виклик попереднього завантаження, щоб прогріти модель. Drop-in зберігає це налаштування після перезавантаження, але не зберігає модель: служба запускається з ollama serve без завантажених моделей, тому після кожного завантаження системи виконуйте той самий виклик попереднього завантаження.

Вартість утримання моделі в пам’яті

Стовпець SIZE у ollama ps показує обсяг пам’яті, зайнятий протягом усього періоду бездіяльності, а не лише під час обробки запиту. Модель 8B із 4-бітним квантуванням займає приблизно 5–6 GB. Модель 27B — це вже інший масштаб, тому арифметику пам’яті для запуску такої моделі на VPS лише з CPU варто опрацювати до того, як ви вирішите постійно тримати її в пам’яті. Встановіть keep_alive у значення -1, щоб вимкнути автоматичне вивантаження після бездіяльності. Наступні запити до тієї самої моделі можуть замінити цей тайм-аут або примусово спричинити повторне завантаження, якщо параметри runner змінюються. На невеликому VPS це безпосередньо конкурує за ресурси з базою даних, вебзастосунком і завданнями збирання.

Перевіряйте фактичні значення, а не покладайтеся на оцінку. Виконайте цю команду, коли модель завантажена, а потім ще раз після ollama stop:

free -h

Стовпець available показує обсяг пам’яті, який kernel ще може надати новому процесу. На сервері з NVIDIA GPU nvidia-smi показує ту саму ситуацію у VRAM. Якщо на сервері закінчується пам’ять, kernel завершує процес, щоб звільнити ресурси:

sudo dmesg -T | grep -i "out of memory"

Рядок із назвою ollama означає, що жертвою став сервер моделі. Рядок із назвою вашої бази даних означає, що модель отримала пріоритет, а важливий для вас процес було завершено. Обидва результати спричинені одним рішенням: тривалим періодом keep-alive на сервері без резерву пам’яті.

Є дві важливі витрати, які легко не врахувати. Більша довжина контексту резервує більший KV cache (key value cache — стан attention для кожного токена, який модель зберігає під час генерації), і цей кеш входить до розміру моделі в пам’яті. Його розмір визначається num_ctx, тому збільшення вікна контексту збільшує обсяг пам’яті, який модель займає протягом усього періоду бездіяльності, а не лише під час відповіді. Значення OLLAMA_NUM_PARALLEL понад 1 резервує цей кеш окремо для кожного паралельного слота, якщо модель підтримує таку паралельність. Ollama v0.40.16 примусово встановлює паралельність на рівні 1 для моделей без можливості completion, зокрема для embedding-моделей; його планувальник більше не надає окремих винятків для mllama або qwen3next. Якщо ви плануєте обслуговувати кількох користувачів однією моделлю, розраховуйте пам’ять на кількість слотів, а не лише на ваги моделі.

Розумне типове значення: модель на сервері з достатнім резервом пам’яті може використовувати -1. Спільний сервер краще налаштувати на період, який охоплює проміжки між вашими запитами, наприклад 30m, щоб після завершення роботи пам’ять звільнялася.

Негайно вивантажити модель

ollama stop qwen3:8b

Після запиту на завершення терміну дії команда повертає порожній результат. Вивантаження очікує завершення активних запитів, тому команда може завершитися до звільнення пам’яті. Для моделі, яку ви завантажили заздалегідь, але яка зараз не завантажена, команда також повертає порожній результат. Команда не перевіряє, які моделі перебувають у пам’яті: вона надсилає запит на вивантаження, а сервер відповідає успішно незалежно від того, чи була модель у пам’яті. Помилка couldn't find model "qwen3:8b" to stop з’являється лише тоді, коли на цьому сервері не встановлено модель із таким ім’ям. Зазвичай це означає помилку в імені або tag. Тому відсутність виводу для ollama stop не доводить, що пам’ять було звільнено. Це підтверджує ollama ps. Варіант через API — це запит без prompt, у якому keep_alive має значення 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Відповідь містить "done_reason": "unload". Використовуйте цей спосіб замість перезапуску сервісу. systemctl restart ollama також звільняє пам’ять, але вивантажує всі інші завантажені моделі та перериває кожен запущений запит.

Запуск кількох моделей на одному сервері

OLLAMA_MAX_LOADED_MODELS обмежує кількість моделей, які одночасно залишаються завантаженими. Станом на October 2026 типове значення становить three для кожного GPU або three на сервері лише з CPU. Обмеження враховує кількість моделей, але фактичним обмеженням є пам’ять. Тому другій великій моделі може не вистачити пам’яті задовго до досягнення значення three.

Коли запитується нова модель, а для неї недостатньо пам’яті або вже досягнуто обмеження, планувальник вивантажує одну із завантажених моделей, щоб звільнити місце. Перевага надається моделі без активного запиту. Планувальник також може вивантажити модель, для якої ще не завершився таймер, зокрема модель, завантажену з -1, але спочатку перевіряє моделі з коротшими інтервалами. Отже, від’ємне значення keep_alive означає, що тайм-ауту простою немає. Це не закріплює ваги моделі та не захищає їх від запиту іншої моделі.

Ці рішення відображаються в журналі сервісу, але випадок із досягненням обмеження записується лише на рівні debug. Додайте другий рядок Environment="OLLAMA_DEBUG=1" до того самого drop-in-файлу, перезапустіть сервіс і стежте за журналом:

sudo journalctl -u ollama -f

Прочитайте причину, наведену поруч із запитом, який ініціював вивантаження. max runners achieved, unloading one to make room означає, що досягнуто обмеження OLLAMA_MAX_LOADED_MODELS. Це може статися навіть тоді, коли обидві моделі помістилися б у пам’яті, тому збільште обмеження, якщо free -h показує достатній запас. Рядок про те, що нова модель, імовірно, перевищить доступну пам’ять, а потім вивантаження означає, що перевірка сумісного розміщення відхилила одночасне завантаження моделей через недостатній запас пам’яті. У такому разі потрібно використовувати менше моделей на цьому сервері або встановити довгий інтервал для моделі, яка має відповідати швидко, і 0 для моделі, яку ви викликаєте рідко.

Настанови, актуальні й після наступного релізу

Ollama часто випускає нові версії, а значення за замовчуванням змінюються. Тому перевіряйте збірку перед собою, а не запам’ятовуйте номери:

ollama --version
ollama serve --help

ollama serve --help містить список змінних середовища, які фактично читає ця збірка, зокрема OLLAMA_KEEP_ALIVE. Між релізами незмінними залишаються два правила, на яких безпечно будувати конфігурацію. Значення, передане в запиті, має пріоритет над значенням сервера за замовчуванням. А ollama ps показує, що фактично завантажено, незалежно від того, що має бути завантажено згідно з конфігураційним файлом.

Якщо сервером керує редактор або агент, спочатку перевірте, що саме надсилає цей клієнт, перш ніж звинувачувати сервер. У розділі Підключення coding agent до власного сервера Ollama описано, де зберігаються ці параметри запиту.

FAQ

Чому Ollama вивантажує мою модель через 5 хвилин?

П’ять хвилин — це стандартний keep_alive, таймер бездіяльності, який Ollama запускає після завершення запиту. Коли таймер спливає, сервер звільняє ваги моделі. Тому наступний запит має завантажити їх знову, а це завантаження спричиняє затримку. Збільште це значення для одного запиту, передавши "keep_alive": "30m" у тілі JSON, або для всього сервера за допомогою змінної середовища OLLAMA_KEEP_ALIVE.

Як назавжди залишити модель Ollama завантаженою в пам’яті?

Використайте від’ємне значення: "keep_alive": -1 для запиту або OLLAMA_KEEP_ALIVE=-1 для сервера. Після цього ollama ps показує Forever у стовпці UNTIL. Це лише вимикає таймер бездіяльності. Якщо буде запитано іншу модель і пам’яті недостатньо, планувальник усе одно вивантажить цю модель, щоб звільнити місце. Наступні запити до тієї самої моделі також можуть змінити її тайм-аут або спричинити повторне завантаження, якщо зміняться параметри runner. Перезапуск або перезавантаження системи також скасовує це налаштування, тому після цього знову попередньо завантажте модель.

Чому OLLAMA_KEEP_ALIVE ігнорується?

Перевірте, де саме ви встановили цю змінну. Виконайте systemctl show ollama --property=Environment. Якщо змінної немає у виведенні, сервер її не отримав, оскільки змінна, експортована у вашій shell-сесії, не передається сервісу systemd. Установіть її за допомогою sudo systemctl edit ollama.service, потім виконайте sudo systemctl daemon-reload і sudo systemctl restart ollama. Інша причина — клієнт, який передає власне keep_alive у запиті. Воно має вищий пріоритет за стандартне значення сервера.

Як звільнити пам’ять без перезапуску Ollama?

ollama stop qwen3:8b запитує завершення терміну дії лише для цієї моделі, залишаючи сервер і всі інші завантажені моделі працювати. Активні запити мають завершитися до її вивантаження. Через API надішліть запит без prompt і з "keep_alive": 0. У відповіді буде "done_reason": "unload". Перевірте результат за допомогою ollama ps. Після завершення вивантаження модель більше не має відображатися у списку.

Чи була ця стаття корисною?