SSD Nodes Learn Hosting plans →
Руководства Matt ConnorАвтор: Matt Connor · Обновлено 2026-10-17

Как не выгружать модель Ollama из памяти

Ollama выгружает модель через 5 минут простоя. Настройте keep_alive в override для systemd, чтобы сохранить её после перезагрузок, затем загрузите модель заранее.

Почему Ollama выгружает модель через несколько минут?

Ollama удерживает модель в памяти в течение пяти минут после последнего запроса, после чего освобождает её. Следующий запрос вынуждает систему снова загружать веса в RAM или VRAM, из-за чего возникает задержка перед генерацией первого токена. Именно поэтому чат-интерфейс или агент для написания кода работают быстро, затем затихают, а при отправке следующего сообщения снова начинают работать медленно. Никакой ошибки нет. Просто истёк таймер простоя.

Этот таймер называется keep_alive. Он настраивается для каждой модели отдельно и перезапускается после завершения каждого запроса. Модель, которая в данный момент обрабатывает запрос, никогда не выгружается, так как сервер завершает работу только тех моделей, у которых нет активных запросов. По состоянию на октябрь 2026 года значение по умолчанию составляет пять минут, и оно применяется к каждой модели, загружаемой сервером.

Существует два способа настройки keep_alive: для отдельного запроса или в качестве значения по умолчанию для всего сервера. Использование drop-in файла systemd позволяет сохранить настройки сервера после перезагрузки. В этом руководстве предполагается, что Ollama уже работает как служба. Если это не так, начните с установки Ollama на VPS и вернитесь к этому разделу.

Какие модели сейчас находятся в памяти и когда они будут выгружены?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Пустой вывод означает, что ничего не загружено и при следующем запросе сначала потребуется загрузить модель. PROCESSOR показывает, куда были загружены веса. 100% GPU и 100% CPU — однозначные случаи. Разбиение, например 25%/75% CPU/GPU, означает, что в VRAM находится только часть модели, а остальная часть выполняется на процессоре, поэтому генерация идёт медленнее. Обычно это происходит потому, что модель не помещается целиком. Однако такой же результат даёт параметр num_gpu, ограничивающий количество слоёв, передаваемых на GPU.

UNTIL показывает обратный отсчёт и выводит относительное время, например 4 minutes from now. Значение Forever выводится, если модель была загружена с отрицательным значением keep_alive. Значение Stopping... выводится в течение короткого периода, пока сервер выгружает модель.

Набор столбцов менялся между релизами, поэтому ориентируйтесь на заголовок, а не подсчитывайте поля в скрипте. В Ollama v0.40.5, текущем релизе на момент проверки 2026-10-16, также выводится столбец RUNNER между CONTEXT и UNTIL. В нём указывается runner, обслуживающий модель, поэтому в заголовке может быть на один столбец больше, чем в приведённом выше примере. Для автоматизации запросите данные через API:

curl -s http://localhost:11434/api/ps

Каждая запись содержит expires_at — абсолютную временную метку, например 2026-08-09T14:38:31.83753Z, — и size_vram, то есть часть этой модели, находящуюся в памяти GPU. Значение size_vram, равное 0, означает, что модель выполняется на CPU.

Во что на самом деле обходится перезагрузка

Не пытайтесь угадать. Ollama сообщает время загрузки в каждом ответе как load_duration в наносекундах.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Первый вызов загружает модель, поэтому значение load_duration велико. Разделите его на 1000000000, чтобы получить время в секундах. Второй вызов выполняется, когда модель уже находится в оперативной памяти, и показывает гораздо меньшее число. Разница между этими двумя значениями — это то, что платит каждый пользователь после истечения таймера, и именно это является основной причиной изменения keep_alive. После выгрузки модели файловый кэш ядра часто всё ещё содержит файл модели, поэтому на сервере со свободным объемом RAM перезагрузка может происходить быстрее, чем первая загрузка после включения системы. Когда этот кэш очищается, веса считываются с диска, поэтому, если вы перенесли каталог с моделями на второй том, скорость этого тома определяет минимальное время «холодной» загрузки. Информацию о скорости генерации до и после этой паузы см. в разделе как измерить количество токенов в секунду на вашем сервере.

Удержание модели Ollama в оперативной памяти по запросу

Отправьте keep_alive вместе с запросом. Это значение применяется к модели с момента завершения обработки запроса.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Поддерживаются четыре формата значений:

  • строка длительности: "30m", "24h", "90s"
  • обычное число, интерпретируемое как секунды: 3600
  • отрицательное значение, -1 или "-1m", означающее отсутствие тайм-аута простоя
  • 0, означающее выгрузку модели сразу после завершения текущего запроса

Значение, переданное в запросе, переопределяет настройки сервера в обоих направлениях. Это важнее, чем кажется: клиент, отправляющий собственный keep_alive, имеет приоритет над любыми настройками, заданными на сервере.

Вы также можете загрузить модель без генерации ответа. Отправьте только имя модели. Сервер загрузит её и вернёт пустой ответ с кодом "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Эту команду следует выполнять после перезагрузки или после загрузки новой модели, чтобы первый реальный запрос пользователя не тратил время на ожидание загрузки. CLI выполняет ту же задачу с помощью флага:

ollama run --keepalive 30m qwen3:8b "hello"

Настройка постоянной загрузки моделей через OLLAMA_KEEP_ALIVE

Сервер считывает OLLAMA_KEEP_ALIVE при запуске и применяет это значение для всех моделей, у которых не задан собственный параметр. Допускаются те же форматы, что и в поле запроса, поэтому 30m, 3600 и -1 будут работать корректно.

Основная сложность заключается в том, в какой именно среде должна быть задана переменная. Выполнение export OLLAMA_KEEP_ALIVE=30m в вашей SSH-сессии не даст результата, так как пакетная установка запускает сервер как systemd-сервис от имени отдельного пользователя с собственной средой выполнения. Ваша оболочка входа и этот сервис никак не взаимодействуют. Это самая частая причина, по которой настройка кажется проигнорированной.

Настройка автозапуска после перезагрузки через systemd drop-in

sudo systemctl edit ollama.service

Редактор откроется с двумя комментариями. Вносите изменения между ними: systemd игнорирует всё, что написано после второго маркера.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Сохранение файла записывает /etc/systemd/system/ollama.service.d/override.conf. Это drop-in файл, а не прямое редактирование штатного юнита, поэтому обновление пакета Ollama, которое заменяет ollama.service, не затронет ваши настройки. Если вы впервые работаете с drop-in файлами и юнитами, руководство по systemd service и timer описывает принципы их работы.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Последняя команда выводит переменные окружения, с которыми фактически будет запущен сервис. Если OLLAMA_KEEP_ALIVE=30m отсутствует в выводе, значит, настройки из drop-in не применились. Причина почти всегда заключается в отсутствии заголовка [Service] или в том, что строки были добавлены после маркера. Перезагрузка выгружает все модели из памяти, поэтому следующий запрос будет выполнен с «холодным» стартом. Выполните предварительную загрузку (preload) с помощью команды, указанной выше. Drop-in сохраняет настройки после перезагрузки, но не саму модель: сервис запускается ollama serve без загруженных данных, поэтому выполняйте команду preload после каждой загрузки системы.

Цена постоянного нахождения модели в оперативной памяти

Столбец SIZE в ollama ps показывает объем памяти, удерживаемый в течение всего периода простоя, а не только во время обработки запроса. Модель с 8B параметров при 4-битной квантовании занимает около 5–6 ГБ. Модель с 27B параметров — это другой случай, и расчеты памяти для запуска такой модели на VPS только с CPU стоит изучить до того, как вы решите держать её в памяти постоянно. Установив keep_alive в значение -1, вы определяете, что модель будет занимать этот объем памяти всё время работы сервера, пока запрос к другой модели не вытеснит её. На небольшом VPS это прямой конфликт ресурсов с вашей базой данных, веб-приложением и задачами сборки.

Следите за реальными цифрами, а не доверяйте оценкам. Запустите эту команду, пока модель загружена, а затем повторно после ollama stop:

free -h

Столбец available показывает объем памяти, который ядро всё ещё может выделить новому процессу. На сервере с NVIDIA GPU команда nvidia-smi демонстрирует ту же ситуацию для VRAM. Если память на сервере заканчивается, ядро принудительно завершает процесс для её освобождения:

sudo dmesg -T | grep -i "out of memory"

Строка с упоминанием ollama означает, что пострадал сервер модели. Строка с упоминанием вашей базы данных означает, что модель «победила», а важный для вас процесс был завершен. Оба исхода являются следствием одного решения: длительного окна keep-alive на сервере без запаса ресурсов.

Два фактора стоимости здесь легко упустить из виду. Увеличенная длина контекста резервирует больший KV cache (key value cache, состояние внимания для каждого токена, которое модель хранит во время генерации), и этот кэш является частью объема резидентной памяти. Его размер зависит от num_ctx, поэтому увеличение окна контекста увеличивает объем памяти, который резидентная модель удерживает в течение всего периода простоя, а не только во время ответа. Значение OLLAMA_NUM_PARALLEL выше 1 резервирует этот кэш для каждого параллельного слота. Если вы планируете обслуживать нескольких пользователей с помощью одной модели, рассчитывайте память с учетом слотов, а не только весов модели.

Разумное значение по умолчанию: одна модель на сервере с запасом ресурсов может использовать -1. На общем сервере следует использовать окно, которое перекрывает паузы между вашими запросами, например 30m, чтобы память освобождалась, когда вы прекращаете работу.

Немедленная выгрузка модели

ollama stop qwen3:8b

Команда завершается без вывода, а модель исчезает из ollama ps. Она также завершается без вывода для модели, которую вы загрузили (pull), но которая в данный момент не находится в памяти. Команда не проверяет, что именно резидентно: она отправляет запрос на выгрузку, и сервер отвечает успехом независимо от того, было ли что-то в памяти. Ошибка couldn't find model "qwen3:8b" to stop появляется только в том случае, если модель с таким именем не установлена на сервере, что обычно означает опечатку в имени или теге. Таким образом, отсутствие вывода ollama stop не является доказательством того, что память была освобождена. Доказательством служит ollama ps. Формат API представляет собой запрос без промпта и с параметром keep_alive, установленным в 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Ответ содержит "done_reason": "unload". Используйте этот метод вместо перезапуска службы. systemctl restart ollama также освобождает память, но при этом выгружает все остальные загруженные модели и прерывает любые выполняющиеся запросы.

Запуск нескольких моделей на одном сервере

OLLAMA_MAX_LOADED_MODELS ограничивает количество моделей, одновременно находящихся в оперативной памяти. По состоянию на октябрь 2026 года значение по умолчанию составляет три модели на GPU или три на системе без GPU. Лимит учитывает количество моделей, однако фактическим ограничением является объем памяти, поэтому в загрузке второй крупной модели может быть отказано задолго до достижения лимита в три единицы.

Когда поступает запрос на новую модель, а свободной памяти недостаточно или достигнут лимит, планировщик выгружает одну из уже загруженных моделей, чтобы освободить место. Приоритет отдается модели, для которой нет активных запросов. Планировщик может вытеснить модель, таймер которой еще не истек, включая модель, загруженную с параметром -1, хотя в первую очередь он пытается выбрать модели с более короткими окнами ожидания. Таким образом, отрицательное значение keep_alive означает отсутствие тайм-аута простоя. Это не закрепляет веса модели в памяти, защищая их от запросов к другим моделям.

Эти решения отображаются в журнале службы, причем случай достижения лимита фиксируется только на уровне отладки (debug). Добавьте вторую строку Environment="OLLAMA_DEBUG=1" в тот же файл конфигурации (drop-in), перезапустите службу и наблюдайте:

sudo journalctl -u ollama -f

Изучите причину, указанную рядом с запросом, который инициировал выгрузку. Сообщение max runners achieved, unloading one to make room означает, что был достигнут лимит OLLAMA_MAX_LOADED_MODELS. Это может произойти, даже если обе модели помещаются в память, поэтому увеличьте лимит, если free -h показывает наличие свободного ресурса. Строка о том, что новая модель, согласно прогнозу, превысит доступный объем памяти, за которой следует вытеснение, означает, что эти две модели не могут работать одновременно на данном оборудовании. Решение заключается в уменьшении количества моделей на этом сервере, либо в установке длительного окна ожидания для модели, которая должна отвечать быстро, и 0 для той, к которой вы обращаетесь редко.

Рекомендации, актуальные после обновления

Ollama выпускает обновления часто, и значения по умолчанию меняются. Проверяйте текущую сборку, а не полагайтесь на запомненные цифры:

ollama --version
ollama serve --help

ollama serve --help содержит список переменных окружения, которые считывает данная сборка, включая OLLAMA_KEEP_ALIVE. Два правила остаются неизменными во всех версиях, на них можно опираться. Значение в запросе имеет приоритет над значением по умолчанию на сервере. А ollama ps — это достоверный источник информации о том, что именно загружено, независимо от того, что указано в конфигурационном файле.

Если вашим сервером управляет редактор или агент, проверьте, что именно отправляет клиент, прежде чем винить сервер. В разделе Настройка агента для работы с вашим сервером Ollama описано, где именно хранятся эти параметры запросов.

FAQ

Почему Ollama выгружает мою модель через 5 минут?

Пять минут — это значение по умолчанию для keep_alive, таймера простоя, который Ollama запускает после завершения запроса. Когда время истекает, сервер освобождает веса модели, поэтому следующий запрос вынужден загружать их заново, и эта перезагрузка вызывает задержку, которую вы ощущаете. Увеличьте это время для одного запроса, отправив "keep_alive": "30m" в теле JSON, или для всего сервера с помощью переменной окружения OLLAMA_KEEP_ALIVE.

Как постоянно держать модель Ollama загруженной в памяти?

Используйте отрицательное значение: "keep_alive": -1 в запросе или OLLAMA_KEEP_ALIVE=-1 для сервера. Тогда ollama ps покажет Forever в столбце UNTIL. Это отключает таймер простоя, но не более того. Если запрашивается другая модель, а памяти недостаточно, планировщик всё равно выгрузит текущую, чтобы освободить место. Перезапуск или перезагрузка сервера также очищают память, поэтому после них модель нужно предварительно загрузить снова.

Почему параметр OLLAMA_KEEP_ALIVE игнорируется?

Проверьте, где вы его задали. Выполните systemctl show ollama --property=Environment: если переменной нет в выводе, значит, сервер её не получил, так как переменная, экспортированная в вашей оболочке, не передаётся в systemd-сервис. Установите её через sudo systemctl edit ollama.service, затем выполните sudo systemctl daemon-reload и sudo systemctl restart ollama. Другая причина — клиент, который отправляет собственный параметр keep_alive в запросе, что переопределяет настройки сервера по умолчанию.

Как освободить память без перезапуска Ollama?

Команда ollama stop qwen3:8b немедленно выгружает конкретную модель, оставляя сервер и все остальные загруженные модели запущенными. Через API отправьте запрос без промпта и с параметром "keep_alive": 0, в ответ придёт "done_reason": "unload". Проверьте результат с помощью ollama ps, в списке которой этой модели больше не должно быть.

Была ли эта статья полезной?