Как ограничить длину ответа в Ollama через num_predict
Узнайте, как правильно использовать параметр num_predict для лимита токенов. Разберем иерархию настроек, приоритеты конфигураций и обработку статуса done_reason при остановке.
Что делает параметр num_predict в Ollama
num_predict — это опция Ollama, которая ограничивает количество токенов, генерируемых моделью в одном ответе. Учитываются только выходные токены, поэтому размер промпта не влияет на этот лимит. Когда модель достигает установленного предела, генерация останавливается, иногда на середине слова, а ответ возвращается с параметром done_reason, установленным в length.
Это вся функциональность данной опции. Сложность заключается в том, что Ollama предоставляет три различных места для установки этого значения, и приоритет имеет настройка, расположенная ближе всего к запросу. Почти каждый отчет о том, что «num_predict не работает», связан с тем, что один уровень настроек незаметно переопределяет другой.
num_predict — это не num_ctx
Эти два параметра путают чаще, чем любые другие настройки в Ollama, и эта путаница отнимает время при отладке.
num_ctx определяет, какой объем данных модель может прочитать. Это размер контекстного окна, которое содержит промпт и всё, что было сгенерировано ранее. Увеличение этого значения требует больше памяти, так как кэш ключей и значений (key/value cache), который модель хранит для этих токенов, растет вместе с окном. Выбор размера num_ctx для вашего оборудования — это отдельная задача со своими специфическими ошибками.
num_predict определяет, какой объем данных модель может записать. Это правило остановки, а не выделение ресурсов. Увеличение этого значения увеличивает время ожидания ответа, а не потребление RAM, и заранее ничего не резервируется.
Они пересекаются в одном аспекте. Сгенерированные токены попадают в контекстное окно по мере их создания. В Ollama v0.40.11 для большинства моделей по умолчанию включен сдвиг контекста (context shift), поэтому при заполнении окна старые токены удаляются, и генерация продолжается. Если сдвиг отключен (потому что в запросе передано "shift": false или модель не поддерживает сдвиг), ответ может прерваться из-за того, что окно заполнилось, а не из-за достижения лимита. Ollama сообщает length в обоих случаях, поэтому число, позволяющее их различить, — это eval_count, которое рассматривается далее.
Установка значения через Modelfile
Modelfile позволяет «запечь» значение непосредственно в создаваемую модель. Создайте файл:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512Затем выполните сборку и проверьте результат:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters выводит по одной строке на каждый сохраненный параметр с его значением. Если в выводе отсутствует num_predict, значит, в модели нет жестко заданного ограничения, и применяются стандартные настройки Ollama. ollama show --modelfile qwen3-capped выводит полное определение модели; это самый быстрый способ скопировать параметры, с которыми поставляется существующая модель. Создание модели с ограничением таким способом практически не требует дополнительного места на диске, так как новая запись повторно использует уже загруженные веса базовой модели, а не копирует их. Стоит знать, где Ollama хранит эти файлы, прежде чем корневой раздел VPS будет переполнен.
Это подходящий уровень для значений, которые должны наследоваться всеми вызывающими сторонами. Этот способ не подходит, если вы ожидаете, что значение будет окончательным, так как это не так.
Установка параметра в объекте options для каждого запроса
Каждый эндпоинт генерации принимает объект options, внутри которого размещается num_predict:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat использует тот же ключ options с тем же значением. Указанное здесь значение применяется только к данному вызову и ни к чему больше. Это уровень, на котором работают ваши инструменты: чат-интерфейс, скрипт, обёртка SDK или агент для написания кода. Все они отправляют объект options, независимо от того, отображают ли они соответствующее поле в интерфейсе.
Установка параметров для одного сеанса с помощью /set
Внутри ollama run интерактивный сеанс задает параметры для всех последующих действий в рамках этого сеанса:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters выводит данные, которые сеанс отправит со следующим сообщением; это самый быстрый способ убедиться, что изменения вступили в силу. Значение сохраняется до тех пор, пока вы не введете /bye. Чтобы сохранить настройки, /save qwen3-capped записывает текущий сеанс, включая параметры, как новую модель. Все, что вы /set здесь, не передается другим клиентам.
Какой параметр имеет приоритет и почему ваш игнорируется
Порядок приоритетов прост. Параметры, переданные в запросе, имеют преимущество над всем остальным. Строка PARAMETER num_predict в файле Modelfile модели является резервным значением, которое используется, если в запросе нет явного указания. Если не задано ни то, ни другое, применяются встроенные значения по умолчанию Ollama.
/set parameter не является третьим правилом. Интерактивная сессия выступает в роли API-клиента, поэтому всё, что вы там задаете, отправляется как options этого запроса, именно поэтому оно переопределяет Modelfile для данной сессии.
Теперь о сбое, который это объясняет. Вы добавляете PARAMETER num_predict 512, пересобираете модель, но ответы всё равно достигают тысяч токенов. Ваш параметр присутствует, и ollama show --parameters это подтверждает. Он переопределяется при каждом запросе, так как клиент отправляет собственный объект options со своим числом — часто это значение, которое вы ввели в настройках несколько месяцев назад и забыли. ollama show считывает сохраненную модель. Он не может показать вам то, что приходит по HTTP.
Проверьте серверную часть одной командой. Отправьте запрос, который должен привести к длинному ответу, принудительно установите низкий лимит и считайте два поля:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'Развернутый ответ значительно превышает 32 токена, поэтому ожидайте "length" и 32. Сначала установите jq с помощью sudo apt install -y jq, если он отсутствует. Значение 32 не гарантировано, так как eval_count — это просто количество выходных токенов, которые сервер фактически сгенерировал. Если модель завершает работу раньше, вы получите "stop" и меньшее число; решение — промпт, запрашивающий больше текста. Когда вы получите "length" и 32, это будет означать, что значение из запроса перекрыло 512, сохраненные в qwen3-capped, что доказывает: сервер учитывает параметры каждого отдельного запроса. Это не говорит о том, что отправляет ваше приложение, поэтому поиск перемещается на сторону клиента. Чтобы увидеть, как сервер интерпретирует запрос, перезапустите его с OLLAMA_DEBUG=1 в переменных окружения и наблюдайте за journalctl -u ollama -f во время взаимодействия с вашим приложением.
Отрицательные значения и числа, которые не следует копировать
num_predict также принимает отрицательные значения, которые являются не счетчиками, а служебными метками. Одно отрицательное значение означает «не ограничивать, продолжать генерацию». Другое использовалось для обозначения «заполнить оставшийся контекст». По состоянию на октябрь 2026 года в справочнике Modelfile для Ollama значением по умолчанию указано -1 — бесконечная генерация, а в более ранних версиях той же таблицы для заполнения контекста указывалось -2.
Относитесь к этому как к параметру, зависящему от версии, поскольку он неоднократно менялся. В документации долгое время значением по умолчанию значилось 128, прежде чем запись была исправлена на -1, поэтому многие руководства до сих пор повторяют старое число. Поведение также изменилось. В Ollama v0.40.11, текущем релизе на 25 октября 2026 года, GGUF-модели передаются вышестоящему процессу llama-server, которому требуется ограничение ресурсов. Поэтому он заменяет любое отрицательное значение, а также любой лимит, превышающий десятикратное значение num_ctx, на десятикратное значение num_ctx. Таким образом, «бесконечность» для упомянутой выше модели qwen3-capped означает 81 920 токенов, а -2 больше не ведет себя иначе, чем -1. Ознакомьтесь со справочником параметров Modelfile для той версии, которую вы используете, а затем подтвердите поведение с помощью проверки eval_count, описанной выше. Значение, которое вы проверили на собственной системе, надежнее любого значения, прочитанного где-либо, включая эту публикацию.
Почему длина вывода — основной фактор затрат на VPS без GPU
Ollama бесплатно работает на управляемой вами машине, поэтому локальная генерация не тарифицируется: за длинный ответ вы платите временем. Генерация проходит в две фазы, скорость которых сильно различается. Токены промпта обрабатываются пакетами, по много токенов за раз. Выходные токены создаются по одному, и для каждого требуется проход по используемым весам. На VPS только с CPU этот проход ограничен пропускной способностью памяти, поэтому генерация одного токена обходится значительно дороже, чем обработка одного токена промпта. Для этого прохода нужно прочитать все веса, используемые токеном: все веса в плотной модели или только выбранные эксперты в модели mixture-of-experts, например Nemotron 3.5 Lightning, которая активирует около 3B из 30B параметров на токен. Поэтому верхний предел скорости генерации задаёт число байт, занимаемых каждым весом. Именно поэтому сборка q4 декодирует токены быстрее той же модели в q8 или fp16.
Запросите ответ без потоковой передачи, и вы увидите цифры:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709Длительность указана в наносекундах. В этом блоке, который является примером ответа из документации Ollama API по состоянию на октябрь 2026 года, а не замером на конкретном сервере, 11 токенов промпта заняли около 0.013 секунды, а 18 токенов вывода — около 0.052 секунды. Это примерно 1.2 миллисекунды на токен промпта против 2.9 миллисекунды на токен вывода. Таким образом, даже в однострочном ответе каждый сгенерированный токен стоит более чем в два раза дороже, чем каждый прочитанный токен, а при длинном ответе именно этап вывода занимает основное время. Ваша собственная скорость генерации — это eval_count, деленное на eval_duration, переведенное в секунды, и измерение количества токенов в секунду на вашем оборудовании стоит выполнить один раз перед любой другой настройкой. Эта скорость зависит от модели так же сильно, как и от машины, поэтому, если длинные ответы создают основную нагрузку, модель, оптимизированная для быстрого декодирования, такая как Nemotron 3.5 Lightning на VPS, позволяет вернуть часть времени, которое в противном случае расходуется из-за низкого лимита.
Арифметика проста. При скорости 8 токенов в секунду ответ на 2,000 токенов занимает ресурсы машины более чем на четыре минуты, при этом модель не знает, что вы просили всего лишь абзац. Модель рассуждения тратит часть этого бюджета на «размышления» перед тем, как написать первое слово, и эти размышления генерируются по одному токену за раз, как и всё остальное. Поэтому объем рассуждений, который вы запрашиваете, — это еще один рычаг, влияющий на итоговый счет. Некоторые модели также могут зацикливаться, повторяя фразу, пока их что-то не остановит. Без лимита такой запрос будет занимать ядро, пока не достигнет десятикратного значения num_ctx токенов, так как сдвиг контекста не позволяет завершить работу по заполнению окна. num_predict — это настройка, которая ограничивает данный процесс, что особенно важно на небольшом самостоятельно хостируемом VPS с Ollama, где один длинный запрос может занять все ресурсы машины.
Усеченный вывод обычно вызван ограничением, а не сбоем модели
Симптомы выглядят как отказ модели. Ответ обрывается на полуслове. JSON не парсится, так как закрывающая скобка не была получена. Первым делом возникает желание обвинить модель или квантование. Сначала изучите ответ.
done_reason отвечает на вопрос напрямую. stop означает, что генерация завершилась до достижения каких-либо лимитов: либо модель выдала токен конца последовательности, либо вывод совпал с одной из строк в вашей опции stop, что прерывает ответ в месте совпадения. length означает, что генерация была прервана из-за нехватки места. Когда вы видите length, сравните eval_count с вашим лимитом: точное совпадение означает, что его остановил num_predict, а меньшее число означает, что заполнилось контекстное окно, что может произойти только при отключенном сдвиге контекста.
При потоковой передаче эти поля приходят в финальном чанке, который несет "done": true. Многие клиентские библиотеки отбрасывают этот чанк и передают вашему коду только текст, поэтому одно и то же усечение выглядит необъяснимым внутри приложения и очевидным при использовании curl. Если библиотека скрывает это, отправьте один запрос с curl, чтобы узнать, что сервер ответил на самом деле.
Еще один момент поможет сэкономить время. Увеличение num_predict не заставляет модель писать больше. Это лишь снимает потолок. Если ответ заканчивается на 200 токенах при done_reason равном stop, значит, либо модель решила, что закончила, либо сработала одна из ваших строк stop, и увеличение лимита ничего не изменит. Короткие ответы с stop — это проблема промпта или стоп-строк. Короткие ответы с length — это проблема лимита.
Выбор значения
- Для интерактивного чата оставьте значение без ограничений и используйте Ctrl+C, чтобы остановить бесконечный ответ. Вы в любом случае следите за экраном.
- Для любых скриптов установите ограничение. Генерация без лимита внутри цикла — это причина, по которой пакетное задание, рассчитанное на десять минут, может продолжать выполняться на следующее утро.
- Для структурированного вывода установите лимит выше размера самого большого документа, который вы ожидаете. В случае
done_reasonизlengthсчитайте это критической ошибкой и повторите запрос, вместо того чтобы пытаться обработать полученный результат. - Для агента написания кода значение должно находиться в конфигурации самого агента, так как агент передает свои параметры с каждым запросом. В Настройка агента для работы с Ollama описано, где хранятся эти параметры.
Лимит учитывает токены, а не слова или символы, поэтому не пытайтесь оценивать его «на глаз». Сгенерируйте один типичный ответ без ограничений, посмотрите на eval_count и установите лимит с запасом выше этого значения. Разные семейства моделей используют разные методы токенизации, поэтому значение, подходящее для модели Llama, может привести к обрезанию того же ответа при использовании модели Qwen 3 на том же VPS.
FAQ
В чем разница между num_ctx и num_predict в Ollama?
num_ctx — это размер контекстного окна, определяющий объем данных, которые модель может прочитать: промпт плюс всё, что было сгенерировано ранее. Это расходует память, так как кэш ключей и значений (key/value cache) растет вместе с ним. num_predict задает количество токенов, которое модель может записать в одном ответе. Это расходует время, а не память, и заранее ничего не резервируется. Сгенерированные токены учитываются в обоих параметрах, поэтому при отключенном сдвиге контекста ответ может быть прерван любым из них.
Почему мой параметр num_predict игнорируется?
Потому что значение, переданное в запросе, имеет приоритет над значением, сохраненным в модели. Если вы укажете PARAMETER num_predict 512 в Modelfile, а затем будете использовать эту модель через чат-интерфейс или агент для программирования, клиент отправит собственный объект options, значение которого будет решающим. ollama show --parameters по-прежнему отображает ваше значение, так как считывает сохраненную модель и не видит того, что приходит по HTTP. Отправьте один запрос с curl, используя "options": {"num_predict": 32} и промпт, требующий длинного ответа, а затем прочитайте done_reason и eval_count. Если length с eval_count равным 32 показывает, что значение из запроса перекрыло сохраненное, это подтверждает корректную работу сервера и переносит поиск проблемы в ваше приложение. Если stop с меньшим числом, это означает лишь то, что модель завершила работу раньше, поэтому повторите запрос с промптом, требующим большего объема текста.
Как узнать, был ли вывод обрезан из-за num_predict?
Отправьте запрос с "stream": false и прочитайте done_reason. Значение stop означает, что модель завершила работу самостоятельно или сработала одна из ваших строк stop. Значение length означает, что место закончилось. Затем сравните eval_count с вашим ограничением: если они в точности совпадают, значит, работу остановил num_predict, а если eval_count меньше, значит, сначала заполнилось контекстное окно. При потоковой передаче оба поля приходят в финальном чанке с "done": true, который многие клиентские библиотеки отбрасывают до того, как ваш код его увидит.
Каково значение по умолчанию для num_predict?
Узнавайте его из вашей собственной установки, а не из статей. По состоянию на октябрь 2026 года в справочнике по Modelfile для Ollama значение по умолчанию указано как -1, что означает отсутствие ограничения генерации; эта запись была исправлена после долгого периода документирования 128. В Ollama v0.40.11 это значение по умолчанию, как и любое отрицательное число, фактически останавливается на десятикратном размере num_ctx. Отрицательные значения являются служебными метками, а не счетчиками, и в более старых версиях той же таблицы также указывалось -2 для заполнения оставшегося контекста. Проверьте справочник параметров Modelfile для вашей версии, а затем подтвердите значение с помощью ollama show --parameters и одного запроса curl.
Увеличит ли повышение num_predict длину ответов модели?
Нет. Это лишь убирает потолок. Если ответ заканчивается с done_reason равным stop, значит, модель решила, что закончила, или сработала одна из ваших строк stop, и увеличение лимита ничего не изменит. Длина в этом случае зависит от промпта: запрашивайте конкретную структуру, количество разделов или определенный уровень детализации. Увеличивайте num_predict только тогда, когда done_reason возвращается как length.