SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor · Оновлено 2026-10-26

Ollama num_predict: як обмежити довжину відповіді

Дізнайтеся, як num_predict обмежує вихідні токени в Ollama, де його задавати, яке значення має пріоритет і як читати done_reason у відповіді.

Що робить num_predict в Ollama

num_predict — це параметр Ollama, який обмежує кількість токенів, що модель може згенерувати в одній відповіді. Він враховує лише вихідні токени, тому prompt не враховується в цьому обмеженні. Коли модель досягає ліміту, генерація зупиняється на поточному місці, іноді посеред слова, а відповідь повертається зі значенням done_reason, встановленим у length.

Це вся функціональність параметра. Складність полягає в тому, що Ollama дає змогу задати це значення в трьох окремих місцях, а пріоритет має налаштування, найближче до запиту. Майже кожне повідомлення про те, що «num_predict нічого не робить», означає, що один рівень непомітно перевизначає інший.

num_predict — не num_ctx

Ці два параметри в Ollama плутають частіше за будь-яку іншу пару, і через це налагодження займає більше часу.

num_ctx визначає, скільки модель може прочитати. Це розмір контекстного вікна, у якому зберігаються prompt і весь текст, згенерований на цей момент. Збільшення цього значення потребує більше пам’яті, оскільки key/value cache моделі для цих токенів зростає разом із розміром вікна. Визначення num_ctx для вашого обладнання — це окреме завдання з власними причинами помилок.

num_predict визначає, скільки модель запише. Це правило зупинки, а не виділення ресурсів. Збільшення цього значення збільшує час виконання, а не споживання RAM, і пам’ять наперед не резервується.

Ці параметри взаємодіють в одному місці. Згенеровані токени додаються до контекстного вікна в міру їх створення. В Ollama v0.40.11 context shift за замовчуванням увімкнено для більшості моделей, тому після заповнення вікна старіші токени видаляються, а генерація триває. Якщо shift вимкнено, оскільки запит надсилає "shift": false або модель не підтримує shift, відповідь також може завершитися через заповнення вікна, а не через досягнення встановленого ліміту. Ollama повідомляє length в обох випадках, тому значенням, яке дає змогу їх розрізнити, є eval_count. Нижче це розглянуто докладніше.

Встановіть значення один раз через Modelfile

Modelfile фіксує це значення в моделі, яку ви створюєте. Запишіть файл:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Потім створіть модель і перевірте результат:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters виводить один рядок для кожного збереженого параметра та його значення. Якщо num_predict відсутній у цьому виводі, модель не має вбудованого обмеження, і застосовується стандартне значення Ollama. ollama show --modelfile qwen3-capped виводить повне визначення моделі. Це також найшвидший спосіб скопіювати параметри, з якими вже постачається наявна модель. Створення моделі з обмеженням у такий спосіб майже не потребує додаткового дискового простору, оскільки новий запис повторно використовує блоби вагових даних, які базова модель уже завантажила, замість їх копіювання. Перед заповненням root-диска VPS варто знати де Ollama зберігає ці блоби.

Це правильний рівень для значення, яке мають успадковувати всі виклики. Але це неправильний рівень, якщо ви очікуєте, що значення буде остаточним, оскільки це не так.

Установлюйте це для кожного запиту в об’єкті параметрів

Кожна кінцева точка генерації приймає об’єкт options, а num_predict потрібно вказувати всередині нього:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat використовує той самий ключ options з тим самим значенням. Значення тут застосовується лише до цього виклику і більше ні до чого. Саме цей рівень використовують ваші інструменти: чат-фронтенд, скрипт, обгортка SDK або coding agent. Усі вони надсилають об’єкт options, незалежно від того, чи відображають окреме поле для його введення.

Установіть це для одного сеансу за допомогою параметра /set

У ollama run інтерактивний сеанс установлює параметри до кінця цього сеансу:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters показує, що сеанс надішле з вашим наступним повідомленням. Це найшвидший спосіб перевірити, чи зміна застосувалася. Значення зберігається, доки ви не введете /bye. Щоб зберегти його, /save qwen3-capped записує поточний сеанс разом із параметрами як нову модель. Усе, що ви виконуєте тут за допомогою /set, не передається жодному іншому клієнту.

Яке налаштування має перевагу і чому ваше ігнорується

Порядок простий. Параметри, передані із запитом, мають перевагу над усіма іншими. Рядок PARAMETER num_predict у Modelfile моделі використовується як резервне значення, якщо запит не містить власного значення. Якщо немає ні того, ні іншого, застосовується вбудоване значення Ollama за замовчуванням.

/set parameter — не третє правило. Інтерактивний сеанс є API-клієнтом, тому задане там значення передається разом із options цього запиту. Саме тому воно перевизначає Modelfile протягом сеансу.

Тепер розглянемо проблему, яку це пояснює. Ви додаєте PARAMETER num_predict 512, перебудовуєте модель, але відповіді й далі містять тисячі токенів. Ваше налаштування присутнє, і ollama show --parameters це підтверджує. Однак воно перевизначається в кожному запиті, оскільки клієнт надсилає власний об’єкт options зі своїм числом. Часто це число було введене на екрані налаштувань кілька місяців тому й відтоді забуте. ollama show читає збережену модель. Він не показує, що саме надходить через HTTP.

Перевірте серверну частину однією командою. Надішліть запит, який має створити довгу відповідь, примусово встановіть низьке обмеження та прочитайте два поля:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Докладна відповідь значно перевищує 32 токени, тому очікуйте "length" і 32. Якщо jq відсутній, спочатку встановіть його за допомогою sudo apt install -y jq. Значення 32 не гарантується, оскільки eval_count — це лише кількість вихідних токенів, фактично згенерованих сервером. Якщо модель завершить відповідь раніше, ви отримаєте "stop" і менше число токенів. У такому разі потрібно використати prompt, який запитує довшу відповідь. Якщо ви отримали "length" і 32, власне значення запиту мало перевагу над значенням 512, збереженим у qwen3-capped. Це підтверджує, що сервер застосовує параметри окремих запитів. Однак це не показує, що надсилає ваш застосунок, тому пошук потрібно продовжити на стороні клієнта. Щоб переглянути дані про запит із боку сервера, перезапустіть його з OLLAMA_DEBUG=1 у змінних середовища та моніторте journalctl -u ollama -f, поки застосунок обмінюється з ним запитами.

Негативні значення та числа, які не слід копіювати

num_predict також приймає негативні значення. Це маркери, а не лічильники. Одне негативне значення означає «не обмежувати, продовжувати генерацію». Інше означало «заповнити контекст, що залишився». Станом на жовтень 2026 року довідник Ollama Modelfile вказує значенням за замовчуванням -1, тобто нескінченну генерацію. У попередніх версіях тієї самої таблиці також було зазначено -2 для заповнення контексту.

Вважайте всі ці дані залежними від версії, оскільки вони змінювалися. У довіднику тривалий час значенням за замовчуванням було 128. Згодом цей запис виправили на -1, тому в багатьох посібниках досі повторюється старе число. Змінилася і поведінка. Ollama v0.40.11, поточний випуск станом на 25 жовтня 2026 року, передає моделі GGUF процесу upstream llama-server, якому потрібен скінченний ліміт. Тому він замінює будь-яке негативне значення, а також будь-який ліміт, що перевищує десятикратне значення num_ctx, на десятикратне значення num_ctx. Отже, «нескінченна» генерація для моделі qwen3-capped вище означає 81,920 токенів, а -2 більше не поводиться інакше, ніж -1. Перегляньте довідник параметрів Modelfile для версії, яку ви фактично використовуєте, а потім перевірте поведінку за допомогою наведеної вище перевірки eval_count. Значення, перевірене на вашому сервері, надійніше за значення з будь-якого джерела, зокрема з цього матеріалу.

Чому довжина виводу є основною витратою на VPS лише з CPU

Ollama можна безкоштовно запускати на машині під вашим контролем, тому локальна генерація не тарифікується, а довга відповідь оплачується часом виконання. Генерація має два етапи, які працюють із дуже різною швидкістю. Токени запиту обробляються пакетами, багато токенів одночасно. Токени виводу генеруються по одному, і для кожного потрібно виконати прохід за вагами, які він використовує. На VPS лише з CPU цей прохід обмежений пропускною здатністю пам’яті, тому один згенерований токен коштує значно більше, ніж один токен запиту. Оскільки під час цього проходу потрібно прочитати кожну вагу, яку використовує токен (усі ваги в щільній моделі або лише маршрутизовані експерти в моделі типу mixture-of-experts, як-от Nemotron 3.5 Lightning, яка активує близько 3B із 30B параметрів для кожного токена), кількість байтів, яку займає кожна вага, визначає верхню межу швидкості генерації токенів. Саме тому збірка q4 декодує швидше, ніж та сама модель у q8 або fp16.

Запитайте відповідь без потокової передачі, і числа будуть безпосередньо перед вами:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Тривалості наведено в наносекундах. У цьому блоці, який є прикладом відповіді, опублікованим у документації Ollama API станом на October 2026, а не результатом вимірювання конкретного сервера, 11 токенів запиту зайняли приблизно 0.013 секунди, тоді як 18 токенів виводу — приблизно 0.052 секунди. Це становить приблизно 1.2 мілісекунди на токен запиту проти 2.9 мілісекунди на токен виводу. Отже, навіть в однорядковій відповіді кожен згенерований токен коштував більш ніж удвічі дорожче за кожен прочитаний токен. У довгій відповіді саме вивід визначає тривалість виконання. Власна швидкість генерації дорівнює eval_count, поділеному на eval_duration і переведеному в секунди. Виміряти кількість токенів за секунду на власному обладнанні варто один раз, перш ніж налаштовувати щось інше. Ця швидкість залежить від моделі не менше, ніж від машини. Тому якщо довгі відповіді є основною витратою, модель, розрахована на швидке декодування, наприклад Nemotron 3.5 Lightning на VPS, дає змогу скоротити частину часу, який інакше обмежує низький ліміт.

Далі все визначає арифметика. За швидкості 8 токенів за секунду відповідь на 2,000 токенів займає машину більш ніж на чотири хвилини, а модель не знає, що вам був потрібен лише абзац. Модель із міркуваннями витрачає частину цього ліміту на обчислення, перш ніж записати запитане слово. Ці міркування також генеруються по одному токену, як і все інше. Тому рівень міркувань, який ви запитуєте, є ще одним параметром, що впливає на ту саму витрату. Деякі моделі також зациклюються та повторюють фразу, доки щось їх не зупинить. Без ліміту цей запит займатиме ядро, доки не досягне десятикратного значення num_ctx токенів, оскільки зміщення контексту не дає повному вікну завершити запит. num_predict — це параметр, який встановлює верхню межу. Він особливо важливий на невеликому self-hosted Ollama VPS, де один довгий запит використовує всю машину.

Усічений вивід зазвичай означає досягнення ліміту, а не несправність моделі

Симптоми схожі на збій моделі. Відповідь обривається посеред речення. JSON не вдається розібрати, оскільки закривальна фігурна дужка так і не надійшла. Перша реакція — звинуватити модель або квантизацію. Спочатку перевірте відповідь.

done_reason означає, що відповідь безпосередньо відповідає на запитання. stop означає, що генерація завершилася до досягнення будь-якого ліміту: або модель видала свій токен кінця послідовності, або вивід збігся з одним із рядків у параметрі stop, який завершує відповідь у місці збігу. length означає, що генерацію було перервано через нестачу доступного простору. Якщо бачите length, порівняйте eval_count з установленим лімітом: точний збіг означає, що генерацію зупинив num_predict, а менше значення — що спочатку заповнилося контекстне вікно. Це можливо лише за вимкненого context shift.

Під час потокової передачі ці поля надходять у фінальному фрагменті — тому, що містить "done": true. Багато клієнтських бібліотек відкидають цей фрагмент і передають вашому коду лише текст. Тому в застосунку те саме усічення виглядає незрозумілим, а в curl його причина очевидна. Якщо бібліотека приховує цей фрагмент, надішліть один запит із curl, щоб з’ясувати, що насправді повернув сервер.

Є ще один момент, який допоможе не витрачати час даремно. Збільшення num_predict не змушує модель писати більше. Воно лише підвищує верхню межу. Якщо відповідь завершується на 200 токенах зі значенням done_reason у stop, то або модель вирішила, що відповідь завершена, або збігся один із рядків stop. У такому разі збільшення ліміту нічого не змінить. Короткі відповіді з stop вказують на проблему із запитом або stop-рядком. Короткі відповіді з length вказують на проблему з лімітом.

Вибір значення

  • Для інтерактивного чату залиште ліміт необмеженим і натискайте Ctrl+C, щоб зупинити відповідь, яка вийшла з-під контролю. Ви все одно стежите за екраном.
  • Для всього, що виконується у скриптах, установіть ліміт. Необмежена генерація всередині циклу може призвести до того, що пакетне завдання, яке мало тривати десять хвилин, працюватиме й наступного ранку.
  • Для структурованого виводу встановіть ліміт вище за найбільший очікуваний коректний документ. Потім вважайте done_reason із length критичною помилкою та повторюйте запит замість того, щоб аналізувати отриманий результат.
  • Для coding agent значення має бути в його власній конфігурації, оскільки agent надсилає власні параметри в кожному запиті. У розділі Підключення coding agent до Ollama описано, де зберігаються ці налаштування.

Ліміт рахує токени, а не слова чи символи, тому не оцінюйте його приблизно. Згенеруйте одну репрезентативну відповідь без ліміту, перегляньте eval_count і встановіть значення із достатнім запасом. Різні сімейства моделей виконують токенізацію по-різному, тому значення, достатнє для моделі Llama, може обрізати таку саму відповідь від моделі Qwen 3 на тому самому VPS.

FAQ

У чому різниця між num_ctx і num_predict в Ollama?

num_ctx — це розмір контекстного вікна. Він визначає, скільки модель може прочитати: prompt і все, що вже згенеровано. Це потребує пам’яті, оскільки key/value cache збільшується разом із ним. num_predict визначає, скільки токенів модель може записати в одній відповіді. Це впливає на час, а не на пам’ять, і заздалегідь нічого не резервується. Згенеровані токени враховуються в обох параметрах, тому за вимкненого context shift відповідь може передчасно завершитися через будь-який із них.

Чому параметр num_predict, схоже, ігнорується?

Тому що значення, передане в запиті, перевизначає значення, збережене в моделі. Додайте PARAMETER num_predict 512 у Modelfile, а потім використовуйте цю модель через chat front end або coding agent — клієнт надсилає власний об’єкт options, і саме його значення має пріоритет. ollama show --parameters все одно виводить ваше значення, оскільки читає збережену модель і не бачить, що надходить через HTTP. Надішліть один запит із curl, використавши "options": {"num_predict": 32} і prompt, який потребує довгої відповіді, а потім прочитайте done_reason і eval_count. Значення length з eval_count, що дорівнює 32, показує, що значення із запиту перевизначило збережене. Це підтверджує коректну роботу самого сервера, тому подальший пошук слід вести у вашому застосунку. Значення stop із меншим лімітом означає лише те, що модель завершила відповідь раніше. Повторіть запит із prompt, який вимагає довшої відповіді.

Як визначити, чи було відповідь обрізано через num_predict?

Надішліть запит із "stream": false і прочитайте done_reason. Значення stop означає, що модель завершила відповідь самостійно або її завершив один із ваших рядків stop. Значення length означає, що доступний ліміт було вичерпано. Порівняйте eval_count із вашим обмеженням: якщо значення точно збігаються, відповідь зупинив num_predict; якщо eval_count менше, спочатку заповнилося контекстне вікно. У режимі streaming обидва поля надходять в останньому фрагменті разом із "done": true. Багато клієнтських бібліотек відкидають цей фрагмент до того, як його побачить ваш код.

Яке стандартне значення num_predict?

Перевірте його у власній інсталяції, а не в статті. Станом на October 2026 у довідці Ollama щодо Modelfile стандартним значенням указано -1, тобто генерація не обмежена. Цей запис виправили після тривалого періоду, коли в документації зазначали 128. В Ollama v0.40.11 це необмежене значення, як і будь-яке від’ємне значення, фактично зупиняє генерацію після десятикратного значення num_ctx. Від’ємні значення є спеціальними маркерами, а не лічильниками. У старіших версіях тієї самої таблиці також зазначалося -2 для заповнення залишку контексту. Перевірте довідку з параметрів Modelfile для своєї версії, а потім підтвердьте значення за допомогою ollama show --parameters і одного запиту curl.

Чи змусить збільшення num_predict модель генерувати довші відповіді?

Ні. Воно лише збільшує верхню межу. Якщо відповідь завершується зі значенням done_reason, що дорівнює stop, модель вирішила, що завершила роботу, або збігся один із ваших рядків stop. Більше обмеження нічого не змінить. У такому разі довжина відповіді залежить від prompt: попросіть конкретну структуру, певну кількість розділів або заданий рівень деталізації. Збільшуйте num_predict лише тоді, коли done_reason повертає length.

Чи була ця стаття корисною?