Рівні міркування локальної LLM: вплив на швидкість
Дізнайтеся, як рівень міркування змінює довжину scratchpad, час генерації та контекст на власному CPU або GPU: від 2 секунд до 2 хвилин.
Які зміни вносить рівень міркування в локальній LLM
Рівень міркування — це параметр, який визначає, скільки часу модель міркує перед відповіддю. Він змінює лише довжину сегмента міркування. Ваги моделі на диску однакові на кожному рівні, квантизація також однакова, а відповідь формується під час того самого forward pass. Змінюється лише кількість токенів, які модель спочатку витрачає на власний scratchpad.
Ця відмінність важлива через те, де враховуються ці токени. У hosted API токени міркування відображаються у рахунку. На VPS, яким ви керуєте, вони оплачуються часом генерації на власному CPU або GPU та місцем у контекстному вікні. Якщо залишити для моделі найвищий рівень міркування, вона може витратити більшу частину виводу на міркування, перш ніж з’явиться перше слово відповіді. На self-hosted hardware це може означати різницю між відповіддю за дві секунди та відповіддю за дві хвилини.
Де зберігається рівень: у chat template, а не у вагових коефіцієнтах
Thinking model навчають генерувати сегмент міркувань, зазвичай обгорнутий тегами <think> і </think>, перед фінальною відповіддю. Рівень зусиль — це інструкція, яку chat template моделі додає до prompt. Цей template — файл Jinja, що постачається разом із моделлю. Він читає змінну, наприклад reasoning_effort, і формує окремий рядок на рівні system для кожного значення. Модель навчали скорочувати або подовжувати свій scratchpad у відповідь на цей рядок.
З цього випливають два висновки. Назви рівнів належать моделі, а не runtime, тому назва з картки однієї моделі може нічого не означати для іншої. Якщо будь-який компонент у ланцюжку замінює chat template моделі на generic template, змінна не підставляється, а параметр непомітно не діє.
Станом на 2026-10-12 у картці моделі Qwen3.8-27B задокументовано три рівні зусиль: low, medium і xhigh; значенням за замовчуванням є xhigh. Значення high не існує. Сам режим thinking перемикається параметром enable_thinking, який за замовчуванням увімкнений. У картці також задокументовано preserve_thinking, який за замовчуванням увімкнений і зберігає міркування з попередніх ходів у history розмови. Натомість gpt-oss використовує low, medium і high. Багато інших сімейств підтримують лише boolean-параметр без додаткових рівнів. Перевірте картку саме тієї версії, яку ви завантажили, оскільки ці назви не є стандартом. Спочатку ознайомтеся з розділом Запуск моделі 27B на VPS. Ця сторінка пояснює, що налаштувати після того, як модель почне відповідати.
Чому високе навантаження коштує дорожче на VPS
Вихідні токени. Токени міркувань генеруються так само, як і токени відповіді. Вони проходять той самий цикл декодування з тією самою швидкістю, яку забезпечує ваше обладнання. Припустімо, завдання генерує 200 токенів відповіді та 4,000 токенів міркувань. Загалом згенеровано 4,200 токенів, але читач бачить лише 200 із них. Швидкість декодування залежить від пропускної здатності пам’яті, вибраної квантизації та кількості потоків: у власних рекомендаціях з оптимізації llama.cpp попереджає, що значення --threads, яке перевищує кількість фізичних ядер, може перевантажити CPU і різко сповільнити генерацію. Після налаштування цих параметрів залишається змінювати лише саму кількість токенів.
Час очікування. Користувач очікує на перший токен відповіді, оскільки до цього на екрані нічого немає або відображається лише згорнутий індикатор завантаження. Спочатку генеруються токени міркувань, тому очікування приблизно дорівнює кількості токенів міркувань, поділеній на швидкість декодування, плюс час обробки prompt. Подвоєння довжини міркувань подвоює цей час очікування.
Контекст. Токени міркувань займають місце у вікні контексту так само, як і будь-які інші токени. Якщо preserve_thinking увімкнено, scratchpad із першого повідомлення все ще міститься в prompt на п’ятому повідомленні. Через це обробка prompt сповільнюється після кожного повідомлення, а вікно заповнюється з обох боків. Збільшення num_ctx для його збереження потребує пам’яті для KV cache. На VPS без GPU це системна RAM, якої може не вистачити.
Коли підвищувати рівень, а коли залишати його низьким
Підвищуйте його для завдань, де неправильний проміжний крок спотворює результат: багатокрокові арифметичні обчислення та перетворення одиниць, планування змін у кількох файлах, коду, який має компілюватися, і задач з обмеженнями, де одна відповідь повинна одночасно задовольняти кілька умов. У таких випадках scratchpad виконує реальну роботу, а більша довжина міркувань є простим способом виявити помилку, яку модель інакше могла б не помітити.
Залишайте його низьким, коли відповідь уже міститься у вхідних даних, а завдання полягає в її перенесенні. Сюди належать вилучення даних, класифікація, додавання тегів, переклад, перефразування, узагальнення та форматування. Сегмент міркувань здебільшого лише повторює завдання і дає моделі можливість відмовитися від правильної першої відповіді.
Також залишайте його низьким для будь-яких інтерактивних завдань. У чаті або редакторі ви берете участь у процесі, тому швидка відповідь, яку можна виправити, краща за повільну, на яку доводиться чекати. Саме в цьому полягає компроміс, пов’язаний із підключенням coding agent до локальної моделі: агент виконує багато невеликих викликів, і витрати на міркування стягуються за кожен із них.
Як встановити рівень у llama.cpp
llama.cpp записує змінну безпосередньо в шаблон. Тому саме на цьому рівні можна перевірити, що рівень було передано. У -m вкажіть наявний у вас файл GGUF.
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja використовує власний шаблон чату моделі та в поточних збірках увімкнений за замовчуванням. --reasoning-effort приймає default, minimal, low, medium, high, xhigh або max. Значення default означає не змінювати стандартне значення самого шаблону. Цей список належить до словника llama.cpp, а не моделі, тому передавайте лише назву, яку зазначено в картці моделі. Рівень, не визначений у шаблоні, може спричинити помилку шаблону під час обробки запиту. --reasoning-format deepseek переміщує міркування з message.content до message.reasoning_content. Завдяки цьому в наступному розділі можна виміряти їхнє розділення.
Щоб вимкнути міркування, а не лише скоротити його, задайте змінну шаблону вручну:
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget — це інший механізм. Він обмежує сегмент міркувань у токенах: 0 негайно завершує його, а -1 не встановлює обмеження. Це не запит до моделі сформувати коротший план. Обидва прапорці задають стандартне значення для сервера. Станом на 2026-10-12 параметр /v1/chat/completions у llama-server також приймає reasoning_effort і chat_template_kwargs у тілі запиту та передає рівень до шаблону лише для цього виклику. Значення none вимикає міркування. Тому один процес може обслуговувати два рівні зусиль.
vLLM надає доступ до тієї самої змінної для кожного запиту в тілі, сумісному з OpenAI API:
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}Як встановити рівень в Ollama
Ollama має власне поле think у /api/chat і /api/generate. Воно приймає true, false або назву рівня. Станом на 2026-10-12 для моделі, яка публікує метадані міркування, використовуються власні назви моделі: /api/show перелічує їх у thinking.values і вказує стандартну назву поруч, а назва, якої немає в списку моделі, без помилки повертається до стандартного значення. Для моделей без цих метаданих Ollama використовує старий фіксований набір: low, medium, high і max. Якщо не вказати think, застосовується стандартне значення моделі. Для Qwen3.8 це означає, що міркування увімкнено.
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}Міркування повертається в message.thinking, а відповідь — у message.content. Ollama вже розділяє їх для вас. В інтерактивному сеансі ollama run команди /set think і /set nothink перемикають цей режим без перезапуску, а /set think low вибирає рівень.
Тепер розглянемо ситуацію, у якій це може непомітно не спрацювати. Шаблон Qwen3.8 визначає рівні low, medium і xhigh. Модель Ollama містить шаблон, упакований у її tag, а не Jinja-файл з оригінального репозиторію. Ollama передає рівень лише тоді, коли його вказано в цьому упакованому шаблоні. Спочатку перевірте, які рівні оголошує ваш tag:
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinkingНазва, якої немає у values, наприклад high або max для цієї моделі, запускає модель зі стандартним рівнем. Не припускайте, що параметр застосувався. Перевірка займає приблизно хвилину.
Як виміряти, чи рівень справді застосовується
Надішліть той самий запит для кількох рівнів, встановивши temperature у значення 0, а потім порівняйте кількість токенів. Нижче наведено три назви з картки Qwen3.8. Якщо /api/show містить інші назви для вашого тегу, використовуйте їх. Тут jq формує тіло запиту, тому вам не потрібно вручну екранувати лапки.
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_count — це кількість усіх згенерованих токенів, включно з токенами міркування, тому різниця між двома рівнями майже повністю відповідає міркуванню. thinking_chars безпосередньо показує розподіл. Має виконуватися дві умови: значення змінюються між рівнями, а відповідь залишається правильною на нижчому рівні. Якщо eval_count перебуває в межах похибки в усіх трьох запусках, рівень ігнорується. Спочатку перевірте назви через /api/show, оскільки Ollama запускає невказану назву з рівнем за замовчуванням. Якщо назви збігаються, потрібен runtime, який передає рівень.
Загальний час — лише половина картини, тому виміряйте інтервал до першого токена відповіді, передаючи відповідь потоком і зупиняючись на першому непорожньому фрагменті content. Для цього потрібні jq і bc.
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
doneЗапустіть це зі значенням low, а потім повторіть зі значенням xhigh. Різниця — це час очікування, який ви додаєте. У llama.cpp ті самі значення повертаються в самій відповіді, тому обчислення в shell не потрібні:
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'Виконайте це на власному сервері. Опубліковане порівняння продуктивності проводили на обладнанні, відмінному від вашого, а саме швидкість декодування перетворює кількість токенів на секунди. У статті Як виміряти кількість токенів за секунду на власному сервері наведено це значення: кількість токенів міркування, поділена на швидкість декодування, дорівнює часу очікування, який ви щойно додали.
Що може піти не так
Відповідь обривається або content порожнє, тоді як thinking заповнене. Ліміт генерації вичерпано на етапі міркування. Параметр num_predict в Ollama обмежує всю генерацію, включно з міркуванням. Міркування виконується першим, тому ліміт у 512 токенів за високого рівня може завершити відповідь ще до її початку. Ollama повертає "done_reason": "length" для такої відповіді. Збільште ліміт або зменште рівень міркування. У розділі Як num_predict підраховує токени докладно описано цю взаємодію.
Рівень нічого не змінює. Кількість токенів однакова на кожному рівні. Середовище виконання може не передавати змінну, шаблон може її не читати або в Ollama її назва може бути відсутня в переліку тегів, через що використовується значення за замовчуванням. Перевірте шаблон, який фактично використовує ваше середовище виконання, а не шаблон з оригінального репозиторію. llama.cpp з --jinja і --chat-template-kwargs записує змінну вручну, тому його зручно використовувати для перевірки. Якщо рівень працює там і не працює в інших середовищах, проблема не в моделі, а в тому, що інше середовище виконання не передає змінну.
Ім’я рівня відхиляється. Помилка шаблону під час виконання запиту або збій під час першого повідомлення за справного сервера зазвичай означає, що передано рівень, якого немає в шаблоні. Наприклад, high може бути передано моделі, у картці якої вказано лише low, medium і xhigh. В Ollama модель без метаданих міркування приймає лише low, medium, high і max. Будь-яке інше значення повертає помилку invalid think value.
Багатотурові чати сповільнюються на кожному наступному турі. Старі результати міркування зберігаються в історії. Якщо модель це підтримує, встановіть preserve_thinking у значення false або видаляйте поле thinking із повідомлень, які надсилаєте повторно. Інакше обсяг обробки prompt зростає на кожному турі, тоді як довжина відповідей залишається незмінною.
Якість знижується за низького рівня на завданні, яке ви вважали простим. Деякі завдання вилучення даних насправді не є простими завданнями вилучення. Якщо вхідні дані потребують перетворення одиниць або послідовного застосування правила, це завдання на міркування з коротким результатом. Підвищте рівень лише для цього виклику, а не для всього сервера.
Паралельне використання двох рівнів
llama.cpp задає рівень за замовчуванням під час запуску через --reasoning-effort, але поточні збірки також приймають reasoning_effort для кожного запиту. Тому один процес і одна копія ваг моделі можуть обслуговувати редактор із низьким рівнем і нічне пакетне завдання з вищим рівнем. Якщо потрібно зафіксувати кожен рівень під час запуску, можна також використати два процеси на двох портах. У такому разі в пам’яті зберігатимуться дві копії ваг, якщо не запускати завдання в різний час. В обох варіантах завдання спільно використовують потужність декодування однієї машини. Тому на одному VPS зазвичай вигідніше використовувати низький рівень для всього, на що очікує користувач, а запуск із вищим рівнем планувати для завдань, за якими ніхто не стежить. Тут також застосовується Що відбувається, коли кілька користувачів спільно використовують одну локальну модель: токени міркування потребують декодування, тому підвищення рівня приблизно в стільки ж разів зменшує ефективну паралельність, у скільки збільшує кількість токенів.
FAQ
Який рівень зусиль для міркування слід використовувати за замовчуванням?
Почніть із найнижчого рівня, який пропонує модель, і підвищуйте його лише для завдань, на яких ви вже спостерігали збої. Деякі моделі з міркуванням постачаються з високим рівнем за замовчуванням, а Qwen3.8-27B станом на October 2026 використовує xhigh, свій найвищий рівень, за замовчуванням. Це значення за замовчуванням вибрано для кращого вигляду в таблицях бенчмарків, а таблиця бенчмарків не враховує витрати часу. На власному обладнанні ви платите секундами, тому вищий рівень має бути параметром, який ви вмикаєте для окремого завдання, а не налаштуванням, яке успадковує кожен запит.
Чи враховуються токени міркування у вікні контексту?
Так. Це звичайні токени у вихідних даних, і вони перебувають у вікні контексту разом з усім іншим. Чи залишаються вони там під час наступного ходу, залежить від runtime і моделі. У картці Qwen3.8 описано preserve_thinking, увімкнений за замовчуванням параметр, який зберігає попередні міркування в історії, тому довга розмова містить кожен створений моделлю scratchpad. Встановіть для нього значення false або видаліть поле thinking із повідомлень, які ви повторно передаєте, і обсяг обробки prompt перестане зростати.
Чому зміна рівня міркування не впливає на кількість моїх токенів?
Параметр не передається до chat template. Рівень є змінною template, тому він працює лише тоді, коли runtime передає її, а packaged template її зчитує. Деякі runtime постачають разом із моделлю власний template замість Jinja-файлу з оригінального repository, і тоді змінна відкидається без виведення помилки. Ollama також використовує назву рівня, якої немає в списку моделі, на рівні моделі за замовчуванням, знову ж таки без помилки. Перевірте це, надіславши той самий prompt на найнижчому та найвищому рівнях із temperature зі значенням 0 і порівнявши eval_count. Якщо кількість збігається в межах похибки, рівень ігнорується.
Чи робить менше зусиль для міркування модель менш точною?
Це залежить від завдання, і це варто виміряти, а не припускати. Якщо відповідь уже є у вхідних даних, наприклад під час вилучення даних або перефразування, коротший scratchpad зазвичай нічого не змінює. Якщо проміжний крок має бути правильним, перш ніж стане можливим правильний фінальний результат, наприклад у багатоетапній арифметиці або в коді, який має скомпілюватися, точність із коротшим scratchpad знижується. Сформуйте набір із twenty prompt на основі вашого реального робочого навантаження, запустіть їх на двох рівнях із temperature зі значенням 0 і порахуйте неправильні відповіді. Це число залежить саме від вашого робочого навантаження, і жодна опублікована таблиця не може надати його вам.