Reasoning effort в локальной LLM: что меняется
Узнайте, как reasoning effort влияет на число токенов рассуждений, задержку и контекст. Сравните уровни на своем CPU или GPU и измерьте реальную стоимость.
Как меняется вычислительная нагрузка на локальных LLM
Параметр reasoning effort определяет, сколько времени модель будет «размышлять» перед ответом. Он влияет исключительно на объем сегмента рассуждений. Веса на диске, квантование и сам процесс прямого прохода (forward pass) остаются неизменными. Меняется только количество токенов, которые модель предварительно записывает в свой «черновик».
Это различие важно из-за того, где именно расходуются токены. При использовании API сторонних сервисов токены рассуждений отражаются в счете. На собственном VPS вы оплачиваете их временем генерации на своем CPU или GPU, а также местом в контекстном окне. Если оставить модель на максимальном уровне усилий, она может потратить большую часть вывода на рассуждения, прежде чем появится первое слово ответа. На собственном оборудовании это превращает двухсекундный отклик в двухминутный.
Где задается уровень: шаблон чата, а не веса
Модель с функцией рассуждения обучена выдавать сегмент размышлений, обычно заключенный в теги <think> и </think>, перед предоставлением итогового ответа. Уровень усилий — это инструкция, которую шаблон чата модели записывает в промпт. Этот шаблон представляет собой файл Jinja, поставляемый вместе с моделью. Он считывает переменную, такую как reasoning_effort, и формирует соответствующую строку системного уровня для каждого значения; модель была обучена сокращать или удлинять свои «черновики» в ответ на эту строку.
Из этого следует два вывода. Названия уровней принадлежат модели, а не вашей среде выполнения, поэтому название из карточки одной модели может ничего не значить для другой. Если какой-либо элемент цепочки заменяет шаблон чата модели на стандартный, переменная не будет обработана, и настройка без предупреждения перестанет работать.
По состоянию на 2026-10-12 в карточке модели Qwen3.8-27B задокументированы три уровня усилий: low, medium и xhigh, где xhigh является значением по умолчанию. Уровня high не существует. Процесс рассуждения включается параметром enable_thinking, который активен по умолчанию; также в карточке указан параметр preserve_thinking, также активный по умолчанию, который сохраняет рассуждения из предыдущих этапов истории диалога. В gpt-oss вместо этого используются low, medium и high. Многие другие семейства моделей принимают только логическое значение и ничего более. Изучите карточку именно той версии, которую вы загрузили, так как эти названия не являются стандартом. Запуск модели 27B на VPS — это первоочередная задача. Данная страница посвящена тому, что именно нужно настроить после того, как модель начнет отвечать.
Почему высокая вычислительная нагрузка обходится дороже на VPS
Выходные токены. Токены рассуждений — это сгенерированные токены. Они проходят через тот же цикл декодирования, что и ответ, с той же скоростью генерации, которую поддерживает ваше оборудование. Предположим, задача требует 200 токенов ответа и 4000 токенов рассуждений. Вы сгенерировали 4200 токенов, а пользователь увидел только 200 из них. Скорость декодирования определяется пропускной способностью памяти, выбранной квантованием и количеством потоков: в руководстве по настройке llama.cpp указано, что значение --threads выше количества физических ядер может привести к перегрузке CPU и замедлению генерации. После оптимизации этих параметров единственным рычагом остается количество токенов.
Реальное время. Пользователь ожидает появления первого токена ответа, так как всё, что происходит до этого, выглядит как пустой экран или индикатор загрузки. Рассуждения выводятся первыми, поэтому время ожидания примерно равно количеству токенов рассуждений, деленному на скорость декодирования, плюс время обработки промпта. Увеличение длины рассуждений вдвое удваивает это время ожидания.
Контекст. Токены рассуждений занимают место в окне контекста, как и любые другие токены. При включенном preserve_thinking «черновик» из первой итерации остается в промпте на пятой итерации, поэтому обработка промпта замедляется с каждым шагом, пока окно заполняется с обеих сторон. Увеличение num_ctx для размещения данных требует дополнительной памяти под KV-кэш, что на VPS без GPU означает использование системной оперативной памяти, которой может не оказаться в свободном доступе.
Когда повышать уровень, а когда оставлять его низким
Повышайте уровень для задач, где неверный промежуточный шаг портит результат: многоэтапные вычисления и конвертация единиц измерения, планирование правок в нескольких файлах, написание кода, который должен компилироваться, и задачи с ограничениями, где один ответ должен удовлетворять нескольким условиям одновременно. В таких случаях черновик выполняет реальную работу, и его увеличенный объем — это недорогой способ обнаружить ошибку, которую модель в противном случае допустила бы.
Оставляйте уровень низким, если ответ уже содержится во входных данных и задача состоит в его переносе. Сюда относятся извлечение, классификация, тегирование, перевод, переписывание, суммаризация и форматирование. Сегмент рассуждений в таких случаях в основном повторяет задачу, давая модели возможность отказаться от верного первого решения в пользу ошибочного.
Также оставляйте уровень низким для любых интерактивных задач. В чате или редакторе вы находитесь в цикле взаимодействия, поэтому быстрый ответ, который вы можете исправить, лучше медленного, который приходится ждать. В этом заключается реальный компромисс при настройке агента для написания кода на локальную модель: агент делает множество мелких вызовов, и на каждом из них взимается «налог» на рассуждения.
Как задать уровень в llama.cpp
llama.cpp записывает переменную непосредственно в шаблон, что делает его средой выполнения, где можно быть уверенным в получении уровня. Укажите -m на имеющийся у вас GGUF.
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja использует собственный чат-шаблон модели и включен по умолчанию в текущих сборках. --reasoning-effort принимает default, minimal, low, medium, high, xhigh или max, где default означает использование значения по умолчанию, заданного в самом шаблоне. Этот список является словарем llama.cpp, а не модели, поэтому передавайте только те имена, которые перечислены в карточке: уровень, не определенный в шаблоне, может вызвать ошибку шаблона во время запроса. --reasoning-format deepseek переносит процесс рассуждения из message.content в message.reasoning_content, что позволяет измерить разделение в следующем разделе.
Чтобы отключить процесс мышления, а не просто сократить его, задайте переменную шаблона самостоятельно:
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget — это другой механизм. Он ограничивает сегмент рассуждений по количеству токенов, где 0 немедленно завершает его, а -1 оставляет его неограниченным, вместо того чтобы запрашивать у модели более короткий план. Оба флага устанавливают значение по умолчанию для сервера. По состоянию на 2026-10-12, /v1/chat/completions в llama-server также принимает reasoning_effort и chat_template_kwargs в теле запроса, передавая уровень в шаблон для конкретного вызова, при этом none отключает рассуждения. Таким образом, один процесс может обслуживать два уровня сложности.
vLLM предоставляет ту же переменную для каждого запроса внутри тела запроса, совместимого с OpenAI:
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}Настройка уровня в Ollama
Ollama использует собственное поле think в /api/chat и /api/generate. Оно принимает true, false или имя уровня. По состоянию на 2026-10-12 для модели, публикующей метаданные процесса мышления, используются имена самой модели: /api/show перечисляет их в thinking.values вместе со значением по умолчанию, а имя, которое модель не поддерживает, приводит к возврату к этому значению по умолчанию без ошибки. Модели без таких метаданных используют старый фиксированный набор Ollama: low, medium, high и max. Если не указывать think, применяется значение по умолчанию для конкретной модели, которое для Qwen3.8 означает включенное мышление.
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}Результат рассуждений возвращается в message.thinking, а ответ — в message.content; они уже разделены для вас. В интерактивном сеансе ollama run команды /set think и /set nothink переключают этот режим без перезапуска, а /set think low позволяет выбрать уровень.
Обратите внимание, где это может привести к скрытому сбою. Шаблон Qwen3.8 определяет уровни low, medium и xhigh. Модель Ollama содержит шаблон, упакованный внутри тега, а не Jinja-файл из исходного репозитория, и Ollama передает уровень только в том случае, если упакованная модель его поддерживает. Сначала проверьте, что именно объявляет ваш тег:
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinkingИмя, которого нет в values, например high или max для данной модели, приведет к запуску с настройками по умолчанию. Не полагайтесь на то, что настройка сработала автоматически. Проверка занимает около минуты.
Как измерить, действительно ли уровень был применен
Отправьте один и тот же запрос на нескольких уровнях с параметром temperature, установленным в 0, а затем сравните количество токенов. Три имени, приведенные ниже, указаны в карточке Qwen3.8; если /api/show выдает другие значения для вашего тега, используйте их. Здесь jq формирует тело запроса, чтобы вам не пришлось экранировать кавычки вручную.
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_count учитывает каждый сгенерированный токен, включая рассуждения, поэтому разница между двумя уровнями почти полностью состоит из объема рассуждений. thinking_chars предоставляет данные о разделении напрямую. Должны выполняться два условия: показатели меняются при смене уровней, а ответ остается верным на более низком уровне. Если eval_count находится в пределах статистической погрешности для всех трех запусков, значит, уровень игнорируется. Сначала сверьте имена с /api/show, так как Ollama запускает неперечисленное имя с настройками по умолчанию; если они совпадают, решением будет использование среды выполнения, которая передает уровень.
Общее время — это лишь половина картины, поэтому измерьте интервал до появления первого токена ответа, используя потоковую передачу и остановку на первом непустом фрагменте content. Для этого потребуются jq и bc.
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
doneЗапустите процесс с low, а затем с xhigh. Разница — это время ожидания, которое вы приобретаете. В llama.cpp те же числа возвращаются внутри ответа, поэтому выполнять арифметические действия в оболочке не требуется:
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'Выполните это на своем оборудовании. Опубликованные сравнения производительности проводились на оборудовании, которое вам не принадлежит, а ваша скорость декодирования — это тот параметр, который превращает количество токенов в секунды. В Измерение количества токенов в секунду на собственном сервере указано, как получить этот параметр: количество токенов рассуждения, деленное на вашу скорость декодирования, дает время ожидания, которое вы только что добавили.
Что идет не так
Ответ обрывается, или content пуст, в то время как thinking заполнен. Лимит генерации был исчерпан на этапе рассуждений. Параметр num_predict в Ollama ограничивает всю генерацию целиком, включая рассуждения, а рассуждения идут первыми. Поэтому ограничение в 512 токенов при высоком уровне усилий может завершить ответ до того, как начнется сам ответ. Ollama сообщает "done_reason": "length" для такого ответа. Увеличьте лимит или снизьте уровень усилий. В Как num_predict считает токены подробно описано это взаимодействие.
Уровень ничего не меняет. Количество токенов идентично на любом уровне. Либо среда выполнения не передает переменную, либо шаблон ее не считывает, либо в Ollama имя не совпадает с тем, что указано в тегах, и система переключилась на значение по умолчанию. Проверьте шаблон, который фактически использует ваша среда выполнения, вместо того, который указан в исходном репозитории. llama.cpp с --jinja и --chat-template-kwargs вписывает переменную вручную, поэтому это хороший контрольный вариант: если уровень работает там, но не работает в другом месте, значит, с моделью все в порядке, а другая среда выполнения отбрасывает переменную.
Имя уровня отклоняется. Ошибка шаблона во время запроса или сбой на первом сообщении при исправно работающем сервере обычно означают, что вы передали уровень, который не определен в шаблоне, например high для модели, в карточке которой указаны только low, medium и xhigh. В Ollama модель без метаданных о мышлении принимает только low, medium, high и max, а любое другое значение возвращается как ошибка invalid think value.
Многоходовые чаты замедляются с каждым шагом. Старые рассуждения сохраняются в истории. Установите preserve_thinking в значение false, если модель это поддерживает, или удалите поле thinking из сообщений, которые вы отправляете обратно. В противном случае обработка промпта будет увеличиваться с каждым шагом, в то время как длина ответов останется прежней.
Качество падает при низком уровне усилий в задаче, которая казалась простой. Некоторые задачи по извлечению данных на самом деле таковыми не являются. Если для входных данных требуется преобразование единиц измерения или применение правил в определенном порядке, это задача на рассуждение с коротким выводом. Повысьте уровень для этого конкретного вызова, а не для всего сервера.
Одновременное использование двух уровней сложности
llama.cpp устанавливает уровень по умолчанию при запуске с помощью --reasoning-effort, но текущие сборки также позволяют указывать reasoning_effort для каждого отдельного запроса. Таким образом, один процесс и одна копия весов могут обслуживать редактор на низком уровне сложности и ночное пакетное задание на более высоком. Если вы предпочитаете фиксировать уровень для каждого процесса при запуске, можно использовать два процесса на двух разных портах. Это потребует двух копий весов в оперативной памяти, если только вы не разнесете задачи по времени. В любом случае задачи совместно используют вычислительную мощность декодирования одной машины. Поэтому на одном VPS наиболее эффективным вариантом обычно является низкий уровень сложности для интерактивных задач, ожидаемых пользователем, в сочетании с запланированным запуском более ресурсоемких задач, которые выполняются в фоновом режиме. Что происходит, когда несколько пользователей совместно используют одну локальную модель применимо и здесь: токены рассуждения требуют ресурсов декодирования, поэтому повышение уровня сложности снижает эффективную параллельную производительность примерно в той же пропорции, в которой увеличивается количество токенов.
FAQ
Какой уровень усилий при рассуждении следует использовать по умолчанию?
Начинайте с самого низкого уровня, который предлагает модель, и повышайте его только для тех задач, с которыми она не справилась. Несколько моделей с поддержкой рассуждений поставляются с высоким уровнем по умолчанию, а Qwen3.8-27B с октября 2026 года использует xhigh — свой максимальный уровень. Это значение выбрано для того, чтобы модель лучше выглядела в таблицах бенчмарков, а бенчмарки не учитывают время выполнения. На собственном оборудовании вы платите временем, поэтому используйте более высокий уровень как опцию для конкретной задачи, а не как настройку для каждого запроса.
Учитываются ли токены рассуждений в контекстном окне?
Да. Это обычные токены в выводе, и они занимают место в контекстном окне наравне с остальными. Останутся ли они там на следующем шаге, зависит от среды выполнения и модели. В документации Qwen3.8 указан параметр preserve_thinking, включенный по умолчанию; он сохраняет предыдущие рассуждения в истории, поэтому длинный диалог накапливает все созданные черновики. Установите его в значение false или удалите поле thinking из сообщений, которые вы отправляете повторно, чтобы объем обработки промптов перестал расти.
Почему изменение уровня рассуждений не влияет на количество токенов?
Настройка не доходит до шаблона чата. Уровень — это переменная шаблона, поэтому она работает только в том случае, если среда выполнения передает её, а используемый шаблон считывает. Некоторые среды выполнения поставляются с собственным шаблоном вместо файла Jinja из оригинального репозитория, и в этом случае переменная отбрасывается без вывода ошибок. Ollama также может запускать модель с именем уровня, которого нет в списке, используя значение по умолчанию, также без ошибок. Проверьте это, отправив один и тот же промпт на самом низком и самом высоком уровне с параметром temperature, установленным в 0, и сравните eval_count. Если значения совпадают с учетом погрешности, значит, уровень игнорируется.
Снижает ли низкий уровень рассуждений точность модели?
Это зависит от задачи, и лучше измерить это самостоятельно, чем делать предположения. Если ответ уже содержится во входных данных, например, при извлечении или переписывании текста, более короткий черновик обычно ничего не меняет. Если для получения финального результата необходимо правильно выполнить промежуточный шаг, например, в многоэтапных вычислениях или при написании кода, который должен компилироваться, точность при коротком черновике действительно падает. Составьте набор из двадцати промптов на основе вашей реальной рабочей нагрузки, запустите их на двух уровнях с temperature, равным 0, и подсчитайте количество неверных ответов. Это число будет специфичным для вашей задачи, и ни одна опубликованная таблица не даст вам точного ответа.