Esfuerzo de razonamiento en un LLM local: coste real
Descubre qué cambia entre niveles de esfuerzo en un LLM local: tokens de razonamiento, tiempo de CPU o GPU, uso de contexto y cómo medir el coste real.
Qué cambia con el esfuerzo de razonamiento en un LLM local
El esfuerzo de razonamiento es un ajuste que indica al modelo cuánto tiempo debe pensar antes de responder. Cambia la longitud del segmento de razonamiento y nada más. Los pesos almacenados en disco son idénticos en todos los niveles, la cuantización también es idéntica y la respuesta se genera mediante el mismo paso hacia delante. Lo que cambia es cuántos tokens dedica primero el modelo a su bloc de notas interno.
Esta distinción importa por el lugar donde se contabilizan esos tokens. En una API alojada, los tokens de razonamiento aparecen en la factura. En un VPS propio, se pagan con tiempo de generación en la CPU o GPU propias y con espacio dentro de la ventana de contexto. Un modelo configurado con el nivel de esfuerzo máximo puede dedicar la mayor parte de su salida al razonamiento antes de mostrar la primera palabra de la respuesta. En hardware autoadministrado, eso puede marcar la diferencia entre una respuesta en dos segundos y otra en dos minutos.
Dónde reside el nivel: en la plantilla de chat, no en los pesos
Un modelo de razonamiento está entrenado para emitir un segmento de razonamiento, normalmente delimitado por las etiquetas <think> y </think>, antes de su respuesta final. El nivel de esfuerzo es una instrucción que la plantilla de chat del modelo escribe en el prompt. Esa plantilla es un archivo Jinja incluido con el modelo. Lee una variable como reasoning_effort y genera una línea de nivel de sistema distinta para cada valor. El modelo se entrenó para acortar o alargar su bloque de razonamiento en respuesta a esa línea.
De aquí se derivan dos aspectos. Los nombres de los niveles pertenecen al modelo, no al entorno de ejecución. Por tanto, un nombre de la ficha de un modelo puede no significar nada para otro. Además, si cualquier elemento de la cadena sustituye la plantilla de chat del modelo por una genérica, la variable no se genera y la configuración no tiene ningún efecto, sin mostrar un error.
Comprobada el 2026-10-12, la ficha del modelo Qwen3.8-27B documenta tres niveles de esfuerzo: low, medium y xhigh, con xhigh como valor predeterminado. No existe high. El razonamiento se activa con enable_thinking, que está activado de forma predeterminada. La ficha también documenta preserve_thinking, activado de forma predeterminada, que conserva en el historial de la conversación el razonamiento de los turnos anteriores. gpt-oss usa low, medium y high en su lugar. Muchas otras familias aceptan un valor booleano y nada más. Consulte la ficha de la versión exacta que descargó, porque estos nombres no son un estándar. Primero debe consultar Poner en marcha un modelo 27B en un VPS. Esta página explica qué debe configurar después de que responda.
Por qué un esfuerzo de razonamiento alto cuesta más en un VPS
Tokens de salida. Los tokens de razonamiento también se generan. Se procesan mediante el mismo ciclo de decodificación que los tokens de respuesta, a la misma velocidad que permita el hardware. Suponga que una tarea produce 200 tokens de respuesta y 4,000 tokens de razonamiento. Se generan 4,200 tokens, aunque el lector sólo ve 200. La velocidad de decodificación depende del ancho de banda de memoria, de la cuantización elegida y del número de hilos: las notas de ajuste de llama.cpp advierten que un valor de --threads superior al número de núcleos físicos puede saturar la CPU y ralentizar mucho la generación. Una vez ajustados esos parámetros, la única variable que queda es el número de tokens.
Tiempo real. El usuario espera al primer token de la respuesta, porque todo lo anterior es una pantalla vacía o un indicador de carga contraído. Primero se emite el razonamiento, por lo que la espera equivale aproximadamente al número de tokens de razonamiento dividido por la velocidad de decodificación, más el procesamiento del prompt. Si duplica la longitud del razonamiento, duplica esa espera.
Contexto. Los tokens de razonamiento ocupan la ventana de contexto como cualquier otro token. Con preserve_thinking activado, el bloc de notas de la primera interacción sigue incluido en el prompt durante la quinta, por lo que el procesamiento del prompt se vuelve más lento en cada turno mientras la ventana se llena por ambos extremos. Aumentar num_ctx para conservarlo consume memoria de la caché KV, que en un VPS sin GPU corresponde a RAM del sistema que quizá no tenga disponible.
Cuándo aumentar el nivel y cuándo mantenerlo bajo
Auméntelo para tareas en las que un paso intermedio incorrecto arruina el resultado: aritmética y conversión de unidades en varios pasos, planificación de una edición en varios archivos, código que debe compilar y problemas con restricciones en los que una respuesta debe cumplir varias condiciones a la vez. En estos casos, el borrador de razonamiento realiza un trabajo real, y uno más extenso es una forma económica de detectar un error que, de otro modo, el modelo daría por válido.
Manténgalo bajo cuando la respuesta ya está en la entrada y la tarea consiste en trasladarla. La extracción, clasificación, etiquetado, traducción, reescritura, síntesis y aplicación de formato pertenecen a esta categoría. El segmento de razonamiento se limita en gran medida a repetir la tarea y da al modelo margen para descartar una primera intuición correcta.
Manténgalo bajo también para cualquier tarea interactiva. En un cuadro de chat o un editor, usted participa en el proceso, por lo que una respuesta rápida que pueda corregir es preferible a una respuesta lenta que tenga que esperar. Esta es la verdadera contrapartida de dirigir un agente de programación a un modelo local: un agente realiza muchas llamadas pequeñas y el coste de razonamiento se aplica a cada una de ellas.
Cómo establecer el nivel en llama.cpp
llama.cpp escribe la variable directamente en la plantilla. Por eso, ese es el punto de ejecución donde puede confirmar que el nivel se recibió. Apunte -m al archivo GGUF que ya tiene.
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja usa la propia plantilla de chat del modelo y está habilitado de forma predeterminada en las compilaciones actuales. --reasoning-effort acepta default, minimal, low, medium, high, xhigh o max. default significa dejar sin cambios el valor predeterminado de la plantilla. Esa lista pertenece al vocabulario de llama.cpp, no al del modelo. Por tanto, use sólo un nombre que aparezca en la ficha del modelo. Un nivel que la plantilla no defina puede provocar un error de plantilla durante la petición. --reasoning-format deepseek saca el razonamiento de message.content y lo coloca en message.reasoning_content. Esto permite medir la separación en la sección siguiente.
Para desactivar el razonamiento en lugar de acortarlo, establezca usted mismo la variable de la plantilla:
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget es un mecanismo diferente. Limita el segmento de razonamiento en tokens. 0 lo termina inmediatamente y -1 lo deja sin límite. No solicita al modelo que planifique un razonamiento más corto. Ambas opciones establecen el valor predeterminado del servidor. A fecha de 2026-10-12, /v1/chat/completions de llama-server también acepta reasoning_effort y chat_template_kwargs en el cuerpo de la petición. Estos parámetros pasan el nivel a la plantilla sólo para esa llamada. none desactiva el razonamiento. Por tanto, un solo proceso puede servir dos niveles de esfuerzo.
vLLM expone la misma variable por petición, dentro del cuerpo compatible con OpenAI:
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}Cómo establecer el nivel en Ollama
Ollama tiene su propio campo, think, en /api/chat y /api/generate. Acepta true, false o un nombre de nivel. A fecha de 2026-10-12, en un modelo que publica metadatos de razonamiento, los nombres son los propios del modelo: /api/show los muestra en thinking.values junto al valor predeterminado, y un nombre que el modelo no incluya vuelve a ese valor predeterminado sin mostrar ningún error. Los modelos sin estos metadatos usan el conjunto fijo anterior de Ollama: low, medium, high y max. Si omite think, se aplica el valor predeterminado del modelo. En Qwen3.8, el razonamiento está activado de forma predeterminada.
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}El razonamiento se devuelve en message.thinking y la respuesta en message.content, ya separados. Dentro de una sesión interactiva de ollama run, /set think y /set nothink permiten activarlo o desactivarlo sin reiniciar, y /set think low selecciona un nivel.
Ahora observe dónde puede producirse un fallo silencioso. La plantilla de Qwen3.8 define los niveles low, medium y xhigh. Un modelo de Ollama contiene una plantilla incluida en su tag, en lugar del archivo Jinja del repositorio original, y Ollama sólo pasa un nivel si el modelo incluido en ese tag lo enumera. Compruebe primero qué anuncia su tag:
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinkingUn nombre que no aparezca en values, como high o max para este modelo, se ejecuta con el valor predeterminado. No dé por hecho que se ha aplicado. Medirlo tarda aproximadamente un minuto.
Cómo medir si el nivel se aplicó realmente
Envíe el mismo prompt con más de un nivel y establezca temperature en 0. Después, compare los recuentos de tokens. Los tres nombres siguientes son los que aparecen en la ficha de Qwen3.8. Si /api/show muestra otros para su etiqueta, use esos nombres. Aquí jq construye el cuerpo para que no tenga que escapar las comillas manualmente.
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_count representa todos los tokens generados, incluido el razonamiento. Por tanto, la diferencia entre dos niveles corresponde casi por completo al razonamiento. thinking_chars proporciona la separación directamente. Deben cumplirse dos condiciones: los números deben cambiar entre niveles y la respuesta debe seguir siendo correcta en el nivel inferior. Si eval_count se mantiene dentro del margen de variación en las tres ejecuciones, se está ignorando el nivel. Compruebe primero los nombres con /api/show, porque Ollama ejecuta un nombre no incluido en la lista con el valor predeterminado. Si coinciden, necesita un runtime que transmita el nivel.
El tiempo total sólo muestra una parte del comportamiento. Mida también el intervalo hasta el primer token de respuesta mediante streaming y deténgase en el primer fragmento no vacío de content. Este caso necesita jq y bc.
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
doneEjecútelo con low y de nuevo con xhigh. La diferencia es la espera que está añadiendo. En llama.cpp, los mismos números aparecen dentro de la respuesta y no hace falta realizar operaciones aritméticas en el shell:
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'Hágalo en su propio equipo. Una comparación publicada del esfuerzo se midió en hardware que no es el suyo, y su velocidad de decodificación es el factor que convierte un recuento de tokens en segundos. Medir tokens por segundo en su propio servidor le proporciona ese factor: los tokens de razonamiento divididos por su velocidad de decodificación equivalen a la espera que acaba de añadir.
Qué puede fallar
La respuesta se corta o content está vacío mientras thinking contiene datos. El límite de generación se consumió durante el razonamiento. num_predict de Ollama limita toda la generación, incluido el razonamiento, y el razonamiento se ejecuta primero. Por tanto, un límite de 512 tokens con un nivel de esfuerzo alto puede terminar la respuesta antes de que empiece. Ollama informa de "done_reason": "length" en esa respuesta. Aumente el límite o reduzca el nivel de esfuerzo. Cómo cuenta los tokens num_predict explica esta interacción en detalle.
El nivel no cambia nada. El recuento de tokens es idéntico en todos los niveles. El runtime puede no estar pasando la variable, la plantilla puede no leerla o, en Ollama, el nombre puede no estar incluido en la lista de etiquetas y haberse aplicado el valor predeterminado. Compruebe la plantilla que usa realmente el runtime, no la del repositorio original. llama.cpp con --jinja y --chat-template-kwargs inserta la variable manualmente, por lo que sirve como control: si el nivel funciona allí y en ningún otro sitio, el modelo está bien y el otro runtime está descartando la variable.
Se rechaza el nombre de un nivel. Un error de plantilla durante la petición o un fallo en el primer mensaje, con un servidor que por lo demás funciona correctamente, suele indicar que se pasó un nivel que la plantilla no define. Por ejemplo, high puede no estar definido para un modelo cuya ficha sólo enumera low, medium y xhigh. En Ollama, un modelo sin metadatos de razonamiento sólo acepta low, medium, high y max. Cualquier otro valor produce un error invalid think value.
Los chats con varios turnos se ralentizan en cada turno. El razonamiento anterior se conserva en el historial. Establezca preserve_thinking en false si el modelo lo admite o elimine el campo thinking de los mensajes que vuelve a enviar. De lo contrario, el procesamiento de la petición aumenta en cada turno aunque las respuestas mantengan la misma longitud.
La calidad disminuye con un nivel de esfuerzo bajo en una tarea que parecía sencilla. Algunas tareas de extracción no son sólo extracción. Si la entrada requiere convertir unidades o aplicar varias reglas en orden, es una tarea de razonamiento con una salida breve. Aumente el nivel sólo para esa petición, no para todo el servidor.
Ejecutar dos niveles a la vez
llama.cpp establece un nivel predeterminado al iniciarse con --reasoning-effort, pero las compilaciones actuales también aceptan reasoning_effort en cada solicitud. Por tanto, un solo proceso y una sola copia de los pesos pueden atender a un editor con un nivel bajo y a un trabajo por lotes nocturno con un nivel más alto. Si prefiere fijar cada nivel al iniciar el proceso, también puede usar dos procesos en dos puertos. Esto requiere dos copias de los pesos en memoria, a menos que ejecute los trabajos en momentos distintos. En ambos casos, los trabajos comparten la capacidad de decodificación de una sola máquina. Por eso, en un VPS, la opción más económica suele ser usar poco esfuerzo para cualquier tarea cuya respuesta espere una persona y programar una ejecución con más esfuerzo para los trabajos que nadie está supervisando. Qué ocurre cuando varios usuarios comparten un modelo local también se aplica aquí: los tokens de razonamiento requieren trabajo de decodificación, por lo que aumentar el esfuerzo reduce la concurrencia efectiva aproximadamente en el mismo factor en que aumenta el número de tokens.
FAQ
¿Qué nivel de esfuerzo de razonamiento debo usar de forma predeterminada?
Empiece por el nivel más bajo que ofrezca el modelo y súbalo sólo para las tareas en las que haya observado fallos. Varios modelos de razonamiento se distribuyen con un nivel alto predeterminado, y Qwen3.8-27B usa xhigh, su nivel máximo, de forma predeterminada desde octubre de 2026. Ese valor se elige para obtener buenos resultados en las tablas de benchmarks, pero una tabla de benchmarks no tiene en cuenta el tiempo. En su propio hardware, el tiempo se mide en segundos. Por eso, el nivel más alto debe ser una opción para cada tarea y no el valor que hereda cada solicitud.
¿Los tokens de razonamiento cuentan para el límite de contexto?
Sí. Son tokens normales de la salida y ocupan espacio en la ventana de contexto junto con todo lo demás. Que permanezcan en el siguiente turno depende del runtime y del modelo. La ficha de Qwen3.8 documenta preserve_thinking, activado de forma predeterminada, que conserva el razonamiento anterior en el historial. Por tanto, una conversación larga acumula cada bloque de trabajo que el modelo haya producido. Establézcalo en false o elimine el campo thinking de los mensajes que vuelva a enviar. Así, el procesamiento del prompt deja de crecer.
¿Por qué cambiar el nivel de razonamiento no cambia mi recuento de tokens?
El valor no está llegando a la plantilla de chat. El nivel es una variable de la plantilla. Sólo funciona si el runtime la transmite y la plantilla incluida la lee. Algunos runtimes distribuyen su propia plantilla junto con el modelo en lugar del archivo Jinja del repositorio original. En ese caso, la variable se descarta sin mostrar ningún error. Ollama también ejecuta un nombre de nivel que el modelo no incluye en la configuración predeterminada, de nuevo sin mostrar un error. Compruébelo enviando el mismo prompt con el nivel más bajo y el más alto, con temperature establecido en 0, y compare eval_count. Si los recuentos coinciden dentro del margen de variación, el nivel se está ignorando.
¿Un menor esfuerzo de razonamiento hace que el modelo sea menos preciso?
Depende de la tarea. Conviene medirlo en lugar de darlo por supuesto. Cuando la respuesta ya está presente en la entrada, como en la extracción o la reescritura, un bloque de trabajo más corto normalmente no cambia el resultado. Cuando un paso intermedio debe ser correcto antes de obtener el resultado final, como en la aritmética con varios pasos o en código que debe compilar, la precisión disminuye con un bloque de trabajo más corto. Prepare un conjunto de veinte prompts de su carga de trabajo real, ejecútelos con dos niveles y temperature establecido en 0, y cuente las respuestas incorrectas. Ese número es específico de su carga de trabajo. Ninguna tabla publicada puede proporcionárselo.