SSD Nodes Learn Hosting plans →
Guías Matt ConnorPor Matt Connor · Actualizado 2026-10-26

Cómo limitar la salida de Ollama con num_predict

Aprende a limitar los tokens de salida con num_predict en Ollama, dónde configurarlo, qué valor prevalece y cómo interpretar done_reason: "length" en la respuesta.

Qué hace num_predict en Ollama

num_predict es la opción de Ollama que limita cuántos tokens puede generar un modelo en una sola respuesta. Sólo cuenta los tokens de salida, por lo que el prompt no se contabiliza. Cuando el modelo alcanza el límite, la generación se detiene en ese punto, a veces a mitad de una palabra, y la respuesta incluye done_reason con el valor length.

Esa es toda la funcionalidad. La dificultad es que Ollama ofrece tres lugares distintos para establecer el valor, y prevalece la configuración más cercana a la solicitud. Casi todos los informes en los que se afirma que «num_predict no hace nada» se deben a que una capa sobrescribe silenciosamente a otra.

num_predict no es num_ctx

Estas dos opciones se confunden más que cualquier otro par en Ollama, y la confusión hace perder mucho tiempo de depuración.

num_ctx indica cuánto puede leer el modelo. Es el tamaño de la ventana de contexto, que contiene el prompt y todo lo generado hasta ese momento. Aumentarlo consume memoria, porque la caché key/value que el modelo mantiene para esos tokens crece con la ventana. Dimensionar num_ctx para el hardware es una tarea independiente, con sus propios modos de fallo.

num_predict indica cuánto puede escribir el modelo. Es una regla de parada, no una asignación de recursos. Aumentarlo consume tiempo de ejecución, no RAM, y no se reserva nada por adelantado.

Ambas opciones se relacionan en un punto. Los tokens generados se incorporan a la ventana de contexto a medida que se producen. En Ollama v0.40.11, el desplazamiento de contexto está activado de forma predeterminada para la mayoría de los modelos, por lo que una ventana llena descarta los tokens más antiguos y la generación continúa. Si el desplazamiento está desactivado porque la solicitud envía "shift": false o porque el modelo no admite esta función, la respuesta también puede detenerse porque la ventana se llenó, en lugar de detenerse porque se alcanzó el límite configurado. Ollama informa length en ambos casos, por lo que el número que los distingue es eval_count, como se explica más adelante.

Configúrelo una vez con un Modelfile

Un Modelfile integra el valor en el modelo que cree. Escriba el archivo:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Después, créelo y compruebe lo que se ha creado:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters muestra una línea por cada parámetro almacenado, junto con su valor. Si num_predict no aparece en esa salida, el modelo no tiene ningún límite integrado y se aplica el valor predeterminado de Ollama. ollama show --modelfile qwen3-capped muestra la definición completa. También es la forma más rápida de copiar los parámetros con los que ya se distribuye un modelo existente. Crear un modelo con límite de esta forma casi no consume espacio adicional en disco, porque la nueva entrada reutiliza los blobs de pesos que el modelo base ya descargó en lugar de copiarlos. Además, conviene saber dónde guarda Ollama esos blobs antes de que se llene el disco raíz de un VPS.

Esta es la capa adecuada para un valor que quiera que hereden todos los clientes. No es la capa adecuada si espera que el valor sea definitivo, porque no lo es.

Establézcalo por solicitud en el objeto de opciones

Todos los endpoints de generación aceptan un objeto options, y num_predict se incluye dentro de él:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat usa la misma clave options con el mismo significado. El valor establecido aquí se aplica sólo a esa llamada y a ninguna otra. Esta es la capa que utilizan sus herramientas: una interfaz de chat, un script, un wrapper de SDK o un agente de programación. Todas envían un objeto options, aunque no muestren un campo específico para ello.

Configúrelo para una sesión con /set parameter

Dentro de ollama run, la sesión interactiva establece opciones para el resto de esa sesión:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters muestra lo que la sesión enviará con el siguiente mensaje, por lo que es la forma más rápida de confirmar que el cambio se aplicó. El valor se mantiene hasta que escriba /bye. Para conservarlo, /save qwen3-capped guarda la sesión actual, incluidos los parámetros, como un modelo nuevo. Nada de lo que /set aquí llega a ningún otro cliente.

Qué configuración prevalece y por qué la tuya parece ignorarse

El orden es breve. Las opciones enviadas con la petición prevalecen sobre todo lo demás. Una línea PARAMETER num_predict en el Modelfile del modelo es el valor alternativo que se usa cuando la petición no incluye ningún valor. Si no hay ninguna de las dos, se aplica el valor predeterminado integrado de Ollama.

/set parameter no es una tercera regla. La sesión interactiva es un cliente de API, por lo que lo que configuras allí se envía como options de esa petición. Por eso prevalece sobre el Modelfile durante la sesión.

Esto explica el fallo. Añades PARAMETER num_predict 512, reconstruyes el modelo y las respuestas siguen llegando a miles de tokens. La configuración está presente, y ollama show --parameters lo demuestra. Se sobrescribe en cada petición porque el cliente envía su propio objeto options con su propio número. A menudo es un número que escribiste en una pantalla de configuración hace meses y olvidaste. ollama show lee el modelo almacenado. No puede mostrarte lo que llega por HTTP.

Comprueba el comportamiento del servidor con un solo comando. Envía una petición que produzca una respuesta larga, fuerza un límite bajo y lee dos campos:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Una respuesta detallada supera ampliamente los 32 tokens, así que espera "length" y 32. Instala primero jq con sudo apt install -y jq si falta. El valor 32 no está garantizado porque eval_count es simplemente el número de tokens de salida que el servidor generó realmente. Si el modelo termina antes, obtendrás "stop" y un recuento menor. En ese caso, la solución es usar una petición que solicite una respuesta más larga. Cuando obtengas "length" y 32, el valor propio de la petición prevaleció sobre el 512 almacenado en qwen3-capped. Esto demuestra que el servidor respeta las opciones por petición. No indica qué envía tu aplicación, así que la búsqueda continúa en el cliente. Para consultar el registro propio del servidor sobre una petición, reinícialo con OLLAMA_DEBUG=1 en el entorno y monitoriza journalctl -u ollama -f mientras tu aplicación se comunica con él.

Los valores negativos y los números que no debe copiar

num_predict también acepta valores negativos, que actúan como marcadores especiales en lugar de representar cantidades. Un valor negativo significa «no limitar este parámetro y seguir generando». Otro se ha utilizado para «rellenar el contexto restante». En octubre de 2026, la referencia de Ollama Modelfile indica -1 como valor predeterminado para la generación infinita. Las versiones anteriores de la misma tabla también indicaban -2 para rellenar el contexto.

Trate todo esto como dependiente de la versión, porque ha cambiado. Durante mucho tiempo, la referencia documentó 128 como valor predeterminado, antes de corregir la entrada a -1. Por eso, muchas guías todavía repiten el número antiguo. El comportamiento también ha cambiado. Ollama v0.40.11, la versión actual el 25 de octubre de 2026, entrega los modelos GGUF a un proceso llama-server de origen que necesita un presupuesto finito. Por eso sustituye cualquier valor negativo y cualquier límite superior a diez veces num_ctx por diez veces num_ctx. Por tanto, «infinito» significa 81,920 tokens para el modelo qwen3-capped anterior, y -2 ya no se comporta de forma distinta de -1. Consulte la referencia de parámetros de Modelfile correspondiente a la versión que ejecuta y confirme después el comportamiento con la comprobación eval_count anterior. Un valor que haya verificado en su propio equipo es más fiable que cualquier valor que haya leído en otro lugar, incluido este artículo.

Por qué la longitud de la salida es el coste principal en una VPS con CPU únicamente

Ollama es gratuito para ejecutarlo en una máquina que controle, por lo que la generación local nunca se factura por uso y una respuesta larga se paga en tiempo. La generación tiene dos fases con velocidades muy diferentes. Los tokens del prompt se evalúan por lotes, muchos a la vez. Los tokens de salida se generan de uno en uno y cada uno requiere recorrer los pesos que utiliza. En una VPS que sólo usa CPU, ese recorrido está limitado por el ancho de banda de la memoria, por lo que generar un token cuesta mucho más que procesar un token del prompt. Como ese recorrido debe leer todos los pesos que utiliza el token —todos en un modelo denso y sólo los expertos seleccionados en un modelo de mezcla de expertos como Nemotron 3.5 Lightning, que activa aproximadamente 3B de sus 30B parámetros por token—, el número de bytes que ocupa cada peso determina el límite de la velocidad de generación. Por eso una compilación q4 decodifica más rápido que el mismo modelo en q8 o fp16.

Solicite una respuesta sin streaming y los números aparecen directamente:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Las duraciones están expresadas en nanosegundos. En ese bloque, que corresponde a la respuesta de ejemplo publicada en la documentación de la API de Ollama en octubre de 2026 y no a una medición de un servidor concreto, 11 tokens del prompt tardaron aproximadamente 0.013 segundos, mientras que 18 tokens de salida tardaron aproximadamente 0.052 segundos. Eso equivale aproximadamente a 1.2 milisegundos por token del prompt frente a 2.9 milisegundos por token de salida. Por tanto, incluso en una respuesta de una sola línea, cada token generado costó más del doble que cada token leído. En una respuesta larga, la generación de salida es la que consume la mayor parte del tiempo. Su propia tasa de generación es eval_count dividida por eval_duration y convertida a segundos. Además, medir los tokens por segundo en su propio hardware merece la pena antes de ajustar cualquier otra cosa. Esa tasa depende tanto del modelo como de la máquina. Si las respuestas largas son el coste real, un modelo diseñado para una decodificación rápida, como Nemotron 3.5 Lightning en una VPS, recupera parte del tiempo que, de otro modo, estaría protegiendo un límite bajo.

La aritmética completa el análisis. A 8 tokens por segundo, una respuesta de 2,000 tokens mantiene ocupada la máquina durante más de cuatro minutos, y el modelo no sabe que usted quería un párrafo. Un modelo de razonamiento consume parte de ese presupuesto pensando antes de escribir una palabra de la respuesta. Ese razonamiento también se genera un token cada vez, como todo lo demás. Por tanto, el esfuerzo de razonamiento que solicita es otra variable que afecta al mismo coste. Algunos modelos también entran en bucles y repiten una frase hasta que algo los detiene. Sin un límite, esa única solicitud mantiene ocupado un núcleo hasta alcanzar diez veces num_ctx tokens, porque el cambio de contexto impide que una ventana completa la detenga. num_predict es la configuración que establece ese límite. Esto es especialmente importante en una VPS de Ollama autohospedada pequeña, donde una solicitud larga puede ocupar toda la máquina.

La salida truncada suele deberse al límite, no a un fallo del modelo

Los síntomas parecen indicar un fallo del modelo. Una respuesta que se detiene a mitad de una frase. Un JSON que no se puede analizar porque nunca llegó la llave de cierre. La reacción inmediata es culpar al modelo o a la cuantización. Revise primero la respuesta.

done_reason indica que la respuesta contesta directamente a la pregunta. stop significa que la generación terminó antes de alcanzar cualquier límite, porque el modelo emitió su token de fin de secuencia o porque la salida coincidió con una de las cadenas de la opción stop, que termina la respuesta en el punto donde aparece la coincidencia. length significa que la generación se interrumpió porque se agotó el espacio disponible. Cuando vea length, compare eval_count con su límite: una coincidencia exacta significa que num_predict la detuvo, y un número menor significa que la ventana de contexto se llenó primero, lo que sólo puede ocurrir con el desplazamiento de contexto desactivado.

Al transmitir la respuesta, esos campos llegan en el fragmento final, el que contiene "done": true. Muchas bibliotecas cliente descartan ese fragmento y entregan al código sólo el texto. Por eso, dentro de una aplicación, la misma truncación parece inexplicable, mientras que bajo curl resulta evidente. Si una biblioteca oculta ese dato, envíe una solicitud con curl para averiguar qué respondió realmente el servidor.

Hay otro punto que evita perder una tarde. Aumentar num_predict no hace que un modelo escriba más. Sólo elimina un límite superior. Si una respuesta termina en 200 tokens con done_reason de stop, el modelo decidió terminar o coincidió una de sus cadenas stop, y un límite mayor no cambia nada. Las respuestas cortas con stop indican un problema de prompting o de cadenas de parada. Las respuestas cortas con length indican un problema de límite.

Elegir un valor

  • Para el chat interactivo, no establezca un límite y pulse Ctrl+C para detener una respuesta descontrolada. De todos modos, está supervisando la pantalla.
  • Para cualquier proceso automatizado, establézcalo. Una generación sin límite dentro de un bucle puede hacer que un trabajo por lotes que debería tardar diez minutos siga ejecutándose a la mañana siguiente.
  • Para una salida estructurada, establezca el límite por encima del documento válido más grande que espere y trate done_reason de length como un error grave. Vuelva a intentarlo en lugar de analizar la respuesta recibida.
  • Para un agente de programación, el valor debe estar en la configuración del propio agente, porque el agente envía sus propias opciones en cada solicitud. Configurar un agente de programación para usar Ollama explica dónde se encuentran esos ajustes.

El límite cuenta tokens, no palabras ni caracteres, así que no lo estime. Genere una respuesta representativa sin límite, consulte eval_count y establezca el límite bastante por encima de ese valor. Las familias de modelos tokenizan de forma diferente, por lo que un valor que basta para un modelo Llama puede truncar la misma respuesta de un modelo Qwen 3 en el mismo VPS.

FAQ

¿Cuál es la diferencia entre num_ctx y num_predict en Ollama?

num_ctx es el tamaño de la ventana de contexto, por lo que determina cuánto puede leer el modelo: el prompt y todo lo generado hasta ese momento. Consume memoria porque la caché de clave/valor crece con ella. num_predict determina cuántos tokens puede escribir el modelo en una respuesta. Consume tiempo, no memoria, y no reserva nada por adelantado. Los tokens generados cuentan para ambos límites, por lo que, con el desplazamiento de contexto desactivado, cualquiera de los dos puede truncar la respuesta.

¿Por qué parece que se ignora mi configuración de num_predict?

Porque un valor enviado con la petición sobrescribe el valor almacenado en el modelo. Coloque PARAMETER num_predict 512 en un Modelfile y use después ese modelo desde un frontend de chat o un agente de programación; el cliente enviará su propio objeto options y prevalecerá su número. ollama show --parameters seguirá mostrando su valor, porque lee el modelo almacenado y no puede ver lo que llega por HTTP. Envíe una petición con curl mediante "options": {"num_predict": 32} y un prompt que requiera una respuesta larga; después lea done_reason y eval_count. Un length con un eval_count de 32 muestra el valor de la petición en lugar del almacenado. Esto confirma que el servidor funciona correctamente y desplaza la búsqueda hacia la aplicación. Un stop con un número menor sólo significa que el modelo terminó antes. Repita la prueba con un prompt que solicite más contenido.

¿Cómo puedo saber si num_predict truncó mi salida?

Envíe la petición con "stream": false y lea done_reason. Un valor de stop significa que el modelo terminó por sí solo o que una de sus cadenas stop puso fin a la generación. Un valor de length significa que se quedó sin espacio. Compare después eval_count con su límite: si coinciden exactamente, num_predict detuvo la generación. Si eval_count es menor, la ventana de contexto se llenó primero. Al usar streaming, ambos campos llegan en el fragmento final con "done": true, que muchas bibliotecas cliente descartan antes de que el código pueda leerlo.

¿Cuál es el valor predeterminado de num_predict?

Consúltelo en su propia instalación, no en un artículo. En octubre de 2026, la referencia de Modelfile de Ollama indica -1 como valor predeterminado. Esto significa que la generación no tiene límite. Esa entrada se corrigió después de un largo periodo en el que se documentó 128. En Ollama v0.40.11, ese valor predeterminado sin límite, al igual que cualquier valor negativo, se detiene realmente en diez veces num_ctx. Los valores negativos son indicadores especiales, no cantidades. Las versiones anteriores de la misma tabla también indicaban -2 para completar el contexto restante. Consulte la referencia de parámetros de Modelfile correspondiente a su versión y confírmelo con ollama show --parameters y una petición curl.

¿Aumentar num_predict hace que el modelo escriba respuestas más largas?

No. Sólo elimina un límite superior. Si una respuesta termina con done_reason de stop, el modelo decidió que había terminado o coincidió una de sus cadenas stop, por lo que aumentar el límite no cambia nada. En ese caso, la longitud depende del prompt: solicite una estructura concreta, un número de secciones o un nivel de detalle determinado. Aumente num_predict sólo cuando done_reason devuelva length.

¿Te resultó útil este artículo?