SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor · Aktualisiert 2026-10-26

Ollama num_predict begrenzen: Ausgabe-Länge festlegen

num_predict begrenzt die Ausgabe-Tokens in Ollama. Erfahren Sie, wo Sie den Wert setzen, welche der drei Ebenen gewinnt und was done_reason bedeutet.

Was num_predict in Ollama bewirkt

num_predict ist die Ollama-Option, die begrenzt, wie viele Tokens ein Modell in einer Antwort generieren darf. Gezählt werden nur Ausgabe-Tokens. Der Prompt wird daher nicht auf dieses Limit angerechnet. Wenn das Modell das Limit erreicht, wird die Generierung an dieser Stelle beendet, gelegentlich mitten in einem Wort. Die Antwort enthält dann done_reason mit dem Wert length.

Das ist die gesamte Funktion. Die Schwierigkeit besteht darin, dass Ollama drei separate Stellen zum Festlegen des Werts bietet. Die Einstellung, die am nächsten an der Anfrage liegt, hat Vorrang. Fast jeder Bericht, dass „num_predict nichts bewirkt“, ist darauf zurückzuführen, dass eine Ebene unbemerkt eine andere überschreibt.

num_predict ist nicht num_ctx

Diese beiden Optionen werden in Ollama häufiger verwechselt als jedes andere Paar. Die Verwechslung kostet bei der Fehlersuche erheblich Zeit.

num_ctx gibt an, wie viel das Modell lesen kann. Es ist die Größe des Kontextfensters. Dieses enthält den Prompt und alles, was bis dahin erzeugt wurde. Ein größerer Wert benötigt mehr Speicher, weil der Key/Value-Cache des Modells für diese Tokens mit dem Fenster wächst. num_ctx für Ihre Hardware dimensionieren ist eine separate Aufgabe mit eigenen Fehlerursachen.

num_predict gibt an, wie viel das Modell schreiben wird. Es ist eine Abbruchregel und keine Speicherzuweisung. Ein größerer Wert kostet Rechenzeit statt RAM. Im Voraus wird dafür nichts reserviert.

Beide Werte treffen an einer Stelle zusammen. Erzeugte Tokens werden während der Generierung in das Kontextfenster aufgenommen. In Ollama v0.40.11 ist context shift bei den meisten Modellen standardmäßig aktiviert. Wenn das Fenster voll ist, werden dadurch ältere Tokens entfernt und die Generierung fortgesetzt. Bei deaktiviertem Shift, weil die Anfrage "shift": false sendet oder das Modell Shift nicht unterstützt, kann eine Antwort ebenfalls abbrechen, weil das Fenster voll ist und nicht weil das Limit erreicht wurde. Ollama meldet in beiden Fällen length. Der Wert, der zwischen diesen Fällen unterscheidet, ist eval_count. Darauf gehen wir weiter unten ein.

Einmalig mit einem Modelfile festlegen

Ein Modelfile übernimmt den Wert dauerhaft in ein von Ihnen erstelltes Modell. Schreiben Sie die Datei:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Erstellen Sie anschließend das Modell und lesen Sie den gesetzten Wert aus:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters gibt für jeden gespeicherten Parameter eine Zeile mit seinem Wert aus. Fehlt num_predict in dieser Ausgabe, enthält das Modell keine fest eingebaute Begrenzung und es gilt der Standardwert von Ollama. ollama show --modelfile qwen3-capped gibt die vollständige Definition aus. Damit lassen sich die Parameter, mit denen ein vorhandenes Modell bereits ausgeliefert wird, am schnellsten kopieren. Das Erstellen eines begrenzten Modells auf diese Weise benötigt nahezu keinen zusätzlichen Speicherplatz. Der neue Eintrag verwendet die bereits vom Basismodell heruntergeladenen Weight-Blobs erneut, anstatt sie zu kopieren. Daher sollten Sie wissen, wo Ollama diese Blobs speichert, bevor die Root-Disk eines VPS voll läuft.

Das ist die richtige Ebene für einen Wert, den jeder Aufrufer übernehmen soll. Es ist die falsche Ebene, wenn Sie erwarten, dass der Wert endgültig gilt, denn das tut er nicht.

Legen Sie ihn pro Anfrage im options-Objekt fest

Jeder Generation-Endpunkt übernimmt ein options-Objekt. num_predict wird darin angegeben:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat verwendet denselben options-Schlüssel mit derselben Bedeutung. Der Wert gilt nur für diesen einen Aufruf und für nichts anderes. Diese Ebene verwenden Ihre Tools: ein Chat-Frontend, ein Script, ein SDK-Wrapper oder ein Coding-Agent. Sie senden alle ein options-Objekt, unabhängig davon, ob sie dafür ein Eingabefeld anzeigen.

Legen Sie es für eine Sitzung mit /set parameter fest

In ollama run legt die interaktive Sitzung Optionen für den Rest dieser Sitzung fest:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters zeigt an, was die Sitzung mit Ihrer nächsten Nachricht sendet. Damit lässt sich am schnellsten prüfen, ob eine Änderung übernommen wurde. Der Wert bleibt bestehen, bis Sie /bye eingeben. Mit /save qwen3-capped schreibt die Sitzung den aktuellen Sitzungszustand einschließlich der Parameter als neues Modell. Nichts, was Sie hier mit /set eingeben, erreicht einen anderen Client.

Welche Einstellung gewinnt und warum Ihre Einstellung ignoriert aussieht

Die Reihenfolge ist kurz. Mit der Anfrage gesendete Optionen haben Vorrang vor allem anderen. Eine PARAMETER num_predict-Zeile im Modelfile des Modells dient als Fallback, wenn die Anfrage keinen Wert enthält. Fehlt beides, gilt der integrierte Standardwert von Ollama.

/set parameter ist keine dritte Regel. Die interaktive Sitzung ist ein API-Client. Der dort gesetzte Wert wird als options dieser Anfrage gesendet. Genau deshalb überschreibt er das Modelfile für die Sitzung.

Damit lässt sich der Fehler erklären. Sie fügen PARAMETER num_predict 512 hinzu, erstellen das Modell neu, und die Antworten laufen weiterhin über Tausende von Tokens. Ihre Einstellung ist vorhanden, und ollama show --parameters belegt das. Sie wird bei jeder Anfrage überschrieben, weil der Client ein eigenes options-Objekt mit einer eigenen Zahl sendet. Häufig stammt diese Zahl aus einer Einstellung, die Sie vor Monaten in einer Konfigurationsoberfläche eingegeben und danach vergessen haben. ollama show liest das gespeicherte Modell. Es zeigt nicht, was über HTTP eintrifft.

Überprüfen Sie die Serverseite mit einem einzigen Befehl. Senden Sie eine Anfrage, die eine lange Antwort erzeugt, setzen Sie das Limit niedrig und lesen Sie zwei Felder aus:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Eine ausführliche Antwort überschreitet 32 Tokens deutlich. Rechnen Sie daher mit "length" und 32. Installieren Sie jq zuerst mit sudo apt install -y jq, falls es fehlt. Die 32 ist nicht garantiert, weil eval_count lediglich die Anzahl der Ausgabetokens angibt, die der Server tatsächlich erzeugt hat. Wenn das Modell früh fertig ist, erhalten Sie "stop" und eine kleinere Anzahl. Die Lösung ist dann ein Prompt, der zu einer längeren Antwort auffordert. Wenn Sie "length" und 32 erhalten, hatte der Wert der Anfrage Vorrang vor dem in qwen3-capped gespeicherten Wert 512. Das zeigt, dass der Server Optionen pro Anfrage berücksichtigt. Es zeigt nicht, was Ihre Anwendung sendet. Die Suche wird daher auf den Client ausgeweitet. Für die eigene Protokollierung einer Anfrage durch den Server starten Sie ihn mit OLLAMA_DEBUG=1 in der Umgebung neu und überwachen Sie journalctl -u ollama -f, während Ihre Anwendung mit ihm kommuniziert.

Negative Werte und Zahlen, die Sie nicht übernehmen sollten

num_predict akzeptiert auch negative Werte. Diese dienen als Platzhalter und nicht als Anzahl. Ein negativer Wert bedeutet „keine Obergrenze festlegen, die Generierung fortsetzen“. Ein anderer Wert bedeutete „den verbleibenden Kontext auffüllen“. Seit Oktober 2026 gibt die Ollama-Modelfile-Referenz -1 als Standardwert an: unendliche Generierung. In früheren Versionen derselben Tabelle war für das Auffüllen des Kontexts außerdem -2 angegeben.

Behandeln Sie diese Angaben als versionsabhängig, da sie geändert wurden. Die Referenz dokumentierte den Standardwert lange Zeit als 128, bevor der Eintrag auf -1 korrigiert wurde. Daher wiederholen viele Anleitungen weiterhin die alte Zahl. Auch das Verhalten wurde geändert. Ollama v0.40.11, die am 25. Oktober 2026 aktuelle Version, übergibt GGUF-Modelle an einen vorgelagerten llama-server-Prozess, der ein begrenztes Kontingent benötigt. Deshalb ersetzt Ollama jeden negativen Wert sowie jede Obergrenze über dem Zehnfachen von num_ctx durch das Zehnfache von num_ctx. „Unendlich“ bedeutet für das oben verwendete Modell qwen3-capped daher 81,920 Tokens. -2 verhält sich außerdem nicht mehr anders als -1. Lesen Sie die Referenz zu den Modelfile-Parametern für die von Ihnen tatsächlich verwendete Version. Bestätigen Sie das Verhalten anschließend mit der obigen Prüfung eval_count. Ein Wert, den Sie auf Ihrem eigenen System überprüft haben, ist verlässlicher als ein Wert aus einer beliebigen Quelle, auch aus diesem Beitrag.

Warum die Ausgabelänge auf einer CPU-only-VPS die Hauptkosten verursacht

Ollama kann kostenlos auf einer von Ihnen kontrollierten Maschine ausgeführt werden, daher wird die lokale Generierung nie nach Verbrauch abgerechnet. Eine lange Antwort kostet stattdessen mehr Zeit. Die Generierung besteht aus zwei Phasen mit sehr unterschiedlichen Geschwindigkeiten. Prompt-Tokens werden in Batches ausgewertet, also viele gleichzeitig. Ausgabe-Tokens werden einzeln erzeugt. Für jedes Token ist ein Durchlauf über die dabei verwendeten Gewichte erforderlich. Auf einer reinen CPU-VPS wird dieser Durchlauf durch die Speicherbandbreite begrenzt. Daher kostet ein erzeugtes Token deutlich mehr als ein Prompt-Token. Bei diesem Durchlauf müssen alle Gewichte gelesen werden, die das Token verwendet: bei einem dichten Modell alle Gewichte, bei einem Mixture-of-Experts-Modell wie Nemotron 3.5 Lightning nur die gerouteten Experten. Dieses Modell aktiviert pro Token etwa 3B seiner 30B Parameter. Die Anzahl der Bytes, die jedes Gewicht belegt, begrenzt somit die Tokenrate. Deshalb dekodiert ein q4-Build schneller als dasselbe Modell mit q8 oder fp16.

Fordern Sie eine Antwort ohne Streaming an, stehen die Werte direkt in der Ausgabe:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Die Zeitangaben sind in Nanosekunden. Dieser Block ist die Beispielantwort, die im Oktober 2026 in der Ollama-API-Dokumentation veröffentlicht war. Er ist keine Messung eines bestimmten Servers. 11 Prompt-Tokens benötigten etwa 0.013 Sekunden, während 18 Ausgabe-Tokens etwa 0.052 Sekunden benötigten. Das entspricht ungefähr 1.2 Millisekunden pro Prompt-Token gegenüber 2.9 Millisekunden pro Ausgabe-Token. Selbst bei einer einzeiligen Antwort kostete damit jedes generierte Token mehr als doppelt so viel wie jedes gelesene Token. Bei einer langen Antwort bestimmt die Ausgabe die benötigte Zeit. Ihre eigene Generierungsrate ergibt sich aus eval_count geteilt durch eval_duration und in Sekunden umgerechnet. Die Messung der Tokens pro Sekunde auf Ihrer eigenen Hardware lohnt sich einmal, bevor Sie andere Einstellungen anpassen. Diese Rate hängt ebenso stark vom Modell wie von der Hardware ab. Wenn lange Antworten die eigentlichen Kosten verursachen, spart ein für schnelles Dekodieren entwickeltes Modell wie Nemotron 3.5 Lightning auf einer VPS einen Teil der Zeit ein, die ein niedriges Limit sonst begrenzen soll.

Die Rechnung zeigt den Rest. Bei 8 Tokens pro Sekunde hält eine Antwort mit 2,000 Tokens die Maschine länger als vier Minuten beschäftigt. Das Modell weiß nicht, dass Sie einen Absatz wollten. Ein Reasoning-Modell verwendet einen Teil dieses Budgets zum Nachdenken, bevor es ein von Ihnen angefordertes Wort schreibt. Auch dieses Denken wird wie alles andere Token für Token erzeugt. Deshalb ist der von Ihnen angeforderte Reasoning-Aufwand ein weiterer Stellhebel für dieselben Kosten. Einige Modelle geraten außerdem in Schleifen und wiederholen eine Phrase, bis sie gestoppt werden. Ohne Limit hält diese einzelne Anfrage einen CPU-Kern beschäftigt, bis sie zehnmal num_ctx Tokens erreicht. Ein Context Shift verhindert, dass das Ende des vollständigen Kontextfensters die Anfrage beendet. num_predict ist die Einstellung, die diese Menge begrenzt. Das ist besonders auf einer kleinen self-hosted Ollama-VPS wichtig, auf der eine lange Anfrage die gesamte Maschine beansprucht.

Abgeschnittene Ausgaben sind normalerweise die Begrenzung und kein fehlerhaftes Modell

Die Symptome wirken wie ein Modellfehler. Eine Antwort endet mitten im Satz. JSON lässt sich nicht parsen, weil die schließende geschweifte Klammer fehlt. Der erste Reflex ist, dem Modell oder der Quantisierung die Schuld zu geben. Lesen Sie zuerst die Antwort.

done_reason bedeutet, dass die Antwort die Frage direkt beantwortet. stop bedeutet, dass die Generierung vor dem Erreichen eines Limits beendet wurde. Entweder hat das Modell sein End-of-Sequence-Token ausgegeben, oder die Ausgabe entsprach einem der Strings in Ihrer Option stop, wodurch die Antwort an der entsprechenden Stelle beendet wird. length bedeutet, dass die Generierung abgebrochen wurde, weil kein Platz mehr verfügbar war. Wenn length angezeigt wird, vergleichen Sie eval_count mit Ihrem Limit: Eine exakte Übereinstimmung bedeutet, dass num_predict die Generierung beendet hat. Eine kleinere Zahl bedeutet, dass das Kontextfenster zuerst vollständig belegt war. Das kann nur bei deaktiviertem Context Shift passieren.

Beim Streaming kommen diese Felder im letzten Chunk an, der "done": true enthält. Viele Clientbibliotheken verwerfen diesen Chunk und übergeben Ihrem Code nur den Text. Deshalb wirkt dieselbe Abbruchbedingung innerhalb einer Anwendung unerklärlich, während sie unter curl offensichtlich ist. Wenn eine Bibliothek diese Information verbirgt, senden Sie eine Anfrage mit curl, um festzustellen, was der Server tatsächlich gemeldet hat.

Ein weiterer Punkt erspart Ihnen einen langen, vergeblichen Nachmittag. Durch das Erhöhen von num_predict schreibt ein Modell nicht mehr Text. Sie entfernen damit lediglich eine Obergrenze. Wenn eine Antwort nach 200 Tokens mit done_reason von stop endet, hat das Modell entweder entschieden, dass die Antwort vollständig ist, oder einer Ihrer stop-Strings hat gepasst. Ein höheres Limit ändert daran nichts. Kurze Antworten mit stop weisen auf ein Problem mit dem Prompt oder den Stop-Strings hin. Kurze Antworten mit length weisen auf ein Problem mit dem Limit hin.

Wahl eines Werts

  • Bei einem interaktiven Chat lassen Sie das Limit unbegrenzt und drücken Sie Ctrl+C, um eine endlos laufende Antwort zu stoppen. Sie beobachten die Ausgabe ohnehin.
  • Für alles, was per Skript ausgeführt wird, sollten Sie den Wert festlegen. Eine unbegrenzte Generierung innerhalb einer Schleife führt dazu, dass ein Batch-Job, der zehn Minuten dauern sollte, am nächsten Morgen immer noch läuft.
  • Für strukturierte Ausgaben setzen Sie das Limit höher als das größte erwartete gültige Dokument. Behandeln Sie anschließend done_reason von length als harten Fehler und starten Sie den Vorgang erneut, statt die empfangene Ausgabe zu parsen.
  • Bei einem Coding-Agent gehört der Wert in die Konfiguration des Agents, weil der Agent seine eigenen Optionen bei jeder Anfrage sendet. Einen Coding-Agent auf Ollama verweisen beschreibt, wo diese Einstellungen gespeichert sind.

Das Limit zählt Tokens, nicht Wörter und nicht Zeichen. Schätzen Sie den Wert daher nicht. Generieren Sie eine repräsentative Antwort ohne Limit, lesen Sie eval_count ab und setzen Sie das Limit mit ausreichendem Abstand darüber. Modellfamilien tokenisieren unterschiedlich. Ein Wert, der für ein Llama-Modell ausreicht, kann dieselbe Antwort von einem Qwen-3-Modell auf demselben VPS abschneiden.

FAQ

Was ist der Unterschied zwischen num_ctx und num_predict in Ollama?

num_ctx ist die Größe des Kontextfensters. Der Wert legt fest, wie viel das Modell lesen kann: den Prompt und alles, was bisher erzeugt wurde. Er benötigt Speicher, weil der Key/Value-Cache mit dem Kontextfenster wächst. num_predict legt fest, wie viele Tokens das Modell in einer Antwort höchstens schreiben darf. Dieser Wert benötigt eher Zeit als Speicher. Im Voraus wird dafür kein Speicher reserviert. Erzeugte Tokens werden auf beide Werte angerechnet. Bei deaktiviertem Context Shift kann die Antwort daher durch einen der beiden Werte vorzeitig beendet werden.

Warum scheint meine Einstellung für num_predict ignoriert zu werden?

Weil ein mit der Anfrage gesendeter Wert den im Modell gespeicherten Wert überschreibt. Legen Sie PARAMETER num_predict 512 in einer Modelfile fest und verwenden Sie dieses Modell anschließend über ein Chat-Frontend oder einen Coding-Agent. Der Client sendet dann sein eigenes options-Objekt. Dessen Wert hat Vorrang. ollama show --parameters gibt weiterhin Ihren Wert aus, weil der Befehl das gespeicherte Modell liest und nicht sehen kann, was über HTTP eingeht. Senden Sie mit curl und "options": {"num_predict": 32} eine Anfrage mit einem Prompt, der eine lange Antwort erfordert. Lesen Sie anschließend done_reason und eval_count aus. Ein length mit einem eval_count von 32 zeigt den Wert der Anfrage anstelle des gespeicherten Werts. Damit ist bestätigt, dass der Server selbst korrekt arbeitet. Die weitere Suche sollte in Ihrer Anwendung erfolgen. Ein stop mit einer kleineren Anzahl bedeutet nur, dass das Modell die Antwort vorher beendet hat. Wiederholen Sie den Test mit einem Prompt, der eine längere Antwort verlangt.

Wie kann ich feststellen, ob num_predict meine Ausgabe abgeschnitten hat?

Senden Sie die Anfrage mit "stream": false und lesen Sie done_reason aus. Der Wert stop bedeutet, dass das Modell selbstständig fertig geworden ist oder dass eine Ihrer stop-Zeichenketten die Ausgabe beendet hat. Der Wert length bedeutet, dass der verfügbare Platz nicht ausgereicht hat. Vergleichen Sie anschließend eval_count mit Ihrem Limit. Stimmen die Werte exakt überein, wurde die Ausgabe durch num_predict beendet. Ist eval_count kleiner, war das Kontextfenster zuerst voll. Beim Streaming werden beide Felder im letzten Chunk mit "done": true übertragen. Viele Client-Bibliotheken verwerfen diesen Chunk, bevor Ihr Code ihn lesen kann.

Was ist der Standardwert von num_predict?

Lesen Sie den Wert aus Ihrer eigenen Installation aus, statt sich auf einen Artikel zu verlassen. Im Oktober 2026 gibt die Ollama-Modelfile-Referenz als Standardwert -1 an. Das bedeutet, dass die Generierung nicht begrenzt ist. Dieser Eintrag wurde nach einer langen Zeit korrigiert, in der 128 dokumentiert wurde. In Ollama v0.40.11 endet dieser offene Standardwert, ebenso wie jeder negative Wert, tatsächlich nach dem Zehnfachen von num_ctx. Negative Werte sind Platzhalter und keine Zählwerte. Ältere Versionen derselben Tabelle führten außerdem -2 für das Auffüllen des verbleibenden Kontexts auf. Prüfen Sie die Referenz der Modelfile-Parameter für Ihre Version. Bestätigen Sie den Wert anschließend mit ollama show --parameters und einer curl-Anfrage.

Führt ein höherer Wert für num_predict zu längeren Antworten?

Nein. Dadurch wird nur eine Obergrenze entfernt. Wenn eine Antwort mit done_reason von stop endet, hat das Modell entschieden, dass sie vollständig ist, oder eine Ihrer stop-Zeichenketten hat die Ausgabe beendet. Ein höheres Limit ändert daran nichts. Die Länge ist in diesem Fall eine Frage des Promptings. Verlangen Sie eine bestimmte Struktur, eine festgelegte Anzahl von Abschnitten oder einen angegebenen Detailgrad. Erhöhen Sie num_predict nur, wenn done_reason als length zurückgegeben wird.

War dieser Artikel hilfreich?