Reasoning Effort bei lokalen LLMs richtig einstellen
Erfahren Sie, wie der Reasoning-Aufwand die Generierungszeit und das Context Window beeinflusst. Wir zeigen, wie Sie die Kosten auf eigener Hardware exakt messen.
Welche Auswirkungen hat der Reasoning-Aufwand bei einem lokalen LLM?
Der Reasoning-Aufwand ist eine Einstellung, die festlegt, wie lange ein Modell vor seiner Antwort nachdenkt. Er verändert nur die Länge des Reasoning-Abschnitts. Die Gewichte auf dem Datenträger sind bei jeder Stufe identisch, ebenso die Quantisierung. Die Antwort entsteht aus demselben Forward Pass. Verändert wird nur die Anzahl der Tokens, die das Modell zunächst für seinen eigenen Scratchpad verwendet.
Diese Unterscheidung ist wichtig, weil es darauf ankommt, wo diese Tokens anfallen. Bei einer gehosteten API erscheinen Reasoning-Tokens auf der Rechnung. Auf einem VPS, den Sie selbst betreiben, werden sie durch Generierungszeit auf Ihrer eigenen CPU oder GPU und durch belegten Platz im Context Window bezahlt. Ein Modell, das mit dem höchsten Reasoning-Aufwand ausgeführt wird, kann den Großteil seiner Ausgabe für das Reasoning verwenden, bevor das erste Wort der Antwort erscheint. Auf selbst gehosteter Hardware kann das den Unterschied zwischen einer Antwort nach zwei Sekunden und einer Antwort nach zwei Minuten ausmachen.
Wo der Wert festgelegt wird: im Chat-Template, nicht in den Gewichten
Ein Thinking-Modell ist darauf trainiert, vor seiner endgültigen Antwort ein Reasoning-Segment auszugeben, das normalerweise in die Tags <think> und </think> eingeschlossen ist. Der Effort-Level ist eine Anweisung, die das Chat-Template des Modells in den Prompt schreibt. Dieses Template ist eine vom Modell bereitgestellte Jinja-Datei. Sie liest eine Variable wie reasoning_effort und erzeugt für jeden Wert eine andere Zeile auf Systemebene. Das Modell wurde darauf trainiert, sein Scratchpad als Reaktion auf diese Zeile zu verkürzen oder zu verlängern.
Daraus ergeben sich zwei Punkte. Die Namen der Level gehören zum Modell und nicht zu Ihrer Laufzeitumgebung. Ein Name aus der Model Card eines Modells kann bei einem anderen Modell daher bedeutungslos sein. Wenn außerdem eine Komponente in der Verarbeitungskette das Chat-Template des Modells durch ein generisches Template ersetzt, wird die Variable nicht gerendert. Die Einstellung bleibt dann unbemerkt wirkungslos.
Laut Prüfung vom 2026-10-12 dokumentiert die Model Card des Modells Qwen3.8-27B drei Effort-Level: low, medium und xhigh, wobei xhigh der Standardwert ist. high gibt es nicht. Thinking wird mit enable_thinking aktiviert und ist standardmäßig eingeschaltet. Die Model Card dokumentiert außerdem preserve_thinking, das ebenfalls standardmäßig aktiviert ist und Reasoning aus früheren Turns im Gesprächsverlauf beibehält. gpt-oss verwendet stattdessen low, medium und high. Viele andere Modellfamilien akzeptieren nur einen booleschen Wert. Lesen Sie die Model Card der exakt abgerufenen Version, da diese Namen keinem Standard entsprechen. Ein 27B-Modell auf einem VPS starten ist der erste Schritt. Auf dieser Seite geht es darum, was Sie einstellen sollten, sobald das Modell antwortet.
Warum hoher Rechenaufwand auf einem VPS mehr kostet
Ausgabetoken. Reasoning-Tokens werden wie Antwort-Tokens generiert. Beide durchlaufen dieselbe Decodierschleife und werden mit derselben Geschwindigkeit erzeugt, die Ihre Hardware ermöglicht. Angenommen, eine Aufgabe erzeugt 200 Antwort-Tokens und 4,000 Reasoning-Tokens. Dann wurden 4,200 Tokens generiert, obwohl der Leser nur 200 davon sieht. Ihre Decodiergeschwindigkeit hängt von der Speicherbandbreite, der von Ihnen gewählten Quantisierung und der Thread-Anzahl ab: In den eigenen Tuning-Hinweisen von llama.cpp wird davor gewarnt, dass ein --threads-Wert oberhalb der Anzahl physischer Kerne die CPU überlasten und die Generierung stark verlangsamen kann. Wenn diese Parameter optimiert sind, bleibt als Stellgröße nur noch die Token-Anzahl.
Verstrichene Zeit. Eine Person wartet auf das erste Token der Antwort, weil davor nur ein leerer Bildschirm oder ein eingeklappter Ladeindikator zu sehen ist. Reasoning wird zuerst ausgegeben. Die Wartezeit entspricht daher ungefähr der Anzahl der Reasoning-Tokens geteilt durch Ihre Decodiergeschwindigkeit, zuzüglich der Prompt-Verarbeitung. Eine Verdopplung der Reasoning-Länge verdoppelt diese Wartezeit.
Kontext. Reasoning-Tokens belegen das Kontextfenster wie alle anderen Tokens. Wenn preserve_thinking aktiviert ist, befindet sich der Zwischenspeicher aus dem ersten Turn beim fünften Turn weiterhin im Prompt. Dadurch wird die Prompt-Verarbeitung mit jedem Turn langsamer, während sich das Fenster von beiden Seiten füllt. Wenn Sie num_ctx erhöhen, um den Inhalt aufzunehmen, benötigt der KV-Cache zusätzlichen Speicher. Auf einem VPS ohne GPU ist das System-RAM, das möglicherweise nicht frei verfügbar ist.
Wann Sie die Stufe erhöhen und wann Sie sie niedrig lassen
Erhöhen Sie sie bei Aufgaben, bei denen ein falscher Zwischenschritt das Ergebnis verfälscht: mehrstufige Arithmetik und Einheitenumrechnung, die Planung einer Änderung über mehrere Dateien hinweg, Code, der kompilieren muss, sowie Aufgaben mit Bedingungen, bei denen eine Antwort mehrere Vorgaben gleichzeitig erfüllen muss. In diesen Fällen leistet der Scratchpad tatsächlich wichtige Arbeit. Ein längerer Scratchpad ist eine kostengünstige Möglichkeit, einen Fehler abzufangen, auf den sich das Modell sonst festlegen würde.
Lassen Sie sie niedrig, wenn die Antwort bereits in der Eingabe enthalten ist und nur übertragen werden muss. Extraktion, Klassifizierung, Tagging, Übersetzung, Umschreiben, Zusammenfassen und Formatieren fallen in diese Kategorie. Der Abschnitt zum Schlussfolgern wiederholt die Aufgabe größtenteils. Dadurch kann das Modell seine zunächst richtige Einschätzung wieder verwerfen.
Lassen Sie sie auch bei interaktiven Aufgaben niedrig. In einem Chatfeld oder Editor sind Sie Teil des Ablaufs. Eine schnelle Antwort, die Sie korrigieren können, ist daher besser als eine langsame Antwort, auf die Sie warten müssen. Das ist der eigentliche Zielkonflikt hinter einen Coding-Agent auf ein lokales Modell anzusetzen: Ein Agent führt viele kleine Aufrufe aus, und die Kosten für das Schlussfolgern fallen bei jedem einzelnen an.
So setzen Sie das Level in llama.cpp
llama.cpp schreibt die Variable direkt in das Template. Dadurch erfolgt die Auswertung zur Laufzeit, und Sie können sicher feststellen, dass das Level angekommen ist. Setzen Sie -m auf die bereits vorhandene GGUF-Datei.
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja verwendet das chat template des Modells und ist in aktuellen Builds standardmäßig aktiviert. --reasoning-effort akzeptiert default, minimal, low, medium, high, xhigh oder max. default bedeutet, dass der Standardwert des Templates unverändert bleibt. Diese Liste enthält die von llama.cpp unterstützten Bezeichnungen, nicht die des Modells. Übergeben Sie daher nur eine Bezeichnung, die in der Model-Card aufgeführt ist. Ein Level, das im Template nicht definiert ist, kann bei der Anfrage einen Template-Fehler verursachen. --reasoning-format deepseek verschiebt das Reasoning aus message.content nach message.reasoning_content. Dadurch lässt sich die Aufteilung im nächsten Abschnitt messen.
Wenn Sie das Denken deaktivieren möchten, statt es nur zu verkürzen, setzen Sie die Template-Variable selbst:
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget verwendet einen anderen Mechanismus. Es begrenzt das Reasoning-Segment anhand der Token-Anzahl. 0 beendet es sofort, während -1 keine Begrenzung setzt. Dadurch wird das Modell nicht aufgefordert, ein kürzeres Segment zu planen. Beide Flags legen den Standardwert des Servers fest. Seit 2026-10-12 akzeptiert /v1/chat/completions von llama-server im Request-Body außerdem reasoning_effort und chat_template_kwargs. Damit wird das Level für diese eine Anfrage an das Template übergeben. none deaktiviert das Reasoning. Ein Prozess kann dadurch zwei Effort-Levels bereitstellen.
vLLM stellt dieselbe Variable pro Anfrage im OpenAI-kompatiblen Body bereit:
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}Ollama-Level festlegen
Ollama verwendet dafür das eigene Feld think in /api/chat und /api/generate. Es akzeptiert true, false oder einen Level-Namen. Seit dem 2026-10-12 sind die Namen bei einem Modell, das Thinking-Metadaten veröffentlicht, modellspezifisch: /api/show listet sie unter thinking.values zusammen mit dem jeweiligen Standardwert auf. Ein Name, den das Modell nicht auflistet, verwendet ohne Fehlermeldung den Standardwert. Modelle ohne diese Metadaten verwenden Ollamas ältere feste Auswahl aus low, medium, high und max. Wenn think weggelassen wird, gilt der Standardwert des Modells. Bei Qwen3.8 ist Thinking standardmäßig aktiviert.
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}Die Reasoning-Ausgabe erscheint in message.thinking und die Antwort in message.content. Beide Ausgaben sind bereits getrennt. In einer interaktiven ollama run-Sitzung können Sie die Funktion mit /set think und /set nothink ohne Neustart umschalten. Mit /set think low wählen Sie einen Level aus.
Beachten Sie nun, an welcher Stelle dies unbemerkt fehlschlagen kann. Das Template von Qwen3.8 definiert low, medium und xhigh. Ein Ollama-Modell enthält ein in seinem Tag gespeichertes Template und nicht die Jinja-Datei aus dem ursprünglichen Repository. Ollama übergibt einen Level nur, wenn das gespeicherte Modell diesen Level auflistet. Prüfen Sie zuerst, welche Werte Ihr Tag anbietet:
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinkingEin Name, der nicht in values enthalten ist, beispielsweise high oder max bei diesem Modell, wird stattdessen mit dem Standardwert ausgeführt. Gehen Sie nicht davon aus, dass die Einstellung übernommen wurde. Die Messung dauert etwa eine Minute.
So messen Sie, ob die Stufe tatsächlich angewendet wurde
Senden Sie denselben Prompt mit mehr als einer Stufe und setzen Sie temperature auf 0. Vergleichen Sie anschließend die Tokenanzahl. Die drei unten aufgeführten Namen nennt die Qwen3.8-Karte. Wenn /api/show für Ihren Tag andere Namen aufführt, verwenden Sie diese. jq erstellt hier den Body, sodass Sie Anführungszeichen nicht manuell maskieren müssen.
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_count umfasst jedes generierte Token einschließlich des Reasonings. Die Differenz zwischen zwei Stufen besteht daher fast vollständig aus Reasoning. thinking_chars liefert die Aufteilung direkt. Zwei Bedingungen sollten erfüllt sein: Die Zahlen ändern sich zwischen den Stufen, und die Antwort bleibt auch bei der niedrigeren Stufe korrekt. Wenn eval_count bei allen drei Durchläufen innerhalb des Rauschens liegt, wird die Stufe ignoriert. Prüfen Sie die Namen zuerst gegen /api/show, weil Ollama einen nicht aufgeführten Namen mit der Standardstufe ausführt. Stimmen sie überein, benötigen Sie eine Runtime, die die Stufe übergibt.
Die Gesamtzeit ist nur ein Teil der Messung. Messen Sie daher auch die Zeit bis zum ersten Antwort-Token, indem Sie die Ausgabe streamen und beim ersten nicht leeren content-Chunk abbrechen. Dafür benötigen Sie jq und bc.
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
doneFühren Sie den Test mit low und anschließend erneut mit xhigh aus. Die Differenz ist die zusätzliche Wartezeit. Bei llama.cpp werden dieselben Zahlen innerhalb der Antwort zurückgegeben. Eine Berechnung in der Shell ist nicht erforderlich:
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'Führen Sie dies auf Ihrem eigenen Server aus. Ein veröffentlichter Vergleich des Aufwands wurde auf Hardware gemessen, die nicht Ihnen gehört. Ihre Decodiergeschwindigkeit ist der Faktor, der eine Tokenanzahl in Sekunden umrechnet. Tokens pro Sekunde auf Ihrem eigenen Server messen liefert diesen Faktor: Die Reasoning-Tokens geteilt durch Ihre Decodiergeschwindigkeit ergeben die gerade hinzugefügte Wartezeit.
Was schiefgeht
Die Antwort wird abgeschnitten, oder content ist leer, während thinking gefüllt ist. Das Generierungslimit wurde durch das Reasoning aufgebraucht. Ollamas num_predict begrenzt die gesamte Generierung einschließlich des Reasonings. Da das Reasoning zuerst erfolgt, kann ein Limit von 512 Tokens bei hohem Aufwand die Antwort beenden, bevor sie beginnt. Ollama meldet bei dieser Antwort "done_reason": "length". Erhöhen Sie das Limit oder verringern Sie den Aufwand. Wie num_predict Tokens zählt beschreibt dieses Zusammenspiel ausführlich.
Die Stufe ändert nichts. Die Tokenanzahl ist bei jeder Stufe identisch. Entweder übergibt die Laufzeit die Variable nicht, das Template liest sie nicht aus, oder der Name gehört bei Ollama nicht zu den von den Tags aufgeführten Namen und es wurde der Standardwert verwendet. Prüfen Sie das Template, das Ihre Laufzeit tatsächlich verwendet, und nicht das Template aus dem ursprünglichen Repository. llama.cpp schreibt die Variable mit --jinja und --chat-template-kwargs manuell ein und eignet sich daher als Kontrolle: Wenn die Stufe dort funktioniert, aber sonst nirgends, ist das Modell in Ordnung und die andere Laufzeit verwirft die Variable.
Ein Stufenname wird abgelehnt. Ein Template-Fehler zum Zeitpunkt der Anfrage oder ein Fehler bei der ersten Nachricht trotz ansonsten funktionierendem Server bedeutet normalerweise, dass Sie eine Stufe übergeben haben, die das Template nicht definiert. Ein Beispiel ist high bei einem Modell, dessen Model Card nur low, medium und xhigh aufführt. Bei Ollama akzeptiert ein Modell ohne Thinking-Metadaten nur low, medium, high und max. Jeder andere Wert führt zu einem invalid think value-Fehler.
Multi-Turn-Chats werden in jeder Runde langsamer. Altes Reasoning wird im Verlauf beibehalten. Setzen Sie preserve_thinking auf false, wenn das Modell dies unterstützt, oder entfernen Sie das Feld thinking aus den Nachrichten, die Sie zurücksenden. Andernfalls nimmt die Prompt-Verarbeitung in jeder Runde zu, während die Antworten gleich lang bleiben.
Die Qualität sinkt bei geringem Aufwand für eine Aufgabe, die Sie für einfach hielten. Manche Extraktion ist keine reine Extraktion. Wenn für die Eingabe eine Einheitenumrechnung oder die schrittweise Anwendung einer Regel erforderlich ist, handelt es sich um eine Reasoning-Aufgabe mit kurzer Ausgabe. Erhöhen Sie die Stufe nur für diesen Aufruf und nicht für den gesamten Server.
Zwei Stufen gleichzeitig ausführen
llama.cpp setzt beim Start mit --reasoning-effort eine Standardstufe, aktuelle Builds akzeptieren jedoch auch reasoning_effort pro Anfrage. Dadurch können ein Prozess und eine Kopie der Gewichte einen Editor mit niedriger Stufe und einen nächtlichen Batchauftrag mit höherer Stufe bedienen. Wenn Sie jede Stufe lieber beim Start festlegen, funktionieren auch zwei Prozesse auf zwei Ports. Dabei werden jedoch zwei Kopien der Gewichte im Arbeitsspeicher benötigt, sofern Sie die Aufträge nicht zeitlich trennen. In beiden Fällen teilen sich die Aufträge die Decodierungskapazität eines Rechners. Auf einem VPS ist daher meist folgende Konfiguration günstiger: niedriger Aufwand für alles, worauf eine Person wartet, und ein geplanter Lauf mit höherem Aufwand für Aufgaben, die niemand überwacht. Was passiert, wenn mehrere Benutzer ein lokales Modell gemeinsam verwenden gilt auch hier: Reasoning-Tokens sind Decodierungsarbeit. Wenn Sie den Aufwand erhöhen, sinkt Ihre effektive Parallelität daher ungefähr um denselben Faktor, um den die Tokenanzahl steigt.
FAQ
Welche Stufe für den Denkaufwand sollte ich standardmäßig verwenden?
Beginnen Sie mit der niedrigsten vom Modell angebotenen Stufe. Erhöhen Sie sie nur für Aufgaben, bei denen Sie Fehler beobachtet haben. Mehrere Denkmodelle werden mit einer hohen Standardstufe ausgeliefert. Qwen3.8-27B verwendet beispielsweise seit October 2026 standardmäßig xhigh, seine höchste Stufe. Diese Voreinstellung soll in Benchmark-Tabellen gute Ergebnisse erzielen. Eine Benchmark-Tabelle berechnet jedoch keine Zeit. Auf eigener Hardware bezahlen Sie mit Sekunden. Verwenden Sie die höhere Stufe daher pro Aufgabe ausdrücklich, statt sie als Einstellung für jede Anfrage zu übernehmen.
Werden Reasoning-Tokens auf das Kontextfenster angerechnet?
Ja. Sie sind normale Tokens in der Ausgabe und belegen zusammen mit allen anderen Inhalten Platz im Kontextfenster. Ob sie bei der nächsten Runde erhalten bleiben, hängt von der Laufzeitumgebung und vom Modell ab. Die Modellkarte von Qwen3.8 dokumentiert preserve_thinking. Diese Option ist standardmäßig aktiviert und bewahrt früheres Reasoning im Verlauf auf. Eine lange Unterhaltung enthält dadurch jeden erzeugten Entwurf. Setzen Sie die Option auf false oder entfernen Sie das Feld thinking aus den Nachrichten, die Sie erneut übergeben. Dann wächst der Aufwand für die Prompt-Verarbeitung nicht weiter.
Warum ändert die Denkstufe nichts an meinen Token-Zählungen?
Die Einstellung erreicht das Chat-Template nicht. Die Stufe ist eine Template-Variable. Sie funktioniert nur, wenn die Laufzeitumgebung sie übergibt und das mitgelieferte Template sie ausliest. Manche Laufzeitumgebungen liefern zusammen mit dem Modell ein eigenes Template aus, statt die Jinja-Datei aus dem ursprünglichen Repository zu verwenden. Die Variable wird dann verworfen, ohne dass irgendwo ein Fehler ausgegeben wird. Ollama verwendet außerdem eine Stufenbezeichnung, die das Modell in der Standardeinstellung nicht auflistet, ebenfalls ohne Fehler. Belegen Sie das, indem Sie denselben Prompt mit der niedrigsten und der höchsten Stufe senden, wobei temperature auf 0 gesetzt ist, und eval_count vergleichen. Stimmen die Zählungen abgesehen vom Rauschen überein, wird die Stufe ignoriert.
Wird das Modell durch einen geringeren Denkaufwand ungenauer?
Das hängt von der Aufgabe ab. Sie sollten es messen, statt es anzunehmen. Wenn die Antwort bereits in der Eingabe enthalten ist, etwa bei Extraktion oder Umformulierung, ändert ein kürzerer Entwurf meist nichts. Wenn ein Zwischenschritt korrekt sein muss, bevor der nächste Schritt ausgeführt werden kann, sinkt die Genauigkeit bei einem kürzeren Entwurf. Das gilt beispielsweise für mehrstufige Arithmetik oder Code, der kompilieren muss. Erstellen Sie aus Ihrer tatsächlichen Arbeitslast einen Satz mit zwanzig Prompts. Führen Sie sie mit zwei Stufen und temperature auf 0 aus. Zählen Sie die falschen Antworten. Diese Zahl ist spezifisch für Ihre Arbeitslast. Keine veröffentlichte Tabelle kann sie für Sie bestimmen.