ローカルLLMのreasoning effort設定とは
reasoning effortで変わるのは重みやquantisationではなく推論トークン数です。VPSや自前GPUで、応答時間とcontext windowの実コストを測る方法を解説します。
ローカル LLM で reasoning effort により変わるもの
Reasoning effort は、モデルが回答前にどれだけ長く思考するかを指定する設定です。変わるのは reasoning セグメントの長さだけです。ディスク上の weights はすべてのレベルで同一です。quantisation も同一で、回答は同じ forward pass から生成されます。変わるのは、モデルが最初に自身の scratchpad に費やすトークン数です。
この違いが重要なのは、これらのトークンが占める場所が異なるためです。ホスト型 API では、reasoning tokens は請求額に反映されます。自身で所有する VPS では、自分の CPU または GPU の生成時間と、context window 内の容量として消費されます。モデルを最高の effort に設定したままにすると、回答の最初の単語が現れる前に、出力の大部分を reasoning に費やすことがあります。self-hosted hardware では、これにより返信時間が 2 秒から 2 分に延びる場合があります。
レベルが定義される場所: 重みではなくチャットテンプレート
思考モデルは、最終回答の前に、通常は <think> タグと </think> タグで囲んだ推論セグメントを出力するように学習されています。推論量のレベルは、モデルのチャットテンプレートがプロンプトに書き込む指示です。このテンプレートは、モデルとともに提供される Jinja ファイルです。reasoning_effort のような変数を読み取り、値ごとに異なるシステムレベルの行を生成します。モデルは、その行に応じてスクラッチパッドを短くしたり長くしたりするように学習されています。
ここから 2 つの点が分かります。レベル名はランタイムではなくモデルに属するため、あるモデルのカードに記載された名前が別のモデルでは意味を持たない場合があります。また、処理経路のどこかでモデルのチャットテンプレートが汎用テンプレートに置き換えられると、変数が展開されず、設定は何もせずに無視されます。
2026-10-12 時点で、Qwen3.8-27B のモデルカードには 3 つの推論量レベルとして low、medium、xhigh が記載されており、デフォルトは xhigh です。high はありません。思考機能自体は enable_thinking で切り替えます。デフォルトでは有効です。また、モデルカードには preserve_thinking も記載されており、これもデフォルトで有効です。これは、以前のターンの推論を会話履歴に保持します。gpt-oss では、代わりに low、medium、high を使用します。他の多くのモデルファミリーでは、真偽値しか指定できません。これらの名前は標準化されていないため、取得した正確なバージョンのモデルカードを確認してください。まずは VPS で 27B モデルを起動する を参照してください。このページでは、モデルが応答するようになった後に何を設定するかを説明します。
VPS で高負荷の処理ほどコストが高くなる理由
出力トークン。 推論トークンも、回答トークンと同じように生成されます。デコード速度は、ハードウェアのメモリ帯域幅、選択した量子化方式、スレッド数によって決まります。たとえば、回答を 200 トークン、推論を 4,000 トークン生成するタスクでは、合計 4,200 トークンを生成しますが、読者に表示されるのは 200 トークンだけです。llama.cpp のチューニングノートでは、--threads の値が物理コア数を超えると CPU が過負荷になり、生成速度が大幅に低下する可能性があると説明されています。これらを調整した後に残る調整要素は、トークン数そのものです。
実時間。 利用者が待つのは、回答 の最初のトークンです。それより前は空白の画面か、折りたたまれたスピナーしか表示されないためです。推論が先に出力されるため、待ち時間はおおむね推論トークン数をデコード速度で割った時間に、プロンプト処理時間を加えたものになります。推論の長さを 2 倍にすると、その待ち時間も 2 倍になります。
コンテキスト。 推論トークンも、他のトークンと同じようにコンテキストウィンドウを占有します。preserve_thinking を有効にすると、1 ターン目のスクラッチパッドが 5 ターン目でもプロンプトに残ります。そのため、ウィンドウが両端から埋まるにつれて、プロンプト処理はターンごとに遅くなります。保持できるように num_ctx を増やすと KV キャッシュ用のメモリが必要になります。GPU のない VPS では、そのメモリは余裕のないシステム RAM である可能性があります。
レベルを上げる場合と、低く保つ場合
中間段階を誤ると結果全体が崩れる作業では、レベルを上げます。複数段階の算術計算や単位変換、複数ファイルにまたがる編集の計画、コンパイルが必要なコード、複数の条件を同時に満たす1つの解を求める制約問題などが該当します。これらでは思考用の作業領域が実際の役割を果たすため、長めに設定すると、モデルがそのまま確定してしまうエラーを低コストで見つけられます。
答えがすでに入力にあり、それを移すことが目的の場合は、低く保ちます。抽出、分類、タグ付け、翻訳、書き換え、要約、書式設定はいずれもこの範囲に含まれます。推論部分は主にタスクを言い換えるだけであり、モデルが正しい最初の判断を自ら覆す余地を与えてしまいます。
対話的な作業でも低く保ちます。チャットボックスやエディターでは利用者が処理に関与しているため、待つ必要がある遅い回答より、すぐに得られて修正できる回答の方が優れています。これが、コーディングエージェントをローカルモデルに接続する場合の本当のトレードオフです。エージェントは小さな呼び出しを何度も行うため、推論のコストがそのたびに発生します。
llama.cpp でレベルを設定する方法
llama.cpp はこの変数をテンプレートへ直接書き込みます。そのため、レベルが確実に渡ったことを確認できる実行時の場所になります。-m には、すでに用意した GGUF を指定します。
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja はモデル固有のチャットテンプレートを使用し、現在のビルドではデフォルトで有効です。--reasoning-effort には default、minimal、low、medium、high、xhigh、max を指定できます。default は、テンプレート固有のデフォルト設定をそのまま使用することを示します。この一覧はモデルではなく llama.cpp の語彙です。そのため、カードに記載された名前だけを指定してください。テンプレートで定義されていないレベルを指定すると、リクエスト時にテンプレートエラーが発生することがあります。--reasoning-format deepseek を使用すると、推論が message.content から message.reasoning_content へ移動します。これにより、次のセクションで分割を測定できます。
思考を短くするのではなく無効にするには、テンプレート変数を自分で設定します。
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget は別の仕組みです。モデルに短い計画を求めるのではなく、推論セグメントをトークン数で制限します。0 は直ちに終了させ、-1 は制限なしにします。どちらのフラグもサーバーのデフォルト値を設定します。2026-10-12 時点では、llama-server の /v1/chat/completions はリクエスト本文内の reasoning_effort と chat_template_kwargs も受け付けます。指定したレベルはそのリクエストに限ってテンプレートへ渡され、none を指定すると推論が無効になります。したがって、1 つのプロセスで 2 つの推論レベルを提供できます。
vLLM では、OpenAI 互換の本文内で、リクエストごとに同じ変数を指定できます。
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}Ollama でレベルを設定する方法
Ollama には、think と /api/chat、/api/generate に専用のフィールドがあります。true、false、またはレベル名を指定できます。2026-10-12 時点で、思考メタデータを公開するモデルでは、レベル名はモデル固有です。/api/show の thinking.values に一覧とデフォルト値が表示されます。モデルが一覧に載せていない名前を指定すると、エラーにはならず、そのデフォルト値に戻ります。メタデータを持たないモデルでは、Ollama の従来の固定値である low、medium、high、max が使用されます。think を省略すると、モデル固有のデフォルト値が適用されます。Qwen3.8 では、デフォルトで思考が有効です。
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}推論結果は message.thinking に、回答は message.content に返されます。すでに分離された状態です。対話型の ollama run セッション内では、/set think と /set nothink で再起動せずに切り替えられます。/set think low ではレベルを選択できます。
ここで、設定が静かに失敗する場合を確認します。Qwen3.8 のテンプレートでは、low、medium、xhigh が定義されています。Ollama のモデルには、元のリポジトリにある Jinja ファイルではなく、タグにパッケージ化されたテンプレートが含まれています。Ollama がレベルを渡すのは、そのパッケージ化されたモデルにそのレベルが一覧化されている場合だけです。まず、タグが公開している内容を確認します。
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinkingvalues に含まれない名前、たとえばこのモデルの high や max を指定すると、代わりにデフォルト値で実行されます。設定が有効になったと決めつけないでください。測定には約 1 分かかります。
実際にレベルが適用されたかを測定する方法
temperatureを0に設定し、複数のレベルで同じプロンプトを送信してから、トークン数を比較します。以下の3つの名前は、Qwen3.8のカードに記載されているものです。/api/showにタグ用の別の名前が記載されている場合は、その名前を使用してください。ここではjqが本文を組み立てるため、引用符を手動でエスケープする必要はありません。
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_countは推論を含む生成済みの全トークン数です。そのため、2つのレベル間の差はほぼすべて推論によるものです。thinking_charsを使うと、この内訳を直接取得できます。次の2点を確認します。レベルを変えると数値が変わること、そして低いレベルでも回答が正しいことです。3回の実行すべてでeval_countが誤差の範囲内に収まる場合、レベルは無視されています。まず/api/showで名前を確認してください。Ollamaは一覧にない名前をデフォルトで実行するためです。名前が一致している場合は、レベルを渡せるランタイムが必要です。
合計時間だけでは不十分です。ストリーミングし、最初の空でないcontentチャンクで停止して、最初の回答トークンまでの時間も測定します。これにはjqとbcが必要です。
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
donelowで実行し、続けてxhighでも実行します。差分が、追加で待つ時間です。llama.cppでは、シェルで計算しなくても同じ数値がレスポンス内に返されます。
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'この測定は自分のサーバーで行ってください。公開された推論量の比較は、自分のものではないハードウェアで測定されています。トークン数を秒数に変換するのは、実際のデコード速度です。自分のサーバーで1秒あたりのトークン数を測定するでこの値を取得できます。推論トークン数をデコード速度で割ると、追加された待ち時間になります。
問題が発生した場合
回答が途中で切れる、または content が空で thinking に内容がある。 生成上限が推論で消費されています。Ollama の num_predict は推論を含む生成全体に上限を設定します。推論が先に行われるため、高い effort で上限を 512 tokens にすると、回答が始まる前に上限へ達することがあります。Ollama は、その応答で "done_reason": "length" を報告します。上限を引き上げるか、effort を下げてください。num_predict がトークンを数える方法で、この相互作用を詳しく説明しています。
level を変更しても何も変わらない。 トークン数がすべての level で同じです。ランタイムが変数を渡していないか、テンプレートが変数を読み込んでいないか、Ollama ではその名前がタグの一覧にないため、デフォルト値にフォールバックしています。元のリポジトリにあるテンプレートではなく、ランタイムが実際に使用しているテンプレートを確認してください。llama.cpp は --jinja と --chat-template-kwargs を使って変数を手動で埋め込むため、比較対象として適しています。そこで level が機能し、他では機能しない場合、モデルに問題はなく、他のランタイムが変数を破棄しています。
level 名が拒否される。 リクエスト時のテンプレートエラー、または正常なサーバーで最初のメッセージだけが失敗する場合、通常はテンプレートに定義されていない level を渡しています。たとえば、モデルカードに low、medium、xhigh だけが記載されているモデルに high を渡した場合です。Ollama では、thinking メタデータを持たないモデルが受け付けるのは low、medium、high、max だけです。それ以外を指定すると invalid think value エラーになります。
複数ターンのチャットで、毎回処理が遅くなる。 過去の推論が履歴に保持されています。モデルが対応している場合は preserve_thinking を false に設定するか、返送する messages から thinking フィールドを削除してください。そうしないと、回答の長さが変わらないまま、ターンごとにプロンプト処理が増加します。
単純だと思っていたタスクで、effort を低くすると品質が低下する。 抽出処理の中には、単純な抽出ではないものがあります。入力に単位変換や、順序に従ったルールの適用が必要な場合、それは出力が短くても推論タスクです。サーバー全体の設定を変更するのではなく、その呼び出しだけ level を引き上げてください。
同時に2つのレベルを実行する
llama.cpp は起動時に --reasoning-effort で既定のレベルを設定します。ただし、現在のビルドではリクエストごとに reasoning_effort も指定できるため、1つのプロセスと1つの重みのコピーで、エディターには低いレベル、夜間のバッチジョブには高いレベルを提供できます。起動時に各レベルを固定する場合は、2つのポートで2つのプロセスを実行する方法もあります。ただし、ジョブを時間的に分離しない限り、メモリ上に重みを2つコピーする必要があります。いずれの場合も、ジョブは1台のマシンのデコード能力を共有します。そのため、1台の VPS では通常、人が待っている処理には低い設定を使い、誰も監視していない処理にはスケジュールした高い設定の実行を使う構成が最も低コストです。複数のユーザーが1つのローカルモデルを共有するとどうなるかも同様に当てはまります。推論トークンはデコード処理にあたるため、設定を高くすると、トークン数が増える割合とほぼ同じ割合で実効的な同時実行数が減少します。
FAQ
デフォルトでは、どの reasoning effort level を使うべきですか?
モデルが提供する最低レベルから始め、失敗を確認したタスクに限って引き上げてください。多くの thinking model では高い値がデフォルトになっており、2026 年 10 月時点で Qwen3.8-27B のデフォルトは最上位の xhigh です。このデフォルトはベンチマークの表で良い結果を出すために設定されていますが、ベンチマークでは処理時間のコストが発生しません。自分のハードウェアでは秒単位でコストが発生するため、高いレベルはすべてのリクエストが継承する設定ではなく、タスクごとに明示的に選択する値にしてください。
reasoning token はコンテキストウィンドウに含まれますか?
はい。reasoning token は出力に含まれる通常の token であり、他のすべての内容とともにコンテキストウィンドウに保持されます。次のターンでも保持されるかどうかは、runtime と model によって異なります。Qwen3.8 の model card には、デフォルトで有効な preserve_thinking が記載されています。これにより以前の reasoning が履歴に残るため、長い会話では生成されたすべての scratchpad が蓄積されます。これを false に設定するか、再送する messages から thinking field を削除すると、prompt の処理量の増加を止められます。
thinking level を変更しても token 数が変わらないのはなぜですか?
設定が chat template に渡されていません。level は template variable であるため、runtime がその値を渡し、パッケージ化された template が読み取る場合にだけ機能します。一部の runtime は、元の repository にある Jinja file ではなく、独自の template を model とともに提供します。その場合、variable はどこにも error を出さずに破棄されます。Ollama も、model が model のデフォルトで一覧にしていない level name を error なしで実行します。最低レベルと最高レベルで同じ prompt を送信し、temperature を 0 に設定して eval_count を比較すると検証できます。数値が誤差の範囲内で一致する場合、level は無視されています。
reasoning effort を下げると model の精度は低下しますか?
タスクによって異なるため、推測ではなく測定してください。入力にすでに答えが含まれている extraction や rewriting では、scratchpad が短くなっても通常は結果に影響しません。一方、multi-step arithmetic や、compile が必要な code のように、最終結果の前に中間ステップを正しく処理する必要があるタスクでは、scratchpad が短いほど精度が低下します。実際の workload から 20 個の prompt を作成し、temperature を 0 に設定して 2 つの level で実行し、誤答の数を数えてください。その数は workload に固有のものであり、公開された表から知ることはできません。