SSD Nodes Learn Hosting plans →
ガイド Matt Connor著者 Matt Connor ・更新日 2026-10-26

Ollamaのnum_predictで出力トークン数を制限する方法

Ollamaのnum_predictは出力トークン数だけを制限します。設定できる3か所と優先順位、上限到達時のdone_reasonの読み方を解説します。

Ollama における num_predict の動作

num_predict は、1 回の応答でモデルが生成できるトークン数の上限を設定する Ollama オプションです。出力トークンだけを数えるため、プロンプトはこの上限に含まれません。モデルが上限に達すると、その時点で生成を停止します。単語の途中で停止する場合もあります。このとき、応答の done_reason は length になります。

機能自体はこれだけです。難しいのは、Ollama には値を設定できる場所が 3 つあり、リクエストに最も近い設定が優先されることです。「num_predict が何もしない」という報告のほとんどは、ある層の設定が別の層の設定を気付かないうちに上書きしています。

num_predict は num_ctx ではありません

この2つのオプションは、Ollama で最も混同される組み合わせです。この混同により、デバッグに実際の時間がかかります。

num_ctx は、モデルが読み取れる量です。プロンプトと、それまでに生成されたすべての内容を保持するコンテキストウィンドウのサイズです。ウィンドウが大きくなると、モデルがこれらのトークン用に保持する key/value キャッシュも増えるため、メモリ使用量が増加します。ハードウェアに合わせた num_ctx の設定は別の作業であり、固有の失敗要因があります。

num_predict は、モデルが書き出す量です。これは割り当てではなく、停止条件です。値を大きくすると RAM ではなく経過時間が増え、事前に容量が確保されることもありません。

この2つが関係する場所は1つです。生成されたトークンは、生成されるたびにコンテキストウィンドウ内に入ります。Ollama v0.40.11 では、ほとんどのモデルでコンテキストシフトがデフォルトで有効です。そのため、ウィンドウがいっぱいになると古いトークンが破棄され、生成が続行されます。シフトが無効で、リクエストが "shift": false を送信する場合、またはモデルがシフトに対応していない場合は、上限に達する前にウィンドウがいっぱいになったことでも応答が停止する可能性があります。Ollama はどちらの場合も length を報告するため、両者を区別する数値は eval_count です。詳しくは後述します。

Modelfile で一度設定する

Modelfile に値を埋め込んでモデルを作成します。ファイルを作成します。

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

次にビルドし、作成した内容を確認します。

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters は、保存されている各パラメーターとその値を 1 行ずつ出力します。この出力に num_predict がない場合、モデルには上限値が埋め込まれておらず、Ollama 自身のデフォルト値が適用されます。ollama show --modelfile qwen3-capped は定義全体を出力します。既存のモデルに付属するパラメーターをコピーする場合にも、これが最も簡単な方法です。この方法で上限値を設定したモデルを作成しても、追加のディスク容量はほとんど必要ありません。新しいエントリは、ベースモデルがすでにダウンロードした重みの blob をコピーせずに再利用するためです。VPS の root ディスクがいっぱいになる前に、Ollama がこれらの blob を保存する場所を把握しておくと役立ちます。

すべての呼び出し元に継承させたい値には、この層で設定するのが適切です。ただし、この値が最終的な設定になると考えている場合は、この層は適切ではありません。実際には最終値にならないためです。

options オブジェクトでリクエストごとに設定する

すべての生成エンドポイントは options オブジェクトを受け取り、num_predict はその中に指定します。

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat も同じ options キーを同じ意味で使用します。ここで指定した値は、その呼び出しだけに適用され、ほかには影響しません。これは、ツールが使用する設定層です。チャットフロントエンド、スクリプト、SDK ラッパー、コーディングエージェントなどが該当します。これらは、入力欄が表示されるかどうかに関係なく、すべて options オブジェクトを送信します。

/set パラメーターで 1 セッションに設定する

ollama run 内では、対話セッションで設定したオプションが、そのセッションの残りの期間に適用されます。

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters は、次のメッセージとともにセッションが送信する内容を表示します。変更が反映されたことを確認する最速の方法です。この値は、/bye と入力するまで保持されます。保持するには、/save qwen3-capped を実行します。これにより、現在のセッションをパラメーター込みで新しいモデルとして保存します。ここで /set した内容が、他のクライアントに反映されることはありません。

どの設定が優先されるか、また設定が無視されたように見える理由

優先順位は単純です。リクエストとともに送信されたオプションが、ほかのすべてに優先します。モデルの Modelfile にある PARAMETER num_predict 行は、リクエストに値がない場合に使われるフォールバックです。どちらもない場合は、Ollama の組み込みデフォルトが適用されます。

/set parameterは3つ目のルールではありません。対話セッションは API クライアントです。そのため、セッションで設定した値は、そのリクエストの options として送信されます。これが、セッション中は Modelfile の設定が上書きされる理由です。

この優先順位で説明できる失敗例を見てみましょう。PARAMETER num_predict 512を追加してモデルを再ビルドしても、応答が数千トークンまで続くことがあります。設定は存在しており、ollama show --parametersでも確認できます。それでも、すべてのリクエストで上書きされています。クライアントが独自の数値を持つ options オブジェクトを送信しているためです。多くの場合、その数値は数か月前に設定画面へ入力したまま忘れていた値です。ollama showは保存されたモデルを読み取ります。HTTP 経由で到着する内容は表示できません。

サーバー側の動作は、1つのコマンドで確認できます。長い応答を生成するリクエストを送信し、上限を低く強制して、2つのフィールドを読み取ります。

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

詳細な回答は32トークンを大幅に超えるため、"length"と32が返るはずです。不足している場合は、まず sudo apt install -y jq で jq をインストールします。32は保証されません。eval_countは、サーバーが実際に生成した出力トークン数にすぎないためです。モデルが早く終了すると、"stop"と少ない数値が返ります。この場合は、より長い回答を求めるプロンプトに変更します。"length"と32が返った場合、リクエスト独自の値が qwen3-capped に保存された512を上書きしています。これは、サーバーがリクエスト単位のオプションを適用していることを示します。ただし、アプリケーションが何を送信しているかまでは分かりません。次はクライアントを調べます。リクエストについてサーバー自身が記録した内容を確認するには、環境変数に OLLAMA_DEBUG=1 を設定してサーバーを再起動し、アプリケーションから接続している間に journalctl -u ollama -f を監視します。

負の値と、コピーしてはいけない数値

num_predictは負の値も受け付けます。これらはカウントではなく、特殊な値として扱われます。ある負の値は「上限を設けず、生成を続ける」ことを意味します。別の値は「残りのコンテキストを埋める」ことを意味してきました。2026年10月時点では、Ollama Modelfileのリファレンスにおけるデフォルト値は-1で、生成は無限です。同じ表の以前のバージョンには、コンテキストを埋める値として-2も記載されていました。

これらは変更されているため、バージョン依存として扱ってください。リファレンスでは長い間、デフォルト値を128と記載していましたが、その後-1に修正されました。そのため、古い数値を今も記載しているガイドが多数あります。動作も変更されています。2026年10月25日時点の現行リリースであるOllama v0.40.11は、GGUFモデルを上流のllama-serverプロセスに渡します。このプロセスには有限の上限が必要です。そのため、負の値と、num_ctxの10倍を超える上限値は、num_ctxの10倍に置き換えられます。したがって、上記のqwen3-cappedモデルでは、「無限」は81,920トークンを意味します。また、-2は-1と異なる動作をしなくなりました。実際に使用するバージョンのModelfileパラメータリファレンスを確認し、そのうえで上記のeval_countチェックによって動作を確認してください。どこかで読んだ値よりも、自分の環境で検証した値のほうが信頼できます。この投稿に記載されている値も例外ではありません。

CPU 専用 VPS では出力長が主なコストになる理由

Ollama は 管理下のマシンで無料で実行できるため、ローカル生成で使用量が課金されることはなく、長い回答では料金の代わりに時間がかかります。生成には、速度が大きく異なる2つの段階があります。プロンプトのトークンは、まとめて多数評価されます。出力トークンは1つずつ生成され、それぞれで使用する重みを走査する必要があります。CPU のみの VPS では、この走査速度はメモリ帯域幅に制限されるため、生成トークン1つにかかるコストはプロンプトトークン1つよりはるかに大きくなります。この走査では、トークンが使用するすべての重みを読み込む必要があります。Dense モデルではすべての重みを読み込みます。Nemotron 3.5 Lightning のような mixture-of-experts モデルでは、ルーティングされたエキスパートだけを読み込みます。このモデルは、1トークンあたり30Bのパラメーターのうち約3Bを有効化します。そのため、各重みが占めるバイト数がトークン生成速度の上限を決めます。これが、同じモデルでも q8 や fp16 より q4 ビルドのほうが高速にデコードできる理由です。

ストリーミングなしで応答を要求すると、数値を直接確認できます。

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

時間の単位はナノ秒です。このブロックは、特定のサーバーで測定した値ではなく、2026 年 10 月時点で Ollama API のドキュメントに掲載されているサンプル応答です。プロンプト 11 トークンの処理には約 0.013 秒、出力 18 トークンの生成には約 0.052 秒かかっています。これは、プロンプトトークンあたり約 1.2 ミリ秒、出力トークンあたり 2.9 ミリ秒に相当します。つまり、1 行の応答でも、生成トークン 1 個のコストは読み取りトークン 1 個の 2 倍を超えます。長い回答では、時間の大部分を占めるのは出力側です。自身の生成速度は eval_count を eval_duration で割り、秒に換算して求められます。また、何かを調整する前に 自分のハードウェアで 1 秒あたりのトークン数を測定するとよいでしょう。この速度はマシンだけでなくモデルにも左右されます。長い回答が実際のコストになる場合は、VPS 上の Nemotron 3.5 Lightningのように高速デコード向けに構築されたモデルを使うことで、低い上限で抑えていた時間の一部を取り戻せます。

残りは計算で分かります。1 秒あたり 8 トークンの場合、2,000 トークンの回答でマシンを 4 分以上占有します。モデルは、あなたが段落を求めたことを理解していません。推論モデルでは、依頼した単語を書き始める前に予算の一部を思考に使います。この思考も、ほかの処理と同じく 1 トークンずつ生成されます。そのため、要求する推論の強度も同じコストに影響する調整項目です。モデルによってはループし、何かに停止させられるまで同じフレーズを繰り返すこともあります。上限を設定しない場合、コンテキストシフトによって完全なウィンドウの終了が妨げられるため、その 1 件のリクエストは num_ctx の 10 倍のトークン数に達するまでコアを使い続けます。num_predict がその上限を設定する項目です。1 件の長いリクエストがマシン全体を占有する小規模な セルフホスト型 Ollama VPSでは、特に重要です。

途中で切れた出力は、通常、モデルの故障ではなく上限に達した結果です

症状だけを見ると、モデルの失敗に見えます。文の途中で終わる回答。閉じ括弧が返らず、解析できない JSON。すぐにモデルや量子化を疑いがちですが、まずレスポンスを確認してください。

done_reason は質問に直接回答しています。stop は、上限に達する前に生成が終了したことを示します。モデルが end-of-sequence token を出力した場合や、stop オプションに指定した文字列のいずれかと出力が一致した場合です。一致した位置で回答は終了します。length は、生成に使える領域がなくなり、出力が途中で打ち切られたことを示します。length が表示されたら、eval_count と上限値を比較してください。値が完全に一致する場合は、num_predict によって停止しています。値が小さい場合は、先にコンテキストウィンドウが埋まっています。この状態は、コンテキストシフトが無効な場合にのみ発生します。

ストリーミング時は、これらのフィールドが、"done": true を含む最後のチャンクに入ります。多くのクライアントライブラリはこのチャンクを破棄し、テキストだけをコードに渡します。そのため、アプリケーション内では同じ切り詰めが原因不明に見えますが、curl では明確に確認できます。ライブラリがこの情報を隠している場合は、curl を付けて1回リクエストを送信し、サーバーが実際に返した内容を確認してください。

もう1つ、無駄な調査を避けるために重要な点があります。num_predict を増やしても、モデルがより長く書くわけではありません。単に上限を引き上げるだけです。done_reason が stop の状態で回答が200 tokensで終わる場合、モデルが完了と判断したか、stop の文字列のいずれかが一致したことになります。上限を大きくしても結果は変わりません。stop を伴う短い回答は、プロンプトまたは停止文字列の問題です。length を伴う短い回答は、上限の問題です。

値の選び方

  • 対話形式のチャットでは、上限を設定せず、暴走した応答を止めるときに Ctrl+C を押します。画面を常に確認しているためです。
  • スクリプトで使用する場合は、上限を設定します。ループ内で上限なしの生成を実行すると、10 分で終わるはずのバッチジョブが翌朝になっても実行中という事態になります。
  • 構造化出力では、想定する最大の有効なドキュメントより高い上限を設定します。そのうえで、done_reason length を超えた場合は重大なエラーとして扱い、返された内容を解析せずに再試行します。
  • コーディングエージェントでは、エージェント自身の設定に値を指定します。エージェントはリクエストごとに独自のオプションを送信するためです。コーディングエージェントを Ollama に接続するでは、これらの設定の場所を説明しています。

上限は単語数でも文字数でもなく、トークン数で数えられます。そのため、推測で設定しないでください。上限なしで代表的な回答を1つ生成し、eval_count を確認してから、その値より十分高い制限を設定します。モデルファミリーによってトークン化の方法は異なります。そのため、Llama モデルで収まる値でも、同じ VPS 上のQwen 3 モデルからの同じ回答は途中で切れることがあります。

FAQ

num_ctx と num_predict の違いは何ですか?

num_ctx はコンテキストウィンドウのサイズです。モデルが読み取れる量、つまりプロンプトと、それまでに生成されたすべての内容を決めます。Key/Value キャッシュがこれに応じて増えるため、メモリを消費します。num_predict は、1 回の応答でモデルが書き出せるトークン数を決めます。メモリではなく時間を消費し、事前に領域を予約することはありません。生成されたトークンは両方の上限に対して数えられるため、コンテキストシフトを無効にしている場合、どちらか一方が原因で応答が途中で切れることがあります。

num_predict の設定が無視されているように見えるのはなぜですか?

リクエストで送信した値が、モデルに保存された値を上書きするためです。Modelfile に PARAMETER num_predict 512 を記述し、そのモデルをチャットフロントエンドやコーディングエージェントから使用すると、クライアントは独自の options オブジェクトを送信します。その中の数値が優先されます。ollama show --parameters には設定した値が表示されます。これは保存済みのモデルを読み取るだけで、HTTP 経由で届いた値を確認できないためです。curl を "options": {"num_predict": 32} と、長い回答が必要になるプロンプトを使って 1 回送信し、その後 done_reason と eval_count を読み取ってください。eval_count が 32 の length でリクエストの値が表示される場合、保存値が上書きされたことが分かります。これはサーバー自体が正常に動作しており、調査対象をアプリケーション側へ移せることを示します。stop の数値が小さい場合は、モデルが先に生成を完了しただけです。より長い回答を求めるプロンプトで再試行してください。

出力が num_predict によって途中で切れたかどうかを確認するにはどうすればよいですか?

"stream": false を付けてリクエストを送信し、done_reason を読み取ってください。stop の値は、モデルが自発的に生成を完了したか、stop のいずれかの文字列によって終了したことを示します。length の値は、生成可能な余地を使い切ったことを示します。次に eval_count を設定した上限と比較します。値が完全に一致する場合は num_predict が停止させています。eval_count の値が小さい場合は、先にコンテキストウィンドウが埋まっています。ストリーミング時は、両方のフィールドが "done": true とともに最後のチャンクで届きます。多くのクライアントライブラリは、コードから見える前にこの情報を破棄します。

num_predict のデフォルト値は何ですか?

記事ではなく、自分の環境から確認してください。2026 年 10 月時点で、Ollama Modelfile リファレンスにはデフォルト値として -1 が記載されています。これは生成に上限がないことを意味します。この記載は、128 を長期間デフォルトとして説明していた後に修正されました。Ollama v0.40.11 では、この上限のないデフォルト値は、負の値と同様に、実際には num_ctx の 10 倍で停止します。負の値は個数ではなくセンチネル値として扱われます。同じ表の古いバージョンには、残りのコンテキストを埋める値として -2 も記載されていました。使用中のバージョンについては Modelfile パラメータリファレンス を確認し、ollama show --parameters と 1 回の curl リクエストで実際の値も確認してください。

num_predict を増やすと、モデルはより長い回答を書きますか?

いいえ。上限を取り除くだけです。応答が stop の done_reason で終了した場合、モデルが完了したと判断したか、stop のいずれかの文字列が一致しています。この場合、上限を大きくしても変わりません。その場合の長さは、プロンプトの指定によって決まります。具体的な構成、セクション数、または詳細度を指定してください。done_reason が length と返った場合に限り、num_predict を増やしてください。

この記事は役に立ちましたか?