SSD Nodes Learn Hosting plans →
ガイド Matt Connor著者 Matt Connor

Ollamaの同時実行数とキュー設定を理解する

OllAMA_NUM_PARALLELとOLLAMA_MAX_QUEUEで、2件目が待機するかHTTP 503で拒否されるかを解説します。並列スロットごとにKV cacheが必要で、メモリ消費も増えます。

2 件目の Ollama リクエストは、1 件目の生成中にどう処理されるか

Ollama の同時実行数は 3 つの環境変数で決まります。初期状態では、1 つのロード済みモデルが一度に処理するリクエストは 1 件です。2 件目のリクエストは拒否されず、途中までの回答も返されません。空きスロットができるまでキューで待機し、その後、通常の速度で実行されます。

受信したリクエストの処理結果は 3 通りです。空きスロットがあればすぐに開始します。空きがなければキューで待機します。キューも満杯であれば、サーバーは HTTP 503 で拒否します。どの処理になるかは OLLAMA_NUM_PARALLEL、OLLAMA_MAX_QUEUE、OLLAMA_MAX_LOADED_MODELS で決まります。ただし、2026 年 10 月時点の現行リリースには注意点があります。FAQ ではキューについて一般的に説明されていますが、スケジューラーのソースコードでは、より具体的な動作が定義されています。HTTP 503 が適用されるのは、モデルのロードがまだ必要な場合、または異なる設定で再ロードが必要な場合に到着したリクエストだけです。すでにロード済みのモデルがそのまま処理できるリクエストを、Ollama が拒否することはありません。そのリクエストは、必要な時間だけスロットが空くのを待ちます。

初期設定は安全です。一方で、問題が発生していないのに 2 人目のユーザーがサーバーが「ハングした」と報告する原因にもなります。スロットの追加は 2 行の変更で行えます。注意すべき点はメモリです。並列スロットごとに独自の key/value cache (KV cache) が必要です。これは、モデルが処理済みのトークンを保持するメモリ領域です。VRAM (GPU 上のビデオメモリ) を増やさずにスロットだけを追加すると、回答が遅くなるだけでなく、モデルのロードに失敗する状態になります。CPU のみのサーバーでは、同じキャッシュが system RAM から割り当てられます。

OLLAMA_NUM_PARALLEL、OLLAMA_MAX_QUEUE、OLLAMA_MAX_LOADED_MODELSがそれぞれ制御する内容

以下は、2026年10月時点の現在のOllamaリリースにおけるデフォルト値です。ここに記載した数値をそのまま信頼せず、後述するログ行を使って実際の値を確認してください。

  • OLLAMA_NUM_PARALLELは、1つのロード済みモデルが同時に処理するリクエスト数です。デフォルトは1で、リクエストは1つずつ処理されます。
  • OLLAMA_MAX_LOADED_MODELSは、同時に常駐させる異なるモデルの数です。デフォルトは0です。この場合、Ollamaが値を選択し、GPUがあるマシンでは1つのGPUにつき3モデル、GPUがないマシンでは3モデルになります。
  • OLLAMA_MAX_QUEUEは、FAQの表現では、Ollamaがビジー状態のとき、追加のリクエストを拒否する前にキューへ入れられるリクエストの最大数です。デフォルトは512です。キューが満杯の状態で到着したリクエストは、直ちに拒否されます。ただし、現在のスケジューラーコードでは、最初にモデルのロードまたは再ロードが必要なリクエストだけがこのキューに入ります。すでにロード済みのモデルに対するリクエストはこのキューを経由せず、空きスロットを待機します。この待機には上限がありません。メンテナーは、これをスケジューラーの実装方法による副作用と説明しています。Ollamaのメンテナーは、修正を機能リクエスト(issue #7758)として追跡しており、2026年10月時点でも未解決です。

最悪時に必要となるメモリ量は、最初の2つの値の積になります。4スロットずつ使用するロード済みモデルが2つある場合、KV cacheのスロット割り当ては合計8個となり、すべてが同時に常駐します。Ollamaはこの状態を実現しようとします。単一GPUのマシンでは通常、1つのモデルを保持してスロットを割り当てるほうが適しています。この場合、計算を暗算できる程度に抑えられます。

並列スロットごとにVRAMが必要になる理由

Ollama がモデルを読み込むと、個別の runner プロセスを起動します。ここで重要なのは、渡される引数のうち2つです。-c は runner が KV キャッシュ用に確保するコンテキスト全体で、-np は並列シーケンス数です。Ollama は -c を、リクエストごとのコンテキスト長にスロット数を掛けた値に設定します。runner はその合計をスロット間で均等に分割するため、各リクエストには指定したコンテキスト長が確保されます。

これが制約のすべてであり、並列化が無料ではない理由です。1スロットから4スロットに増やすと、リクエストごとのコンテキスト長が同じでも、必要な KV キャッシュは4倍になります。スロット間で共有されるものはなく、アイドル状態のスロットの割り当てをビジー状態のスロットに貸し出すこともありません。分割は runner の起動時に固定されるためです。GPU ではこのメモリが VRAM です。CPU のみのサーバーではシステム RAM ですが、同じ倍率が適用されます。

設定したつもりの値ではなく、実際の値を確認できます。

journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"

この行には、-c と -np を含む runner の完全なコマンドラインが表示されます。変数を設定した後も -np が 1 の場合は、まずモデルの種類を確認してください。Ollama v0.40.15 では、recurrent モデルと vision GGUF モデルの並列リクエストが追加されたため、これらのモデルに対する従来の1スロット制限は適用されなくなりました。Embedding モデルは、スケジューラー上では引き続き1スロットです。GGUF completion モデルの場合は、次のセクションで説明するように、設定がサーバーへ届いているか確認してください。

モデルの重みとその KV キャッシュが VRAM に収まらない場合、Ollama は一部のレイヤーをシステム RAM に移し、それらを CPU で実行します。CPU 上のレイヤーは GPU 上のレイヤーより大幅に遅いため、最初に開始した1リクエストを含め、すべてのリクエストが遅くなります。そのため、並列度を上げるとスループットが向上せず、かえって低下する場合があります。モデルが十分に大きい場合は、スロット数の計算を始める前に、重みだけで上限が決まります。したがって、Kimi K3 のような規模のモデルをセルフホストすることでは、設定するスロット数よりも、搭載しているカードの枚数が問題になります。

ollama ps

すべてが収まる場合、PROCESSOR 列には 100% GPU と表示されます。35%/65% CPU/GPU のような分割は、モデルの一部が CPU で実行されていることを示します。SIZE 列には KV キャッシュも含まれるため、スロット数を増やしてモデルを再読み込みすると増加します。OLLAMA_NUM_PARALLEL を増やして再起動し、1つリクエストを送ってから、もう一度 ollama ps を実行してください。これで、変更によるメモリ使用量を推測ではなく測定できます。測定結果からモデルが収まらなくなったことが分かった場合は、重みも同じ予算の半分を占めることを思い出してください。fp16 から q8 または q4 ビルドへ移行することで、追加しようとしたスロットが必要とする量よりも多くの VRAM を確保できることがよくあります。

コンテキスト長とスロット数は乗算されるため、同時に決める必要があります。4スロットで大きなコンテキストを使うと、大きなコンテキストが4つ必要です。モデルの num_ctx コンテキストウィンドウも調整している場合は、2つの値を一度に1つだけ変更してください。そうしないと、どちらによってカードのメモリが埋まったのか分からなくなります。

これらの変数を再起動後も維持する方法

Linux では、Ollama は systemd サービスとして動作します。シェルで export OLLAMA_NUM_PARALLEL=4 を実行しても何も変わりません。systemd は独自の環境でサービスを起動するため、シェルの環境を参照しないからです。drop-in ファイルを使用します。

sudo systemctl edit ollama.service

開いたエディターに次の内容を追加します。

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"

その後、設定を再読み込みして再起動します。

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

systemctl show は、systemd がプロセスに渡す内容を表示します。ここに変数がない場合は、drop-in が保存されていないか、daemon-reload を実行していません。サーバー側でも確認します。

journalctl -u ollama --no-pager | grep "server config" | tail -1

Ollama は起動時に、メッセージが server config である行へサーバー設定を記録します。この map には、Ollama が報告する設定済みの環境変数の値が示されます。変数が有効になったかどうかを確認する最も早い方法です。ここに表示されるのは設定した値であり、特定のモデルに実際に割り当てられたスロット数ではありません。後者を確認するには、上の runner 行にある -np の値を読み取ります。

すでにロードされているモデルは、起動時に設定されたスロット数を維持します。この値は runner プロセスの起動時に固定されるためです。上記の再起動ですべてのモデルがアンロードされるため、次のリクエストでモデルが新しい設定で再ロードされ、ロード時間が 1 回発生します。その後、モデルを常駐させる時間は別の設定で制御します。リクエスト間で Ollama モデルをロードしたままにする方法で説明しています。

クライアント側で served、queued、refused がどのように見えるか

複数のリクエストを同時に送信し、所要時間を計測します。次のコマンドは、8 個のストリーミングリクエストを並列実行し、それぞれのステータスと所要時間を出力します。

for i in $(seq 1 8); do
  curl -s -o /dev/null \
    -w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
    http://127.0.0.1:11434/api/generate \
    -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
wait

ttfbはストリームの最初のバイトを受信するまでの時間です。最初のストリーミングチャンクに最初のトークンが含まれるため、最初のトークンまでの時間(TTFT)に近い値になります。

並列で served。 すべてのリクエストで ttfb がほぼ同じになり、total が同時に増加します。実行中のスロット間で GPU を共有するため、各応答は単独で実行する場合より遅くなります。一方で、1 分あたりに完了する応答数は増えます。OLLAMA_NUM_PARALLEL を増やすと、この状態になります。

queued。 最初のリクエストにはすぐ応答が返り、後続のリクエストでは大きな ttfb の後に通常の生成が始まります。この待ち時間はキューによるもので、モデルによるものではありません。チャット画面を見ているユーザーには、長い無表示時間の後、通常の速度でテキストが表示されます。開始まで遅く、その後は速いというこの形は、GPU の過負荷ではなくキューの存在を示します。

refused。 クライアントはほぼ即座に http=503 を受け取り、本文は次のとおりです。

{"error":"server busy, please try again.  maximum pending requests exceeded"}

このメッセージは、リクエストの到着時点でスケジューリングキューが満杯だったことを示します。VRAM の状態やモデルについては何も示しません。現在のリリースでは、このキューに保持されるのは、まだロードされていないモデルのリクエスト、または異なる設定で再ロードする必要があるモデルのリクエストだけです。上記のループを実行した時点ですでにモデルが常駐している場合、OLLAMA_MAX_QUEUE をどれだけ低く設定しても、すべてのリクエストが 200 を返すことが予想されます。その代わり、オーバーフローは ttfb の増加として現れます。

明確な制限が 1 つあります。Ollama はキューの深さを公開していません。ollama ps と /api/ps エンドポイントが報告するのはロード済みモデルであり、待機中のリクエストではありません。そのため、クライアント側で最初のバイトを受信するまでの時間を監視してキューを測定するか、手前にあるコンポーネントで 503 応答を数えます。

MAX_QUEUE を小さくするほうが適切なことが多い理由

512 のキューは余裕があるように見えますが、スロットが 1 つしかない場合は、ほぼ役に立ちません。Request 300 は、完了までに 299 回の生成処理を待つことになります。最短でも数分かかります。すべての HTTP クライアントはそれよりはるか前に諦めるため、呼び出し元にはクライアント側のタイムアウトだけが通知されます。これでは原因が分からず、監視からもアラートを出せません。

キューを小さくすると、その超過を即時の 503 に変換できます。ただし対象は、モデルのロードまたは再ロードを待っているリクエストだけです。たとえば、再起動後やモデルの入れ替え中に到着するバーストが該当します。2026 年 10 月時点では、すでにロード済みのモデルへのリクエストは OLLAMA_MAX_QUEUE を迂回し、上限なしで空きスロットを待機します。そのため、キューを小さくしても、常駐モデルが 1 つある負荷の高いサーバーで待ち時間が短くなるわけではありません。そこで即時に拒否するには、次のセクションで説明するように、Ollama の前段で同時実行数を制限します。503 は有用です。リバースプロキシは再試行でき、クライアントはバックオフでき、ダッシュボードは発生数を集計でき、人間も内容を読めます。上限は、自分の測定結果から決めてください。1 回の生成に約 10 秒かかり、クライアントの待機時間が 60 秒であれば、その時間内に 1 スロットあたり約 6 件のリクエストを処理できます。それを超えて待機させても、タイムアウトが発生するだけです。

Ollama の前段にキューを置くタイミング

組み込みキューは先入れ先出し(FIFO)で、呼び出し元を認識しません。1 つのアプリケーションが 1 台のサーバーと通信する構成なら、これで十分です。インフラを追加すると、障害要因が増えるだけです。次のいずれかに該当する場合は、前段の仕組みを検討します。

  • 優先度が必要な場合。対話型チャットがバッチ要約ジョブの後ろで待たされるべきではありません。Ollama のキューには優先度がないため、バッチ処理は外部で保持し、少しずつ投入する必要があります。
  • 公平性が必要な場合。1 つのクライアントがすべてのスロットを占有し、自身の待機リクエストを積み上げることがあります。その場合、他のクライアントもそのクライアントの後ろで待つことになり、モデルのロードが必要なリクエストは 503 になることがあります。
  • 待機時間に上限が必要な場合。Ollama は、すでにロードされているモデルのリクエストを無期限に保持します。そのため、信頼できる上限は前段に設定したものだけです。
  • 再起動後も処理を維持する必要がある場合。キューはサーバーのメモリ上にあります。Ollama を再起動すると、待機中のリクエストはすべて失われます。
  • バックオフ付きの実際のリトライと、後から確認できる記録が必要な場合。

軽量な構成はリバースプロキシです。nginx では、limit_conn で同時接続数に上限を設定し、limit_req でクライアントごとの到着レートに上限を設定できます。そのため、上限を超えたリクエストはプロキシで拒否され、Ollama には到達しません。重量級の構成は、Ollama を呼び出す worker の前段にデータベース付きのジョブキューを置く方法です。リクエストをプロセスの再起動後も維持する必要がある場合は、この構成を選びます。実際のトラフィックに合わせたサイジングは別途検討が必要です。同時利用者向けの self hosted LLM の計画では計算方法を説明し、VPS で Ollama を実行するでは、これらの変数が前提とする基本インストールを扱います。

別のサーバーを選ぶべき場合

調整では解決できない制限があります。Ollama はモデルの読み込み時に、KV キャッシュを同じサイズの固定スロットに分割します。アイドル状態のスロットのメモリを、使用中のスロットで利用することはできません。また、モデルをアンロードしない限り、スロット数も変更できません。この設計は、1 人のユーザー、少人数のチーム、またはコーディングエージェントに適しています。

多数のユーザーからの同時アクセスを想定して構築されたサーバーは、動作が異なります。KV cache は必要に応じて小さなページ単位で割り当て、到着したリクエストを実行中のバッチに追加します。そのため、メモリは固定的に分割されず、実際の需要に応じて使用されます。1 台の GPU で多数の同時ユーザーを処理することが目的であれば、このアーキテクチャの違いは OLLAMA_NUM_PARALLEL の値よりも重要です。Ollama と vLLM の比較で、この判断を行います。ただし、原則だけで切り替えないでください。別のサーバーは運用の手間が増えるため、利用者が数人程度であれば、組み込みの動作が適切です。本当の問題が、そもそも自分でモデルサーバーを運用するかどうかであれば、見積もり制のプライベート AI サーバーと、レンタル GPU 上に同じスタックを構築する方法の比較で、その判断を、API を購入したほうがよい場合も含めて説明しています。

自分のスループットと time to first token を測定する

公開されている tokens per second の数値は、別の GPU、モデル、量子化設定、コンテキスト長、プロンプトで測定されたものです。これらは手元の環境とは一致しないため、見かけた数値は大まかな目安として扱い、実際に使用するマシンで測定してください。

Ollama は、すべてのレスポンスの最後の JSON オブジェクトにタイミング情報を返します。eval_count は生成されたトークン数で、eval_duration はその生成にかかった時間をナノ秒で示します。

sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
  | jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'

まず 1 スロットで実行し、次に実際に想定する同時実行数で実行して、ユーザーの満足度を左右する 2 つの数値を比較してください。time to first token と、リクエストあたりの tokens per second です。スロットを追加すると、リクエストあたりのスループットは必ず低下します。重要なのは、ユーザーが許容できる範囲を超えて低下するかどうかです。ローカル LLM で tokens per second を測定するでは、実行間でプロンプトを一定に保つ方法を含め、この手順を詳しく説明しています。

余裕のあるキューを備えた公開エンドポイントは、DoS 攻撃の標的になります

OLLAMA_HOST=0.0.0.0:11434 を設定すると、API はすべてのインターフェイスで待ち受けます。ローカル API には認証がありません。Ollama には、クラウドモデルへのサインイン、公開、非公開ダウンロード用の機能が組み込まれています。https://ollama.com/api と https://ollama.com/v1 でのクラウド推論を直接利用するには、API key が必要です。デフォルトのキューでは、エンドポイントを見つけた誰でも、モデルの読み込みを待つ最大 512 件のリクエストを受け付けさせることができます。モデルがすでに読み込まれている場合、接続したすべてのリクエストを、各クライアントが接続している限り無制限に保持します。この方法でサーバーを占有する攻撃者の負担は、ほとんどありません。長いプロンプト、ログイン不要、レート制限なし、料金なしで実行できます。その結果、正規のユーザーには 503 応答や長い待ち時間が発生し、マシンは常に処理を占有された状態になります。

リスナーは loopback に限定し、SSH トンネルまたはプライベートネットワーク経由でアクセスしてください。または、前段に認証とレート制限を配置してください。Ollama API エンドポイントの保護で、両方の方法を説明しています。その後でキューを調整してください。キューの長さは容量設定であり、セキュリティ対策にはならないためです。

FAQ

2 件目の Ollama リクエストは、なぜ 1 件目が完了するまで待機するのですか?

OLLAMA_NUM_PARALLEL のデフォルト値が 1 だからです。読み込み済みのモデルは一度に 1 件のリクエストだけを処理し、残りは順番に待機します。待機中のリクエストは HTTP 接続を開いたまま保持し、スロットが空くまでバイトを送信しません。そのため、クライアントからはモデルの処理が遅い場合と同じように見えます。判別のポイントは時間の形です。長い停止の後に一定の速度でテキストが届くならキューです。最初のトークンから少しずつ届くなら、モデル自体の処理が遅い状態です。systemd の drop-in でスロット数を増やし、サービスを再起動します。その後、runner の行にある -np の値を確認します。embedding model には、スケジューラ上で引き続き 1 スロットしか割り当てられないためです。

「server busy, please try again. maximum pending requests exceeded」とはどういう意味ですか?

これは Ollama のキューあふれエラーです。HTTP status 503 で返されます。スケジュールされるまで待機しているリクエスト、つまりモデルの読み込みまたは再読み込みを待っているリクエストの数が OLLAMA_MAX_QUEUE に達しました。OLLAMA_MAX_QUEUE のデフォルト値は 512 です。そのため、新しいリクエストはキューに追加されず拒否されました。すでに読み込まれているモデルへのリクエストは、この上限に含まれません。通常、このエラーは起動時の短時間の集中アクセスや、モデルの入れ替え中に発生します。これはメモリエラーでもモデルエラーでもありません。キューを増やしても、同じ拒否が返るまでの待ち時間が長くなるだけです。実際の対策は、VRAM に余裕がある場合はスロットを増やすこと、受信負荷を下げること、または前段にリトライと優先制御が可能なキューを置くことです。

OLLAMA_NUM_PARALLEL を増やすと Ollama は高速になりますか?

いいえ。同時に実行できるリクエスト数は増えますが、1 つの GPU を共有するため、各リクエストは単独で実行する場合より遅くなります。また、KV cache も増加します。Ollama は、コンテキスト長にスロット数を乗じた合計コンテキストで runner を起動するためです。結果が VRAM に収まらなくなると、Ollama は一部のレイヤーを CPU に移します。その場合、競合のない 1 件だけのリクエストを含め、すべてのリクエストが遅くなります。変更後に ollama ps を確認し、PROCESSOR 列が引き続き 100% GPU と表示されることを確認してください。

これらの変数を変更した後、Ollama を再起動する必要はありますか?

はい。サーバーは起動時にこれらの変数を読み込みます。また、実行中のモデルは、runner process の起動時に設定されたスロット数を保持します。sudo systemctl edit ollama.service で drop-in を編集し、その後 sudo systemctl daemon-reload と sudo systemctl restart ollama を実行します。systemctl show ollama --property=Environment で確認し、続いて journalctl -u ollama にある server config の行を確認します。この行には、Ollama が報告する設定済みの環境変数が一覧表示されます。

並列スロットはいくつ設定すべきですか?

1 から始め、1 段階ずつ増やしてください。各段階で Ollama を再起動し、モデルを読み込むためのリクエストを 1 件送信して、ollama ps を実行します。PROCESSOR が引き続き 100% GPU と表示され、SIZE 列にも、提供する最長のコンテキストに対する余裕が残る最後の値で止めます。その設定で、実際の同時実行数における最初のトークンまでの時間と 1 秒あたりのトークン数を測定します。リクエストあたりの速度が利用者の許容範囲を下回る場合は、1 段階戻してください。

この記事は役に立ちましたか?

#ollama#concurrency#vram#queueing#self-hosted-llm