SSD Nodes Learn Hosting plans →
ガイド Matt Connor著者 Matt Connor ・更新日 2026-10-26

self-hosted LLMが5人で遅くなる理由

1人なら快適なのに5人で遅い原因を解説します。Ollamaの並列リクエスト初期値1、batching、KV cache、prefill、queue depthが同時接続数を決めます。

複数のユーザーがアクセスすると、セルフホスト型 LLM の応答が遅くなるのはなぜですか?

セルフホスト型 LLM が同時接続 5 ユーザーで停止したようになる場合、通常の原因は、サーバーが一度に 1 件の応答しか生成しない設定になっていることです。残りの 4 件はキューで待機しています。Ollama のドキュメントには、デフォルト設定について明確に、OLLAMA_NUM_PARALLEL は「各モデルが同時に処理する並列リクエスト数の最大値で、デフォルトは 1」と記載されています。障害が発生しているわけではありません。サービングソフトウェアは複数のリクエストを同時に処理できます。5 人のうち 4 人が順番待ちになるのは、設定でそう指定されているためです。

解決策は、より高性能なサーバーを用意することではない場合がほとんどです。必要なのは、同じ forward pass で多数のリクエストをモデルに処理させるサービングエンジンと、その処理中に全員の会話を保持できるだけの余裕あるメモリです。どちらも重要です。特に後者が、実際の上限を決めます。

すべてのリクエストが通過する 2 つのフェーズ

Prefill はプロンプト全体を一度に読み込み、そのプロンプトに対する attention cache を構築します。すべてのプロンプトトークンをまとめてモデルに入力するため、prefill は 1 回の大規模な行列乗算となり、演算スループットの制約を受けます。続く decode では、回答を 1 トークンずつ生成します。各トークンの処理で、モデルの全重みを毎回メモリから読み出す必要があります。一方、その 1 トークンに対して実行する演算量はごくわずかです。そのため、decode はメモリ帯域幅の制約を受けます。

この非対称性が、バッチ処理が機能する理由です。1 ユーザーの decode では、1 トークンごとに、たとえば 5 GB の重みを読み出しますが、演算ユニットの大部分はアイドル状態になります。2 つ目のリクエストを追加すると、エンジンは同じ 5 GB を 1 回だけ読み出し、その重みを使って 2 つのトークンを計算します。2 人目のユーザーによる追加時間はほとんどありません。リクエストを厳密に 1 つずつ処理すると、この利点が失われます。

ユーザーが体感する性能は、2 つの数値で表せます。TTFT (time to first token) は、キューでの待ち時間と prefill の合計です。ITL (inter-token latency) はストリーミングされるトークン間の間隔で、decode によって決まります。サーバーが遅い場合、通常はこのどちらかが原因であり、必要な対策は同じではありません。設定を変更する前に、どちらが問題なのかを確認することが重要です。prefill と decode を個別に測定することで判定できます。

最も遅い応答を待たせる静的バッチ処理

静的バッチ処理は単純な方式です。アプリケーションコードでリクエストを自分でグループ化すると、この方式になります。エンジンは N 個のリクエストを集めてまとめて実行し、グループ内で最も長い生成が完了するまで、すべてのスロットを保持します。

1,200 token の要約を求めるユーザーが 1 人いると、1 行で済む回答 4 件もバッチに拘束されます。バッチは、最も遅いリクエストが完了するまでスロットを解放しないためです。

この方式には、2 つのコストがあります。完了したシーケンスが、実質的な計算を行わないままスロットを占有し続けるため、出力長が異なるほど実効スループットが低下します。チャットでは出力長が大きく異なるため、この影響が顕著です。バッチの形成から 1 step 後に到着したリクエストは、prefill を開始する前にバッチ全体の処理が終わるまで待たされます。そのため、そのリクエストの TTFT は、別のユーザーが送った長い文章によって決まります。

Continuous batching はすべてのトークン単位でリクエストを受け付け、完了したリクエストを解放します

Continuous batching は、デコードの各ステップ単位でスケジューリングします。各ステップの後、スケジューラーは直前に停止トークンを出力したシーケンスを削除し、空いたスロットに待機中のリクエストを受け入れます。ステップ 40 で終了した応答は、バッチの終了時ではなく、ステップ 40 の時点でスロットを解放します。

これは特殊な仕組みではありません。llama-server では、-cb, --cont-batching を「continuous batching(別名 dynamic batching)を有効にするかどうか(デフォルト: enabled)」と説明し、機能の 1 つとして「複数ユーザーに対応した並列デコード」を挙げています。また、2025 年 11 月にマージされた変更以降は、デフォルトで 4 スロットから開始します(-np のデフォルトは -1 で、自動設定です)。vLLM はこの考え方を中心に構成されています。Ollama も並列リクエストを処理します。デフォルト設定では数が 1 に制限されるため、実際には設定が許可していないだけなのに、自分のハードウェアでは並行処理できないと判断する人が多くなります。

公開されている continuous batching の結果は通常、余剰の計算資源と、キャッシュ用の数十 GB のメモリを備えたデータセンター向けカードで測定されています。結果の傾向は、使用しているマシンにも当てはまります。ただし、その規模は当てはまりません。理由は以下のメモリの節で説明します。

Prefill は decode と同じ計算資源を奪い合う

4 つの応答をストリーミング中に新しいリクエストが到着すると、最初にそのプロンプトを prefill する必要があります。prefill は計算負荷が高い処理です。スケジューラーが prefill に専用のステップを割り当てると、その間は 4 人のストリーミング利用者にトークンが届きません。プロンプトが長い場合、開いているすべてのウィンドウで明らかな停止が発生します。別の利用者が送信するたびにサーバーが引っかかると言われるのは、この遅延です。

Chunked prefill は長いプロンプトを分割し、各部分を実行中の decode と同じステップに組み込みます。vLLM のチューニングガイドは、このトレードオフを明確に説明しています。小さいチャンク予算では「decode を遅らせる prefill が少ないため ITL が向上」し、大きい値では「1 回のバッチで処理できる prefill トークンが増えるため、最初のトークンまでの時間(TTFT)が向上」します。保護する対象を選ぶ必要があります。応答の開始を待つ利用者を優先するのか、テキストのストリーミングを見ている利用者を優先するのかという選択です。

この影響の大きさはプロンプトの長さで決まります。6,000 トークンのプロンプトに対して回答が 200 トークンの場合、200 回の decode ステップに対して 6,000 トークン分の prefill 処理が必要です。検索拡張チャットと長いシステムプロンプトはいずれもこの状況を引き起こします。そのため prefill は無視できる差ではなく、利用者が待つ主な処理になります。長い部分が繰り返される場合は、Prefix caching が役立ちます。vLLM は --enable-prefix-caching を提供しており、リクエストごとに再計算する代わりに、共有されたプロンプトプレフィックスのキャッシュを再利用できます。

最初に枯渇するメモリは KV cache です

アクティブなすべての会話の各トークンは、モデルの各レイヤーに key vector と value vector を残します。これが KV cache(key/value cache)です。新しいトークンごとにプロンプト全体を再計算せずに decode できるのは、この仕組みがあるためです。トークンごとにキャッシュされる値の数は、モデルの構造で決まります。2(key 1 個と value 1 個)に、レイヤー数、key/value head 数、head dimension を掛けた値です。これらの数値はモデルの config.json から読み取ります。値 1 個あたりのバイト数を掛けるとサイズを求められます。最後の要素はモデルの一部ではなく、実行時の設定です。llama-server はデフォルトで cache を f16(2 bytes)で保存し、-ctk と -ctv を通じて q8_0 などの小さい型も指定できます。

一度計算すれば、上限を推測する必要はありません。36 layers、8 key/value heads、head dimension 128 の一般的な 8B model で、cache を 16-bit で保持する場合、1 token あたりのサイズは 2 36 8 128 2 bytes です。これは 147,456 bytes、約 144 KiB です。8,192 token の会話 1 件には、約 1.2 GB の cache が必要です。5 件では約 6 GB になり、weights に加えて必要になります。これが、何人のユーザーを収容できるかという問いへの実際の答えです。

同時実行数が context を増加させることは、ツールの説明にも明記されています。Ollama の FAQ には、次のようにあります。「特定の model に対する並列 request processing を行うと、parallel requests の数に応じて context size が増加します。たとえば、2K context に対して 4 parallel requests を実行すると、8K context になり、追加の memory allocation が発生します。」必要な RAM は OLLAMA_NUM_PARALLEL に OLLAMA_CONTEXT_LENGTH を掛けた値に比例します。llama-server では、デフォルトの自動 slot 数により、すべての slot が 1 つの unified KV buffer を使用します。そのため、全体の -c context が 1 つの pool になり、各 slot がそこから割り当てを受けます。-np を自分で設定すると、--kv-unified も指定しない限り unified buffer は無効になります。この場合、-c で要求した context が -np slots に分配されます。slot 数だけを増やすと、各 request が保持できる量は減少します。slot ごとの context は想定せず、startup log から確認してください。

vLLM は事前に割り当てを行います。--gpu-memory-utilization(デフォルトは 0.92)は、「model executor に使用する GPU memory の割合」です。--kv-cache-memory-bytes を設定しない限り、vLLM はこの割合から KV cache size を推定します。weights と engine がプロファイルした作業用 memory を確保した後に残る予算が、paged KV pool になります。この pool が不足すると、scheduler は request を失敗させずに evict します。

WARNING 05-09 00:49:33 scheduler.py:1057] Sequence group 0 is preempted by PreemptionMode.RECOMPUTE mode because there is not enough KV cache space.

vLLM の V1 engine では、デフォルトの preemption mode は RECOMPUTE です。そのため、evict された request は cache を破棄し、再び受け入れられたときに prefill をやり直します。この処理は 2 回実行されます。ドキュメントは、「preemption と recomputation は end-to-end latency に悪影響を与える可能性がある」と警告しています。平均値が正常に見える一方で、あるユーザーだけが大幅に長く待たされた理由を説明するには、この log line が最適です。累積回数を記録するには disable_log_stats=False を設定するか、vLLM が公開する Prometheus metrics から preemption counter を読み取ってください。

2、5、20 の同時ユーザーで何が変わるか

2 ユーザー。 余裕のあるキャッシュを備えた GPU では、ほとんど影響ありません。2 本目のデコードストリームが 1 本目に重なり、追加時間がわずかだからです。4 to 8 GB の RAM を搭載した CPU-only VPS では、負荷は無視できません。2 本のストリームが同じ少数の vCPU と同じ RAM 帯域を共有するため、各ユーザーの tokens per second はおよそ半分になります。キャッシュ要求量は倍増しますが、利用できる容量ははるかに小さいためです。

5 ユーザー。 ここからはデフォルト設定だけでは足りず、まずキューの問題になります。OLLAMA_NUM_PARALLEL が 1 の場合、長い回答を要求したユーザーを 4 人が待つことになります。ただし、自分の順番になれば、各ユーザーは通常の速度で処理されます。並列数を増やすと、問題の形が変わります。コンテキスト長が 8K のスロットを 5 つ使うと、40K トークン分のキャッシュが必要です。VRAM に収まらなければ、エンジンはレイヤーをシステム RAM へオフロードします。RAM にも収まらなければ、ホストは swap を使用し、tokens per second は急落します。

20 ユーザー。 チャット UI を使う 20 人が、通常 20 件の同時リクエストを送るわけではありません。ハードウェアを購入する前に、これを理解することが最も重要です。人は回答を読んでから次の入力を送るまでに 20 to 60 秒ほど考えるため、セッションの大半はアイドル状態です。20 個のエージェント、または 20 件の文書要約ジョブは、アイドル時間のない実ストリームが 20 本ある状態です。これは別のマシンが必要になる負荷です。ある開発者が自分の Ollama server に コーディングエージェントを接続した場合、前者よりも後者に近い負荷になります。エージェントはタスクが実行されている間、リクエストを送り続け、人間のような読解時の待ち時間を挟まないためです。

同時利用者数ですか、それともログイン中の利用者数ですか?

サイズを決める前に、処理中のリクエスト数を見積もります。計算は単純です。処理中のリクエスト数は、利用者数に、1 ターンの生成にかかる秒数を掛け、ターン間の秒数で割った値です。

  1. まず、自分の環境で単一ストリームの速度を測定します。prefill と decode の両方を確認してください。他人のカードの数値を流用せず、自分の環境で tokens per second を測定するで得た値を使います。
  2. 稼働率を見積もります。20 人のチャット利用者がいて、1 ターンの生成に 12 秒かかり、90 秒ごとに 1 ターン送信する場合、20 * 12 / 90 となり、処理中のリクエスト数は約 2.7 です。
  3. スロット数をその値より少し大きく設定し、メモリ使用量とも照合します。スロット数にリクエストごとのコンテキスト量を掛けた値が、実際に確保できる cache tokens に収まる必要があります。
  4. キューは短く保ち、超過時には速やかに、かつ明確に失敗するようにします。

利用可能な cache tokens は、weights 読み込み後の空きメモリを、前のセクションで示した 1 トークンあたりのコストで割って求めます。24 GB のカードで 8B model を 16-bit で実行する場合、weights に約 16 GB を使用します。default utilisation では、cache に使用できるメモリは最大でもおよそ 6 GB です。working memory を確保すると、実際にはもう少し少なくなります。これは 8K の会話で約 5 件分に相当します。より多く収容するには、リクエストごとのコンテキストを短くするか、cache を 8-bit で保存します(llama-server は --cache-type-k q8_0 を消費します)。どちらも何かを犠牲にして同時実行数を増やす方法です。ハードウェアに投資する前に、このトレードオフを率直に説明した GPU VPS が API tokens に対して損益分岐する条件を確認してください。

Ollama のデフォルト設定では不十分になる場合

並列数はサービス unit で増やしてください。シェルで export しても、systemd が管理するデーモンには届きません。

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_QUEUE=64"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama ps

systemctl show では、直前に設定した 3 つの変数が表示されるはずです。表示されない場合、drop-in の保存に失敗しています。その状態では、ほかの操作をしても意味がありません。続いて ollama ps で、読み込まれたモデルのサイズを確認します。このサイズは重みだけの場合より大きくなります。8,192 トークンを 4 スロット分確保するため、重みに加えて 32,768 トークン分のキャッシュが予約されるためです。すべてを GPU に載せる想定だったのに、PROCESSOR 列にモデルの一部が CPU 上にあると表示される場合、カードに残っていた容量を超えるキャッシュを要求しています。2 つの数値のどちらかを下げてください。通常はコンテキスト長を下げるほうが安全です。ただし、ウィンドウが小さすぎるとエラーにならず、長いプロンプトが静かに切り詰められます。そのため、モデルが収まるまで値を下げ続けるのではなく、num_ctx を意図的に決めることを推奨します。

キューのデフォルト値も再確認してください。Ollama は最大 OLLAMA_MAX_QUEUE 件のリクエストをキューに入れます。「デフォルトは 512」です。これを超えると「サーバーが過負荷であることを示す 503 エラー」を返します。1 回に 4 件を処理するサーバーで深さ 512 のキューを設定しても、その約束は守れません。300 番目の位置にいるクライアントは、自分の番が来るはるか前にタイムアウトするためです。短いキューなら、アプリケーションで再試行または報告できるエラーを返せます。いつまでも終わらない待機表示より適切です。

実際にテストしてください。2 つのターミナルから同時に 2 件のリクエストを送信し、両方を監視します。2 件目が 1 件目の完了まで何も返さない場合、並列設定は反映されていません。

本格的な推論エンジンがコストに見合うタイミング

GPU に余裕があり、実際に4件を超えるリクエストが同時に処理中になる場合、vLLM は追加の構成作業に見合います。vLLM のスケジューラはトークン単位で動作し、キャッシュはページングされるため、空いた断片を再利用できます。その結果、余った VRAM をアイドル状態にせず、同時実行数へ振り向けられます。2026年10月時点で、GPU へのインストールと起動は3つのコマンドで実行できます。vllm download-kernels は、vLLM が通常なら起動時にダウンロードしてコンパイルする事前コンパイル済みカーネルを取得します。

uv pip install vllm --torch-backend=auto
vllm download-kernels
vllm serve Qwen/Qwen2.5-1.5B-Instruct
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen2.5-1.5B-Instruct",
        "messages": [{"role": "user", "content": "Say hello."}]
    }'

choices 配列を含む応答が返れば、サーバーが起動し、モデルが読み込まれています。負荷がかかっているときに重要な設定は2つです。--max-num-seqs は「1回の反復で処理するシーケンスの最大数」、--max-num-batched-tokens は「1回の反復で処理できるトークンの最大数」です。前者は同時実行数を制限します。後者は前述したチャンク化された prefill の予算です。

処理中のリクエストが4件未満であれば、vLLM は構成を複雑にする一方で、効果はほとんどありません。GPU も必須ではありません。2026年10月時点で、CPU インストールガイドには x86 および Arm CPU での「基本的なモデル推論とサービング」が記載されています。version 0.17.0 以降では、事前ビルド済みの x86 wheel と CPU Docker image も提供されています。ただし、メモリの使用方法は変わりません。CPU ではシステム RAM に同じ 0.92 の使用率を適用し、重みが残した分を KV cache に割り当てます。そのため、デフォルトでは起動時にマシンのメモリの大部分を確保します。--kv-cache-memory-bytes で cache の上限を設定できます。4 to 8 GB の VPS では、この選択は適切ではありません。その場合は、より小さいモデル、短いコンテキスト、そして自分で制御するキューを選ぶべきです。Ollama と vLLM がサービングエンジンとしてどう異なるかでは、この選択を詳しく説明しています。VPS で Qwen 3 8B を実行するでは、追加のユーザーを1人でも受け入れる前に、中規模モデルが必要とするリソースを示しています。

フォークロアが隠しているトレードオフ

Continuous batching は総スループットを向上させます。また、キューに入ったリクエストが早く処理を開始できるため、通常は中央値のレイテンシも改善します。一方、テールレイテンシは悪化します。この点はほとんど語られません。

1 ステップ内のシーケンスが増えるたびに処理量が少し増えるため、バッチが埋まるにつれて全体の ITL が上昇します。新しく到着したリクエストの prefill は、ストリーミング中のユーザーが本来利用できたはずのステップの一部を占有します。キャッシュに余裕がなくなると、スケジューラはプリエンプトを実行します。その結果、生成途中のリクエストは prefill の開始位置に戻されます。

チャット UI で目立つのは平均値ではなくテールです。文の途中でストリームが 2 秒間停止すると、完了までの総時間が良好でも、壊れているように見えます。想定する負荷で p95 TTFT と p95 ITL を測定してください。平均 tokens per second は容量を表す数値であり、ユーザー体験そのものを表す指標ではないと考えてください。

実際の設定はここから導けます。メモリが許容する上限より同時実行数を少し低く制限し、エンジンがプリエンプトを実行する必要がないようにします。スラッシングする深いバッチより、短く予測可能なキューのほうが優れています。4 秒待ってから滑らかにストリーミングされるほうが、すぐに開始して 2 回停止するより、ユーザーの満足度が高いからです。

遅い場合に確認すること

各ユーザーの処理速度は正常だが、待ち時間が長い。 これは速度の問題ではなく、キューの問題です。最初に並列設定を確認します。モデルは正常に処理しており、1 回に 1 リクエストずつ処理しています。

Ollama から HTTP 503 が返る。 キューが満杯です。サーバーが実際に処理能力の上限に達しているか、負荷を意図的に下げるために OLLAMA_MAX_QUEUE が低く設定されています。後者は設定どおりの動作です。

CPU サーバーで負荷時に tokens per second が急低下する。 発生中に vmstat 1 を実行します。si 列と so 列が 0 以外なら、マシンで swap が発生しています。各トークンの生成時に重みがディスクから読み込まれている状態です。この場合、設定変更では解決できません。モデルサイズまたはスロット数を減らします。

10 人に 1 人だけ、他のユーザーより大幅に長く待たされる。 vLLM のログで preempted を検索します。通常の原因は preemption とその再計算です。許可しているコンテキスト長に対してキャッシュ容量が不足しています。

サーバーがアイドル状態でも TTFT が悪い。 これは並列処理ではなく prefill の問題です。長いプロンプトでは、最初のトークンが表示されるまでに実時間がかかります。そのため、ハードウェアを確認する前に、プロンプトサイズと prefix caching を確認します。静止期間の後に戻ってきた最初のユーザーだけが長く待ち、その後のユーザーは問題ない場合、prefill ではありません。Ollama がモデルをアンロードし、重みを再びディスクから読み込んでいる可能性があります。リクエスト間でモデルを常駐させることで、この可能性を切り分けます。

FAQ

自己ホスト型 LLM は、2 人目が使うと遅くなるのはなぜですか?

多くの場合、実際には遅くなっていません。キューに入っています。Ollama は OLLAMA_NUM_PARALLEL を 1 に設定して出荷されるため、2 件目のリクエストは 1 件目が最後のトークンを出力するまで待機します。1 人目のストリームを計測しながら、もう 1 人のリクエストが待機する状態を確認すると、2 つのケースを区別できます。開始後の tokens per second が通常どおりなら、原因はキューです。parallel count を増やすと解消します。2 つのストリームがどちらも半分の速度で動くなら、メモリ帯域を実際に共有しています。これはハードウェア上の制限です。

小型 GPU 1 台で、同時に何人のユーザーへ対応できますか?

ユーザー数ではなく、メモリ容量を基準にします。まず weights が必要です。次に KV cache が必要です。KV cache は、アクティブな会話ごとに、トークン 1 個あたり 2 × layers × key/value heads × head dimension × bytes の容量を使用します。一般的な 8B モデルで layers が 36、key/value heads が 8、head dimension が 128 の場合、16-bit ではトークン 1 個あたり約 144 KiB です。そのため、8,192 token の会話には約 1.2 GB が必要です。そのモデルを 16-bit で保持する 24 GB のカードでは、cache 用に残る容量は最大でも約 6 GB です。full context では約 5 会話分に相当します。context を短くすれば、さらに増やせます。

continuous batching によって、各ユーザーへの返信は遅くなりますか?

中央値のレイテンシは通常改善します。リクエストがバッチ全体の完了を待つ必要がなくなるためです。一方、tail latency は悪化します。sequence が 1 つ増えるたびに、すべての decoding step の処理量が増えます。新しいリクエストの prefill によって、ストリーミング中のユーザーが利用できる step の一部が奪われます。また、preempt されたリクエストでは prefill が 2 回必要になります。平均値ではなく p95 inter-token latency を計測してください。平均値では隠れる一時停止も、チャット画面では明確に分かるためです。

OLLAMA_NUM_PARALLEL を増やすべきですか、それとも vLLM に移行すべきですか?

まず parallel count を増やしてください。追加費用がなく、drop-in file 1 つで設定できるためです。1 件の長い回答の後ろに 4 人分のリクエストがキューに並ぶ、という一般的なケースを解消できます。制限要因はメモリです。parallel request が増えると保持すべき context も増えるため、layers が CPU に溢れ出していないか確認してください。GPU の VRAM に余裕があり、実際に 4 件を超えるリクエストが同時に処理中になったら、vLLM への移行を検討します。この段階では、paged cache と token 単位のスケジューリングによる効果が、導入コストを上回ります。

CPU コアを増やすと、遅い LLM サーバーは改善しますか?

ユーザーが最も強く感じる部分には、通常は効果がありません。decode では、トークンごとにモデル全体をメモリから読み込むため、RAM bandwidth が制約になります。帯域が飽和すると、CPU コアを増やしても改善しません。一方、prefill は CPU コア数に応じてスケールするため、コアを増やすと長い prompt の time to first token は短縮できます。4 から 8 GB の VPS では、通常はメモリ容量が制約要因です。vCPU を増やすより、小さいモデルを使うか context を短くするほうが、実効的な対策になります。

この記事は役に立ちましたか?