Prefillとdecodeの違い、最初のtokenが遅い理由
Prefillは計算性能がTTFTを左右し、decodeはメモリ帯域幅がtokens per secondを左右します。両者を分けて測定する方法を解説します。
Prefill と decode の違いを 1 段落で説明
Prefill と decode の違いは、セルフホスト型 LLM(large language model)に関するレイテンシの疑問の大半を説明する重要な区別です。Prefill はプロンプト全体を 1 回の処理で読み込むため、制約要因は計算性能です。Decode は回答を 1 トークンずつ生成するため、制約要因はメモリ帯域幅です。Time to first token は prefill の指標です。Tokens per second は decode の指標です。
どちらのフェーズも、同じ GPU(graphics processing unit)上で、同じ重みを使い、同じプロセス内で実行されます。そのため、1 つのワークロードとして扱うのは自然です。ただし実際には、同じデバイスを共有する 2 つの異なるプログラムのように動作します。両者を分けて考えると、これまで分かりにくかった多くの結果を明確に説明できます。
プリフィルの計算量が大きいのはなぜですか?
プリフィルでは、プロンプト全体をすべての層に1回ずつ通します。2,000 token のプロンプトでは、各行列乗算に2,000行分の処理が発生します。そのため、GPUは読み込んだ重みの各 byte に対して、大量の算術演算を実行します。移動した byte あたりの算術演算量は arithmetic intensity と呼ばれ、プリフィルではこの値が高くなります。デバイスは計算性能の上限に近い状態で動作し、メモリバスには余裕が残ります。
プリフィルでは2つのものを生成します。1つは、プロンプト内のすべての token に対応する KV cache(key tensor と value tensor)です。もう1つは、最初の出力 token です。この処理が完了するまで読み手には何も届きません。そのため、アイドル状態のサーバーでは、プリフィルが time to first token (TTFT) の大部分を占めます。NVIDIA のベンチマークガイドで定義される TTFT には、リクエストのキュー待ち時間とネットワーク遅延も含まれます。そのため、負荷の高いサーバーでは、キューでの待ち時間がプロンプト処理と同程度に影響する場合があります。
プリフィルのコストは、プロンプトの長さに応じて増加します。線形に増える部分は、層ごとの行列演算です。二次に増える部分は attention です。attention では各 token がそれ以前のすべての token を参照するため、長いコンテキストで影響が大きくなります。したがって、プロンプトを2倍にすると、TTFT のプリフィル部分は少なくとも2倍になります。
この違いは1分で確認できます。サーバーに200 token のプロンプトを送信し、次に2,000 token のプロンプトを送信します。どちらも同じ数の出力 token を要求してください。TTFT は大幅に増加します。一方、最初の token の後のストリーミング速度は、ほとんど変わりません。
decode がメモリ帯域幅に制約される理由
decode では、1 ステップにつき 1 トークンを生成します。その 1 トークンを生成するには、GPU がモデル内のすべての重みをメモリから読み出し、各重みを数回の演算に使ってから破棄する必要があります。算術強度は 1 に近いため、演算ユニットは処理時間の大半を待機に費やします。
decode が遅いのは、各トークンの生成にモデル全体をメモリから読み出す必要があるためです。そのため、メモリバスが処理速度を決め、演算ユニットはアイドル状態になります。
このため、単一ストリームの decode 速度の上限は、紙上の計算で求められます。メモリ帯域幅を、重みが占めるバイト数で割ります。
このグラフのデータ
[
{
"device": "CPU, dual channel DDR5-5600",
"mem_bandwidth_gb_s": 90,
"decode_ceiling_tok_s": 6
},
{
"device": "NVIDIA A10G",
"mem_bandwidth_gb_s": 600,
"decode_ceiling_tok_s": 38
},
{
"device": "NVIDIA L40S",
"mem_bandwidth_gb_s": 864,
"decode_ceiling_tok_s": 54
},
{
"device": "NVIDIA RTX 4090",
"mem_bandwidth_gb_s": 1008,
"decode_ceiling_tok_s": 63
},
{
"device": "NVIDIA A100 80GB SXM",
"mem_bandwidth_gb_s": 2039,
"decode_ceiling_tok_s": 127
},
{
"device": "NVIDIA H100 SXM",
"mem_bandwidth_gb_s": 3350,
"decode_ceiling_tok_s": 209
}
]帯域幅列には、各ベンダーが公開している仕様値を記載しています。上限列は、その値を 16 GB で割ったものです。16 GB は、16 bit 精度で保存した 8 billion parameter モデルのサイズです。これはベンチマーク結果ではなく、算術計算による値です。実測速度はこの値を下回ります。どの程度下回るかを把握すると、serving stack とハードウェアのどちらを改善すべきか判断できます。
6 行を順に読むと、傾向は明確です。dual channel DDR5 の CPU は約 90 GB/s でデータを転送し、そのモデルの decode を毎秒約 6 トークンに制限します。L40S は約 54 です。公開帯域幅が 3350 GB/s の H100 SXM は、約 209 です。
これが、量子化が decode 速度を改善する最も強力な手段でもある理由です。同じ重みを 16 bit ではなく 8 bit で保存すると、トークンごとに読み出す重みのバイト数が半分になるため、上限はおよそ 2 倍になります。ただし、上限がそのまま実測値になるわけではありません。KV cache は別のサイズで読み出されます。また、一部の 8 bit 形式では、トークンごとの動的な activation 量子化など、トークンごとの処理が追加されます。vLLM は FP8 方式の 1 つについて、この処理を文書化しています。そのため、実測の改善幅は通常 2x 未満です。この手段が有効なのは、上限が変わる理由と同じです。読み出すメモリ量が減るためです。
自分のサーバーで各フェーズを測定する方法
Ollama はレスポンス本文に分割情報を返します。非ストリーミングの completion を要求し、カウンターを読み取ります。
curl -s http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Explain memory bandwidth in two sentences.",
"stream": false
}' | jq '{prompt_eval_count, prompt_eval_duration, eval_count, eval_duration}'実際に pull 済みの model tag を使用します。利用可能な tag は ollama list で確認できます。prompt_eval_count と prompt_eval_duration は prefill です。前者は prompt token 数、後者はその処理にかかった時間です。eval_count と eval_duration は decode です。時間の単位は nanosecond なので、decode 速度は eval_count / eval_duration * 1e9、prefill 速度は prompt_eval_count / prompt_eval_duration * 1e9 です。Ollama の API reference によると、prompt_eval_duration はキャッシュされていない prompt token だけを対象にします。そのため、サーバーが直前に処理していない prompt から prefill 速度を計算します。同じリクエストでは、prefill 速度が decode 速度を大幅に上回るはずです。以降では、この差が生じる理由を説明します。
vLLM のような OpenAI compatible server では、curl で最初の byte までの時間を測定できます。
curl -N -s -o /dev/null \
-w 'pretransfer %{time_pretransfer}s first_byte %{time_starttransfer}s\n' \
http://localhost:8000/v1/completions \
-H 'Content-Type: application/json' \
-d '{"model": "meta-llama/Llama-3.1-8B-Instruct", "prompt": "Explain memory bandwidth.", "max_tokens": 128, "stream": true}'time_starttransfer は最初の body byte が到着した時点なので、"stream": true と合わせると接続確立を含む TTFT になります。time_pretransfer を引いて、接続確立の時間を除外します。最初の呼び出しには model の cold load が含まれる場合があるため、2 回実行して 2 回目の結果を使用します。
vLLM は /metrics に Prometheus metrics として分割情報も公開します。curl -s http://localhost:8000/metrics | grep -E 'time_to_first_token|inter_token_latency' を実行すると、vllm:time_to_first_token_seconds と vllm:inter_token_latency_seconds の histogram が得られます。キューの深さには vllm:num_requests_running と vllm:num_requests_waiting、cache pressure には vllm:kv_cache_usage_perc を追加します。この 5 つの名前だけで dashboard を構成できます。
負荷がかかっている状態では、vllm bench serve --model <name> --num-prompts 200 --request-rate 4 が稼働中の server を駆動し、first token までの時間と出力 token ごとの latency を percentile で報告します。すでに運用している stack 上で、2 つのフェーズがどのように競合しているかを確認する最も直接的な方法です。別の tool を使用する場合は、NVIDIA の GenAI-Perf と LLMPerf でも同じ値を測定できます。チューニングを始める前に、クリーンな baseline を取得します。local LLM で tokens per second を測定する方法の手順なら、再起動後も比較に使用できます。
長い system prompt では最初のトークンが遅くなるのに、ストリーミング速度は変わらないのはなぜですか?
system prompt は、prefill 処理の対象になるだけだからです。system prompt はプロンプトの残りの部分と同じ処理で 1 回だけ処理され、最初のトークンが出力される前に完了します。その後は KV cache のエントリとして存在し、decode 処理では他のコンテキストと一緒に読み取られます。したがって prefix caching がない場合、3,000 トークンの system prompt はすべてのリクエストで TTFT を増加させますが、tokens per second はほぼ変わりません。
正確には、完全に変わらないわけではありません。追加された KV エントリは decode の各ステップで再び読み取られるため、非常に長いプロンプトでは decode も少し遅くなります。次のセクションで説明します。
同じ prefix の再計算を止めることが対策になります。prefix caching を備えたサーバーは共有 prefix の KV cache を保持して再利用するため、同じ system prompt を含む 2 回目のリクエストでは、その部分の prefill が完全にスキップされます。vLLM ではこれを automatic prefix caching と呼びます。デフォルト設定はリリースによって変更されているため、使用しているバージョンで vllm serve --help を確認してください。GPU 内のこの KV cache は、API プロバイダーが課金対象にする prompt cache とは別のものです。どちらかを調整する前に、KV cache と prompt cache の違いを確認してください。
コンテキストが埋まるにつれて decode が遅くなるのはなぜですか?
理由は 2 つあります。どちらも KV cache に関係します。
1 つ目は帯域幅です。decode の各ステップで、attention はそれまでのすべてのトークンの key と value を読み取ります。重みのコストはトークンごとに一定です。一方、KV cache は増加します。サイズはモデルの config.json から計算できます。1 トークンあたりのバイト数は、2 に num_hidden_layers、num_key_value_heads、head dimension、要素あたりのバイト数を掛けた値です。設定に head_dim が記載されている場合はこれを使用します。記載されていない場合に限り、hidden_size を num_attention_heads で割った値を使用してください。モデルによっては、この 2 つを個別に設定しているためです。たとえば Mistral NeMo は width が 5,120、head 数が 32 ですが、head dimension は 160 ではなく 128 です。先頭の 2 は key 1 個と value 1 個を数えています。
一般的な 8 billion parameter 構成で、32 layers、GQA (grouped query attention) の 8 key and value heads、head dimension 128、16 bit precision の場合、2 x 32 x 8 x 128 x 2 = 131,072 bytes です。これはトークンあたり約 128 KiB です。8,000 トークンの会話では、1 リクエストあたり約 1 GB の KV cache が必要になります。
2 つ目は容量です。この 1 GB のメモリは、重みや別ユーザーのコンテキストには使用できません。サーバーは起動時に KV pool のサイズを一度だけ決定します。vLLM では --gpu-memory-utilization を使用します。pool が満杯になると、新しいリクエストは待機します。vllm:num_requests_waiting が上昇し、vllm:kv_cache_usage_perc が 1 近くに留まる場合は、この状態を正確に示しています。スタックによっては、キューに入れる代わりに実行中のリクエストを preempt し、後で cache を再計算します。この場合、ユーザーにはストリームの途中で停止したように見えます。
長いコンテキストには 2 重のコストがかかります。開始時の prefill 処理が増えることと、回答中の各トークンで読み取るメモリ量が増えることです。
バッチ処理でスループットが向上し、テールレイテンシが悪化するのはなぜですか?
decode は帯域幅がボトルネックになるため、追加リクエストによる計算側の負荷はほとんど増えません。重みを 1 回読み込むだけで、バッチ内の各シーケンスに 1 トークンずつ生成できます。そのため、KV プールが枯渇するか、バッチが大きくなって再び計算ボトルネックになるまで、総スループットはバッチサイズにほぼ比例して向上します。Continuous batching では各ステップでバッチを組み直すため、完了したリクエストが抜け、キューにあるリクエストが、ほかのリクエストを待たずに参加できます。
その代償はパーセンタイルに現れます。各ユーザーの次のトークンは、共有ステップ内で最も遅い処理が終わるまで待つことになります。そのため、p50、つまり中央値は許容範囲に収まっていても、p99、つまり 100 件中で最も遅い 1 件のレイテンシは伸びます。ユーザーが気付くのは p99 です。文章の途中で発生する停止時間だからです。
Prefill はこの影響をさらに強めます。ストリーム処理中に大きなプロンプトが到着すると、デバイスを 1 回の長いステップで占有するため、その時点でストリーミング中の全リクエストに間隔が生じます。Chunked prefill は、長いプロンプトを複数の断片に分割し、各断片を decode のバッチに混在させることで、この影響の大部分を取り除きます。2026 年 10 月時点で、vLLM V1 engine はこれをデフォルトで実行し、バランスを --max-num-batched-tokens で調整できます。vLLM のチューニングドキュメントでは、このトレードオフを明確に説明しています。2048 前後の小さい値では、decode に割り込む prefill が少なくなるため、inter token latency (ITL) が改善します。大きい値では、1 つのバッチにより多くの prefill トークンを含められるため、TTFT が改善します。この 1 つのフラグで、prefill と decode の比率を数値として調整できます。p99 が許容できなくなる境界はキャパシティの問題です。1 台の self-hosted LLM で同時に処理できるユーザー数では、同じメトリクスを使ってこの問題を検討します。
より大きな GPU に替えても、処理が速くならないことがあるのはなぜですか?
大きい GPU は通常、計算性能が高いことを意味します。しかし、decode で必要なのは計算性能ではありません。
上の表の2つの行を比較してください。A100 80GB の公称帯域幅は 2039 GB/s で、L40S は 864 GB/s です。decode の上限も正確に対応し、前者は毎秒 127 tokens、後者は 54 です。RTX 4090 は多くの指標で非常に高速なカードですが、1008 GB/s により、上限は 63 になります。2枚のカードで他の仕様が異なっていても、単一ストリームの decode 性能は仕様表のメモリ帯域幅に沿って変化します。
したがって、decode を高速化する方法は2つあります。token あたりに読み込むバイト数を減らす方法(重みを量子化する、または小さいモデルを使う)と、より帯域幅の大きい GPU を使う方法です。Prefill はこれと逆です。計算性能を必要とするため、高速な GPU であれば長いプロンプトの TTFT を実際に短縮できます。最初の token が出るまで4秒かかることが問題なら、より高性能なハードウェアで改善できる可能性があります。テキストの生成速度が遅いことが問題なら、改善できない可能性が高いです。
Prefill と decode を別々の worker で実行すべきですか?
大規模な serving stack では、まさにこの構成を採用しています。この手法は prefill and decode disaggregation と呼ばれます。1 つの worker pool は prefill のみを実行し、別の pool は decode のみを実行します。前者が構築した KV cache は、高速な interconnect を介して後者へ転送します。これは、各フェーズが異なるハードウェアとスケジューリングを必要とするため機能します。Prefill は計算性能と大きな token batch を必要とします。Decode は帯域幅と多数の同時実行 sequence を必要とします。分離すると、各 pool を個別にスケールできます。また、1 つの巨大な prompt によって、実行中のすべての stream が停止することも防げます。
1 台の GPU を搭載した単一の VPS (virtual private server) では、ほとんどの場合、実施する価値はありません。1 台のデバイスを自身に対して分割することになり、pointer の受け渡しを、数 GB の cache をネットワーク転送する処理に変えてしまいます。この手法の効果が出るのは、各フェーズ専用にマシン全体を割り当てられるだけの accelerator があり、両方の pool を継続的な traffic で稼働させられる場合です。それ未満の規模であれば、chunked prefill により、ほぼ同じ分離効果を 1 つの flag で得られます。
数値が悪い場合に変更する項目
TTFT が高すぎる場合:
- プロンプトを短くします。Prefill のコストはプロンプトのトークン数に応じて増加します。Prefix caching を使用しない場合、システムプロンプトのコストはリクエストごとに発生します。
- Prefix caching を有効にします。繰り返し使用する Prefix を毎回計算せず、1 回だけ計算できるようにします。
--max-num-batched-tokensを増やし、1 ステップでより多くの Prefill 処理を実行できるようにします。- モデルを原因と判断する前に、キューを確認します。
vllm:num_requests_waitingが zero より大きい場合、リクエストはまだ開始されていません。これは容量の問題です。
Tokens per second が低すぎる場合:
- 重みを量子化します。重みあたりのバイト数が少ないほど、トークンごとに読み取るデータ量も少なくなります。
- 使用しているカードの公開メモリ帯域幅を上記のグラフと比較し、上限にどの程度近いかを確認します。
--max-num-batched-tokensを下げ、Prefill によって Decode が中断される頻度を減らします。- コンテキスト長を確認します。会話が数千トークンまで増えると、各ステップで読み取る KV cache のサイズが大きくなります。
ここでは Runtime も重要です。Ollama と vLLM では Prefill と Decode のスケジューリング方法が異なるため、一方に有効な設定が他方では効果を示さないことがあります。まず両方のフェーズで測定し、その後に変更する項目を 1 つに絞ります。
FAQ
最初のトークンには数秒かかるのに、その後のストリーミングが速いのはなぜですか?
待ち時間は prefill で、ストリーミングは decode です。prefill では、出力が生成される前にプロンプト全体を compute bound な 1 回の処理で処理するため、コストはプロンプトの長さに応じて増加します。decode では 1 ステップごとに 1 トークンを出力します。速度はメモリ帯域幅で決まり、プロンプトの長さにはほとんど左右されません。通常の原因は、すべてのリクエストに長い system prompt を付けていることです。Prefix caching を使うと、この繰り返し部分のコストを削減できます。
プロンプトが長いと、1 秒あたりのトークン数は低下しますか?
少し低下します。ただし、TTFT とは別の理由です。decode の各ステップでは、過去のすべてのトークンの key と value を読み取るため、KV cache が大きいほど、トークンあたりの読み取りバイト数が増えます。一般的な 8 billion parameter の構成では、cache はトークンあたり約 128 KiB です。そのため、8,000 トークンのコンテキストでは、各ステップでおよそ 1 GB が読み取られます。長いプロンプトによる影響は、ストリーミング速度よりも TTFT に現れる場合が多くなります。
decode 速度を予測できる GPU の仕様はどれですか?
メモリ帯域幅です。公表されている帯域幅をメモリ上の重みのサイズで割ると、1 ストリームの理論上の上限が得られます。計算性能が高くても帯域幅が同じカードは、ストリーミング速度が速くなりません。これが、重みを 8 bits に量子化すると decode の上限がおよそ 2 倍になる理由でもあります。トークンあたりに読み取る重みのバイト数が半分になるためです。実測の向上幅は通常これより小さくなります。KV cache は本来のサイズのまま読み取る必要があり、一部の 8 bit 形式では activation の量子化など、トークンごとの処理も追加されるためです。
ユーザーを追加するとスループットは上がるのに、各ユーザーの体感速度が低下するのはなぜですか?
重みを 1 回読み取るだけで、バッチ内の各シーケンスのトークンを処理できます。そのため、バッチサイズが増えると合計の 1 秒あたりトークン数は増加します。一方、個々のトークンは共有ステップの完了を待つため、ユーザーごとのレイテンシは同時に増加します。集計スループットではなく p99 の inter token latency を監視し、vllm:num_requests_waiting を確認して、リクエストが実行中ではなくキューで待機していないかを調べてください。