SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-10-26

如何測量本機 LLM 的每秒 Token 數?

租用 GPU 只有在輸出吞吐量超過成本門檻時才比按 Token 計費划算。用並行數掃描正確測量 tokens per second,再做決策。

每秒 Token 數決定 GPU 是否划算

每秒 Token 數是伺服器產生輸出文字的速率,也是決定租用 GPU 是否比按 Token 支付 API 費用更便宜的數值。無論 GPU 伺服器忙碌或閒置,費用都按小時計算。託管 API 則按 Token 計費。因此,只有在付費的大部分時間內維持足夠高的輸出速率,GPU 才會更划算。

這表示你需要實際測量,而不是採用從其他地方讀到的數字。本頁定義值得記錄的 4 個數值,接著提供產生這些數值的指令,以及將它們換算成決策依據的計算方式。

為何公開的 tokens per second 數字不是你的實際數字

DigitalOcean 在 July 2026 公開了單張 NVIDIA H200 在 vLLM 下以 llama3.3-70b-instruct FP8(8-bit floating point)執行時的吞吐量數據。這些數據具有參考價值,但不代表你的實際數字。

圖表Published DigitalOcean H200 figures, llama3.3-70b-instruct FP8, July 2026
此圖表背後的資料
[
  {
    "config": "H200, one stream",
    "tok_s": "47"
  },
  {
    "config": "H100, saturated",
    "tok_s": "236"
  },
  {
    "config": "H200, saturated",
    "tok_s": "2,036"
  },
  {
    "config": "H200, saturated, in+out",
    "tok_s": "4,071.6"
  }
]

上方每一列都摘錄自該頁面,其中兩列是該頁所提供範圍的低端值,因此應將這兩列視為下限。本圖中的數據都不是我們測得的。

先看最後兩列。標題數字是 4,071.6 tok/s,但僅計算輸出的速率是 2,036 tok/s。標題數字同時計入輸入與輸出 tokens。該測試使用 1,024 個輸入 tokens 和 1,024 個輸出 tokens,因此標題數字幾乎有一半是輸出速率。這個拆分很重要,因為輸出是較慢的部分。Prefill(讀取 prompt)會在一次處理中完成所有輸入 tokens。Decode(產生答案)則一次產生一個 token。總吞吐量的標題數字,會將低成本的部分與高成本的部分平均計算。

再看第一列。同一張 H200 每次只服務一個請求時,速率為 47 tok/s,因此在相同硬體上的飽和吞吐量高出 40 倍以上。這個差距是因為單次 decode 步驟大部分時間都在等待 GPU 從記憶體讀取資料,而並行請求可以填補這段閒置時間。第二列的 236 tok/s 是相同模型在單張 H100 上的數據,但受到 KV cache(key and value cache,也就是服務中對話為每個請求保留在卡上的記憶體)限制。80 GB 的卡對 70B 模型可容納的並行請求較少,因此較早達到飽和。

更換模型,或調整輸入與輸出的比例,上述每個數字都會改變。公開數據可用來建立預期,但不能直接決定預算;這項原則同樣適用於在磁碟與網路方面誠實地對 VPS 進行基準測試。

影響最大的 4 個數值

  • 首個 token 的時間,TTFT。 從送出請求到收到第一個輸出 token 之間的延遲。這包括 prefill time 與 queue time。使用者會直接感受到這項數值。
  • 每個 stream 每秒輸出的 token 數。 回應開始後,單一回答的產生速度。超過約 20 tok/s 後,速度已高於多數人的閱讀速度,因此再提升這項數值,效益有限。
  • 滿載時的總輸出吞吐量。 伺服器完全載入時,所有並行 stream 的輸出總和。這是容量數值,也是直接影響 GPU 成本的數值。
  • 並行處理下的 p50 與 p99 TTFT。 p50 是中間請求的數值。p99 是 100 個請求中有 99 個低於此值的數值。佇列延遲通常會先反映在 p99。

伺服器負載較低時,前兩項通常較佳。伺服器負載較高時,第三項通常較佳。這些數值彼此牽制,因此無法用單一數值描述 serving box。

測量前先固定輸入與輸出長度

吞吐量取決於網路流量的組成。4,000 個 token 的提示搭配 50 個 token 的回答,屬於以 prefill 為主的工作。200 個 token 的提示搭配 2,000 個 token 的回答,則屬於以 decode 為主的工作。同一台伺服器在這兩種情況下回報的每秒 token 數會有很大差異。因此,請固定一種比例,將比例記在每個測量數值旁,且不要比較不同比例的結果。輸入 1,024、輸出 1,024 是合理的預設值,因為有數家廠商以此比例發布數據。如果你知道實際流量,請使用實際流量。

輸出長度也必須固定。模型在 60 個 token 後遇到 stop token 時,執行時間會比完整輸出短,因而無法與完整執行結果比較:TTFT 所占比例會變高,導致基準測試計算出的輸出吞吐量降低,即使每個請求較快完成。vLLM benchmark client 中的 --ignore-eos flag 會讓每個請求精確產生指定數量的 token,確保兩次執行結果可以比較。模型選擇對這些數值的影響大於任何 flag:將 Qwen 3 model 安裝在單一 VPS GPU 上 說明如何評估這項選擇的記憶體需求。

先測量單一串流

先從最簡單的情況開始。這是合理性檢查,也是上限。Ollama 會輸出自己的計時資訊。

ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."

要查看的欄位是 eval rate,代表每秒輸出的 token 數。prompt eval rate 是 prefill 速率,load duration 是將模型載入 VRAM 所花費的時間。冷啟動後的第一次呼叫中,load duration 會很大,因此 total duration 沒有代表性。請執行命令兩次,讀取第二次的結果。Ollama 預設會在模型閒置五分鐘後將其卸載,因此兩次執行之間若間隔太久,就會回到冷啟動情況。

API 也會提供相同欄位,而且更容易撰寫腳本。

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Write 200 words about disk scheduling.",
  "stream": false
}' | jq '{eval_count, eval_duration,
         tok_s: (.eval_count / (.eval_duration / 1000000000))}'

eval_duration 的單位是奈秒,因此除以 1,000,000,000 就能換算成秒。這項除法正是 Ollama API 文件對每秒 token 數所指定的計算方式。如果伺服器尚未啟動,使用 Ollama 在 VPS 上自架 LLM 說明了安裝程序與 systemd 服務單元。

TTFT 需要使用串流請求,curl 可以替你計算這段時間。

curl -s -o /dev/null -N \
  -w 'ttfb=%{time_starttransfer}s  total=%{time_total}s\n' \
  http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-8B",
       "messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
       "stream":true,"max_tokens":256}'

time_starttransfer 是回應本文第一個位元組抵達的時間點。對串流聊天完成請求而言,該位元組屬於第一個 server-sent event;它可能是第一個內容 token,也可能是在內容 token 之前傳送、只包含角色資訊的 delta。因此,請將這個數值視為近似的 TTFT,誤差約為一個 event。用它比較同一台伺服器上的兩次執行,準確度已經足夠。

單一串流的數據會從兩方面讓這台機器看起來優於實際情況。TTFT 此時是最佳值,因為你前面沒有其他佇列中的請求。每個串流的速率也是最佳值,因為整張卡只處理一個請求。這兩項數據都無法表示這台機器能承載多少工作量。

如何執行並行度掃描?

掃描會以逐步提高的並行度執行同一個固定工作負載,並記錄每個步驟的結果。vLLM 提供此用途的 client,而且使用 OpenAI API,因此也能對 Ollama 及其他相容於 OpenAI 的服務執行。

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/chat/completions \
  --model Qwen/Qwen3-8B \
  --dataset-name random \
  --random-input-len 1024 \
  --random-output-len 1024 \
  --ignore-eos \
  --num-prompts 160 \
  --max-concurrency 16 \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,99

--max-concurrency 會限制處於執行中的請求數量,也是要掃描的變數。--num-prompts 是送出的總請求數,因此應維持在並行度的約 10 倍,以取得穩定的平均值。摘要會列出 Output token throughput (tok/s): 和 Total token throughput (tok/s):,接著在 Time to First Token 標題下列出 Mean TTFT (ms):、Median TTFT (ms): 和 P99 TTFT (ms):。

該輸出沒有每個串流的速率,但只需再做一次除法即可取得。Mean TPOT (ms): 是第一個輸出 token 之後,每個輸出 token 的平均耗時,因此每個 token 25 ms 等於每個串流每秒 40 個 token。將輸出吞吐量除以並行度,也會得到相同結果。

接著以迴圈執行,並儲存每次執行的結果。

for C in 1 4 16 32 64 128; do
  vllm bench serve \
    --backend openai-chat \
    --base-url http://127.0.0.1:8000 \
    --endpoint /v1/chat/completions \
    --model Qwen/Qwen3-8B \
    --dataset-name random \
    --random-input-len 1024 \
    --random-output-len 1024 \
    --ignore-eos \
    --num-prompts $(( C * 10 )) \
    --max-concurrency "$C" \
    --percentile-metrics ttft,tpot,itl,e2el \
    --metric-percentiles 50,99 \
    --save-result --result-filename "sweep-c$C.json"
done
讀取已儲存的 JSON 檔案

每次執行都會寫入一個檔案,因此可以一次從所有檔案中取出所需欄位。

for f in sweep-c*.json; do
  jq -r --arg f "$f" \
    '[$f, .output_throughput, .total_token_throughput,
      .median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
done

output_throughput 是每秒輸出的 token 數。total_token_throughput 會將輸入 token 加回來,因此在 1:1 比例下,數值接近兩倍。即使沒有 --metric-percentiles,也會有 p99_ttft_ms,因為該旗標的預設值是 99。命令中的 50 只會在每個由 --percentile-metrics 命名的指標旁加入 p50_ttft_ms;這些指標原本都已提供 median_ttft_ms。要求未指定的百分位數(例如 .p90_ttft_ms)時,jq 會輸出 null。

實際上,並行度掃描會顯示什麼?

圖表Illustrative sweep shape: 8B model, one 24 GB GPU, 1024 in / 1024 out
此圖表背後的資料
[
  {
    "label": "1 stream",
    "per_stream_tok_s": 92,
    "total_tok_s": 92,
    "ttft_p50_ms": 48,
    "ttft_p99_ms": 61
  },
  {
    "label": "4 streams",
    "per_stream_tok_s": 88,
    "total_tok_s": 352,
    "ttft_p50_ms": 71,
    "ttft_p99_ms": 96
  },
  {
    "label": "16 streams",
    "per_stream_tok_s": 71,
    "total_tok_s": 1136,
    "ttft_p50_ms": 152,
    "ttft_p99_ms": 244
  },
  {
    "label": "32 streams",
    "per_stream_tok_s": 54,
    "total_tok_s": 1728,
    "ttft_p50_ms": 287,
    "ttft_p99_ms": 498
  },
  {
    "label": "64 streams",
    "per_stream_tok_s": 34,
    "total_tok_s": 2176,
    "ttft_p50_ms": 611,
    "ttft_p99_ms": 1240
  },
  {
    "label": "128 streams",
    "per_stream_tok_s": 18,
    "total_tok_s": 2304,
    "ttft_p50_ms": 1490,
    "ttft_p99_ms": 3820
  }
]

這 6 列資料,是在小型租用 GPU 主機上執行掃描時,依合理數量級呈現的結果範例。這些數據不是對您伺服器的測量值,也不是供應商提供的數據。請執行上方的迴圈,並替換成您自己的數據。

請觀察曲線形狀,因為可泛用的是形狀,而不是特定數值。在單一串流下,整台主機每秒產生 92 個 token,p99 TTFT 為 61 ms。在 128 streams 個串流下,總吞吐量達到每秒 2304 個 token,是前者的 25 倍;但每個個別串流降至每秒 18 個 token,p99 TTFT 則達到 3820 ms。總吞吐量上升,是因為 batching 將原本等待記憶體的閒置時間轉為有效工作。每個串流的速度下降,是因為相同的計算資源現在由多個串流共用。

最後一次加倍最能說明問題。從 64 個串流增加到 128 個串流時,總吞吐量只增加不到 6%,但 p99 TTFT 約增加為 3 倍。這表示請求正在排隊,而不是執行中;原因可能是 KV cache 已滿,也可能是伺服器達到 vLLM 的排程上限,例如 max_num_seqs。實用的操作點更早出現:在 32 個串流時,主機仍可達到每秒 1728 個 token,為峰值的 75%;每個串流的速度為每秒 54 個 token,p99 TTFT 為 498 ms。請將這個點回報為您的容量。曲線的峰值不是可用來服務使用者的數值。

Ollama 與 vLLM 衡量的不是同一件事

對預設的 Ollama 伺服器執行這組測試,總量幾乎不會變動。OLLAMA_NUM_PARALLEL 預設為 1,因此一次只會處理一個請求,其餘請求都會等待。佇列會使 p99 TTFT 上升,但總輸出量維持不變。在進行任何測量前,先提高這個值。

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=8"

使用 sudo systemctl restart ollama 重新啟動,然後確認模型仍能容納。每個平行插槽都會分配到自己的 context window,因此 Ollama 文件指出,4 個平行請求搭配 2K context 時,會分配 8K。插槽數提高到一定程度後,模型會超出 VRAM。檢查 ollama ps:如果 PROCESSOR 欄顯示類似 48%/52% CPU/GPU 的內容,表示部分模型位於 CPU 上。此時,隨著並行數增加,吞吐量會下降而不是上升。超過平行插槽數後,請求會排入佇列,最多可達 OLLAMA_MAX_QUEUE,預設為 512;超過此上限後,伺服器會回應 503。

vLLM 使用 continuous batching,因此會在插槽釋出後,將新請求加入執行中的批次。其曲線會持續上升,直到某項資源耗盡為止。通常是 KV cache,但設定的上限(例如 max_num_seqs)或 CPU 排程負載,也可能讓曲線更早趨於平坦。Ollama 的設計目標是單一模型、單台機器及低設定成本。因此,兩個引擎對同一組測試會給出不同結果,而這正是 Ollama 與 vLLM 作為服務引擎的比較 的主題。記錄每個數值是由哪個引擎及哪個版本產生。

量錯對象的 5 種方式

  • 用戶端距離太遠。 透過網際網路從筆記型電腦進行基準測試時,每次 TTFT 都會包含你的往返時間,因此量到的是家用網路的效能。請在與伺服器相同的區域執行用戶端。
  • 模型尚未暖機。 第一次請求需要載入權重;在 vLLM 上也可能需要執行圖捕捉。先傳送一批暖機請求,再捨棄結果。
  • 由前綴快取代為回應。 vLLM 預設啟用自動前綴快取,因此反覆傳送相同提示時,量到的是快取效能,而不是 prefill,TTFT 會降至實際值的一小部分。--dataset-name random 可避免這個問題,因為每個提示都不同。若要確認,請使用 --no-enable-prefix-caching 啟動伺服器。
  • 輸出內容太短。 使用 32-token 的回答時,TTFT 會主導每次請求,因此每秒 token 數實際上是在描述 prefill。請搭配合理的輸出長度使用 --ignore-eos。
  • 只回報 concurrency 1。 這會在表格中提供最理想的 TTFT;只有在實際請求從不重疊時,才適合作為成本計算的輸入。如果請求會重疊,成本取決於你在實際流量產生的 concurrency 下所能維持的 throughput,因此也應在該條件下進行測量。

將測得的數值轉化為決策

以實際流量達到的並發數為基準,取掃描顯示的輸出吞吐量,並與每 token 的價格比較。只有在有足夠請求重疊、能讓批次維持滿載時,這才是飽和吞吐量;一次只送出一個請求的工作負載,必須使用單一串流的速率。只要將每個輸出 token 所伴隨的輸入 token 計入價格,損益平衡點只需做一次除法:

cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600

以 DigitalOcean 2026 年 7 月的價格計算。其 H200 專用推論端點每小時為 $4.47,無伺服器 Llama 3.3 70B 的輸入與輸出價格均為每百萬 token $0.65。以上述 1:1 比例計算,每百萬個輸出 token 會伴隨一百萬個輸入 token,因此有效價格為每百萬個輸出 token $1.30。4.47 除以 1.30 約為每小時 3.44 百萬個輸出 token,再除以 3,600 秒,約為每秒 955 個輸出 token;若將輸入與輸出合計,則約為每秒 1,910 個 token。價格來自 DigitalOcean,除法則是我們的計算。2026 年 10 月 25 日查詢時,H200 端點仍為每小時 $4.47,但 DigitalOcean 已於 2026 年 8 月 18 日停止提供無伺服器 Llama 3.3 70B,並引導使用者改用 Llama 4 Maverick;後者的價格為每百萬個輸入 token $0.25,每百萬個輸出 token $0.87。這是不同的模型,因此必須先對它執行獨立掃描,比較才有意義。

決定結果的關鍵是「持續」。如果每天只在滿載時達到每秒 955 個輸出 token,且只持續 2 小時,就不能稱為持續每秒 955 個輸出 token,因為其餘 22 小時仍需付費。以 GPU Droplet 租用該 GPU 也不會降低門檻:2026 年 10 月 25 日,DigitalOcean 的 Droplet 價格表列出的 H200 隨用隨付價格為每小時 $4.47,與端點相同;而價格最低的 NVIDIA Droplet,包括每小時 $0.76 的 RTX 4000,以及每小時 $1.57 的 L40S 或 RTX 6000,容量都不足以使用 FP8 容納 70B 模型。因此,以上述數據來看,一台在滿載時每秒可產生 2,036 個輸出 token 的 H200,必須在付費的每個小時中平均維持峰值的約 47%,才能與輸入和輸出每百萬 token $0.65 的價格相當;低於此比例時,按 token 計費的方案較划算。通常使自架服務失去成本優勢的不是 token 速度太慢,而是 GPU 閒置時仍在計費。

因此,決策取決於兩項輸入。掃描會提供上限,流量模式則會決定實際取得該上限的比例。將兩者相乘,再前往 GPU VPS 與按 token 計費 API 的損益平衡比較,即可依照你的用量讀取結果。

FAQ

自架 LLM 的每秒 tokens 數多少才算理想?

這個問題有兩個答案,因為這項指標有兩種用途。若是供一個人閱讀輸出,每個串流每秒超過約 20 個輸出 tokens,就已經快於閱讀速度,再高也沒有幫助。若是考量成本,重要的是在實際負載下能持續維持的總輸出吞吐量;所謂理想值,就是足以達到損益平衡的數值。以輸入與輸出每百萬 tokens $0.65、主機每小時成本 $4.47 計算,依據 July 2026 的價格,在 1:1 比例下,損益平衡點約為每秒持續輸出 955 個 tokens。單一大型模型串流無法達到這個數值,因此才需要 batching。

為什麼我增加並行請求後,Ollama 的吞吐量仍維持不變?

OLLAMA_NUM_PARALLEL 預設為 1,因此伺服器會讓每個模型一次處理一個請求,其餘請求則排入佇列,最多到 OLLAMA_MAX_QUEUE(預設為 512)後回傳 503。總輸出量維持不變,但 p99 TTFT 持續上升;這表示問題出在佇列,而不是 GPU 已達到忙碌上限。請在 systemd drop-in 中設定此變數並重新啟動,然後檢查 ollama ps,因為每個平行工作槽都會使配置的 context 倍增,可能導致部分模型移至 CPU。

我應該測量 first token 的時間,還是每秒 tokens 數?

兩者都要測量,因為負載上升時,兩者的變化方向相反。TTFT 反映使用者的感受,而飽和狀態下的輸出吞吐量則會反映在帳單上。在每個並行數步驟記錄 p50 與 p99 TTFT,然後選擇 p99 TTFT 仍在可接受範圍內的最高並行數。將該點的吞吐量回報為容量,不要使用曲線最高點的最大值。

每秒 tokens 數越高,是否一定代表每個 token 的成本越低?

不一定。每個 token 的成本等於每小時價格除以主機在該小時實際產生的 tokens 數,因此快速但一天大多數時間都閒置的伺服器,每個 token 的成本仍然很高。決定因素是使用率,而不是峰值速度。也要注意單位:標示為總 token 吞吐量的數值包含輸入 tokens,因此在輸入與輸出為 1:1 的比例下,約為輸出速率的兩倍。若要比較的 API 同時對輸入與輸出 tokens 收費,請先分別計算兩者的價格,再進行比較。

這篇文章對您有幫助嗎?

#benchmarking#tokens-per-second#vllm#ollama#gpu-vps