SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-10-26

自架 LLM 為何 5 人同時使用就變慢?

Ollama 預設 OLLAMA_NUM_PARALLEL=1,5 位使用者中 4 位會排隊。了解 batching、KV cache、prefill、decode 與佇列深度,找出自架 LLM 的並行上限。

為什麼自架 LLM 在使用者增加時會變慢?

當自架 LLM 在 5 位使用者同時存取時發生停滯,通常是因為伺服器被設定為一次僅產生一個回覆,其餘四個請求則排隊等待。Ollama 的說明文件明確指出其預設值:OLLAMA_NUM_PARALLEL 為「每個模型同時處理的平行請求最大數量,預設值為 1」。系統並未故障,服務軟體確實能同時處理多個請求,但由於設定限制,五人中有四人必須排隊等待。

解決方案通常不是升級硬體,而是採用能將多個請求合併於同一次前向傳遞(forward pass)中處理的服務引擎,並確保有足夠的閒置記憶體來容納所有人的對話內容。這兩者缺一不可,而後者才是決定系統效能上限的關鍵。

每個請求必須經歷的兩個階段

Prefill 會一次讀取整個提示詞並建立注意力快取(attention cache)。由於所有提示詞 token 會同時通過模型,因此 prefill 是一次大型矩陣乘法,其效能受限於算術處理能力。隨後的 Decode 階段則會逐一輸出 token。每個 token 都需要將模型的完整權重重新從記憶體讀出,但針對該單一 token 進行的算術運算量極小。因此,Decode 階段受限於記憶體頻寬。

這種不對稱性正是批次處理(batching)有效的核心原因。若僅為單一使用者進行解碼,每個 token 需讀取約 5 GB 的權重,導致大部分算術運算單元處於閒置狀態。若加入第二個請求,引擎只需讀取相同的 5 GB 一次,即可同時計算出兩個 token。第二位使用者的額外耗時幾乎為零。若嚴格採取逐一處理請求的方式,將會浪費此優勢。

使用者感受取決於兩個指標。TTFT (time to first token) 為排隊等待時間加上 prefill 時間。ITL (inter-token latency) 為串流 token 之間的間隔,由 decode 階段決定。伺服器回應緩慢通常源於其中之一,且兩者的解決方案並不相同。在調整任何設定前,務必先釐清問題所在,而 分別測量 prefill 與 decode 的時間 即為判斷方法。

靜態批次處理會導致所有請求受限於最慢的回應

靜態批次處理(Static batching)屬於較原始的實作方式,若您在應用程式碼中自行分組請求,通常會遇到此問題。引擎會收集 N 個請求並同時執行,且必須保留所有插槽(slot),直到該批次中最長的生成任務完成為止。

當某位使用者請求 1,200 個 token 的摘要時,會導致另外四個單行回答被鎖定在該批次中,因為在最慢的任務完成前,批次不會釋放任何插槽。

這會產生兩項成本。已完成的序列會持續佔用無法進行有效運算的插槽,導致輸出長度不一時,整體有效吞吐量下降,而聊天輸出的長度通常差異極大。若某個請求在批次形成後才送達,則必須等待整個批次執行完畢才能開始預填充(prefill),這意味著該請求的首字延遲(TTFT)完全取決於他人請求的長度。

連續批次處理會在每個 token 產生後准入並移除請求

連續批次處理(Continuous batching)以單一解碼步驟為排程單位。每個步驟完成後,排程器會移除剛輸出停止 token 的序列,並將等待中的請求納入空出的槽位。若某個回應在第 40 步結束,該槽位會在第 40 步釋放,而非等待整批處理結束。

這並非罕見技術。llama-server 將 -cb, --cont-batching 記錄為「是否啟用連續批次處理(亦稱動態批次處理)(預設:啟用)」,並將「支援多使用者的平行解碼」列為其功能之一。自 2025 年 11 月合併的變更起,預設啟動時即配置 4 個槽位(-np 預設為 -1,即自動)。vLLM 的架構即圍繞此概念設計。Ollama 同樣支援平行請求服務。預設值僅將數量限制為 1,這就是為什麼許多人誤以為硬體無法處理並發,但實際上是設定檔限制了功能。

已發布的連續批次處理效能數據,通常是在具備閒置運算資源與數十 GB 快取空間的資料中心等級顯卡上測得。這些數據的效能趨勢適用於您的設備,但規模並不適用,原因請見下方的記憶體章節。

Prefill 與 decode 競爭相同的運算資源

當四個回覆正在串流傳輸時,若有新請求進入,其 prompt 必須先進行 prefill,而 prefill 非常消耗運算資源。如果排程器為該 prefill 分配獨立的步驟,則這四個正在串流的使用者將會在該期間無法收到任何 token。對於長 prompt 而言,這會導致每個開啟的視窗出現明顯停頓。這就是使用者所說的「當有人發送請求時,伺服器就會卡頓」的現象。

Chunked prefill 將長 prompt 分割成多個片段,並將每個片段與正在進行的 decode 混合在同一個步驟中執行。vLLM 的調校指南直接指出了其中的取捨:較小的 chunk budget 「能獲得更好的 ITL,因為減少了拖慢 decode 速度的 prefill 次數」,而較高的數值則「能獲得更好的 TTFT,因為可以在一個批次中處理更多的 prefill token」。您必須決定要優先保障哪一方的體驗:是等待回覆開始的人,還是正在觀看文字串流的人。

Prompt 長度決定了這種影響的嚴重程度。一個 6,000 個 token 的 prompt 搭配 200 個 token 的回答,意味著 6,000 個 token 的 prefill 工作量對比 200 個 decode 步驟。檢索增強生成 (RAG) 對話與長系統提示詞都會將您推向這種情況,此時 prefill 不再是可忽略的誤差,而成為使用者必須等待的瓶頸。當長的部分重複出現時,Prefix caching 有所幫助:vLLM 提供了 --enable-prefix-caching,它能重複使用共享 prompt 前綴的快取,而無需為每個請求重新計算。

最先耗盡的記憶體是 KV cache

每個活躍對話中的每個 token,都會在模型的每一層留下一個 key vector 與一個 value vector。這就是 KV cache (key/value cache),它讓解碼過程無須為每個新 token 重新計算整個 prompt。每個 token 的快取數值由模型架構決定:2 (一個 key,一個 value) 乘以層數,乘以 key/value head 的數量,再乘以 head dimension。從模型的 config.json 讀取這些數值。乘以每個數值佔用的位元組數即可得到大小,最後這個因子是執行時期的設定,而非模型的一部分:llama-server 預設以 f16 (2 bytes) 儲存快取,並支援較小的型別,例如 q8_0 到 -ctk 與 -ctv。

計算一次後,記憶體上限就不再是謎團。一個典型的 8B 模型具有 36 層、8 個 key/value head 以及 128 的 head dimension,以 16-bit 儲存快取,每個 token 的成本為 2 36 8 128 2 bytes。這等於 147,456 bytes,約為 144 KiB。因此,一個 8,192 token 的對話大約需要 1.2 GB 的快取。五個對話則需要約 6 GB,這還是在權重佔用的記憶體之外,這才是能容納多少使用者的真正答案。

並發會成倍增加上下文需求,工具說明也明確指出。Ollama 的 FAQ:「針對特定模型的平行請求處理,會導致上下文大小隨平行請求數量增加。例如,2K 上下文搭配 4 個平行請求,將導致 8K 上下文與額外的記憶體配置。」所需的 RAM 會隨 OLLAMA_NUM_PARALLEL 乘以 OLLAMA_CONTEXT_LENGTH 進行擴展。在 llama-server 中,預設的自動 slot 計數會在一個統一的 KV buffer 上執行所有 slot,因此整個 -c 上下文是一個單一的資源池,供各個 slot 提取使用。若自行設定 -np,則除非同時傳入 --kv-unified,否則統一 buffer 功能會關閉,此時透過 -c 要求的上下文會分配給 -np 個 slot,單獨增加 slot 數量會縮減每個請求能容納的空間。請從啟動日誌讀取每個 slot 的上下文大小,不要憑空臆測。

vLLM 則採用預先配置 (preallocate) 策略。--gpu-memory-utilization (預設 0.92) 是「用於模型執行器的 GPU 記憶體比例」。除非設定 --kv-cache-memory-bytes,否則 vLLM 會從該比例推算 KV cache 大小:在扣除權重與引擎分析出的工作記憶體後,剩餘的預算空間即成為 paged KV pool。當該資源池不足時,排程器會優先剔除請求而非讓其失敗:

WARNING 05-09 00:49:33 scheduler.py:1057] Sequence group 0 is preempted by PreemptionMode.RECOMPUTE mode because there is not enough KV cache space.

在 vLLM 的 V1 引擎中,預設的搶佔模式為 RECOMPUTE,因此被剔除的請求會丟棄其快取,並在重新進入時再次進行 prefill。這項工作會被執行兩次。文件警告「搶佔與重新計算可能會對端對端延遲產生負面影響」,而這行日誌是解釋為何某位倒楣的使用者等待時間遠長於其他人,但平均數據看起來卻很正常的最有力說明。設定 disable_log_stats=False 以記錄累計次數,或從 vLLM 暴露的 Prometheus 指標中讀取搶佔計數器。

當並發使用者數達到 2、5 與 20 時的變化

兩位使用者。 在具備充足快取空間的 GPU 上幾乎無感,因為第二個解碼串流會與第一個並行,僅增加極少的額外時間。但在僅有 4 到 8 GB RAM 的純 CPU VPS 上,這並非免費:兩個串流會共用相同的 vCPU 與 RAM 頻寬,因此每位使用者看到的每秒 Token 數(tokens per second)大約減半,且快取需求在極其有限的預算下翻倍。

五位使用者。 這是預設值不再足夠的臨界點,問題始於佇列。當 OLLAMA_NUM_PARALLEL 設為 1 時,四個人必須等待正在接收長回覆的使用者,一旦輪到他們,每個人都能獲得正常的處理速度。若提高並行數(parallel count),問題的性質就會改變:五個插槽各佔用 8K 上下文,意味著需要 40K 的 Token 快取空間。如果 VRAM 放不下,引擎會將層級卸載(offload)至系統 RAM;若 RAM 也放不下,系統就會開始 Swap,導致每秒 Token 數崩潰。

二十位使用者。 在聊天介面中,二十位使用者通常不代表二十個並發請求,這是購買硬體前最需要理解的事。使用者在回覆間隔通常會閱讀並思考 20 到 60 秒,因此大部分時間處於閒置狀態。但二十個代理程式(agent)或二十個文件摘要任務,則是二十個完全沒有閒置時間的真實串流。這需要完全不同等級的機器。若開發者將 編碼代理程式指向自己的 Ollama 伺服器,其情況會更接近後者,因為代理程式會在任務執行期間持續發送請求,不會像人類一樣有閱讀停頓。

您的使用者是同時在線,還是僅為登入狀態?

在進行任何規模評估前,請先計算處理中的請求數量。計算方式很簡單:處理中的請求數等於使用者人數,乘以每回合生成所需的秒數,再除以回合間隔的秒數。

  1. 先測量您自身的單串流速度,包含預填充(prefill)與解碼(decode)。請勿直接引用他人的數據:在您的機器上測量每秒 Token 數,並使用您測得的數值。
  2. 估算工作週期(duty cycle)。若有 20 位聊天使用者,每回合生成需 12 秒,每 90 秒進行一回合,則計算為 20 * 12 / 90,約等於 2.7 個處理中的請求。
  3. 將插槽(slot)數量設定為略高於此數值,接著與記憶體進行比對:插槽數量乘以每個請求的上下文長度,必須小於您實際擁有的快取 Token 容量。
  4. 保持佇列(queue)長度精簡,以便在溢出時能快速且明顯地失敗。

可用的快取 Token 數量,是指扣除權重後剩餘的可用記憶體,除以上述章節提到的每個 Token 所需成本。一張 24 GB 的顯示卡執行 16-bit 的 8B 模型時,約需 16 GB 用於權重,在預設使用率下最多僅剩約 6 GB 的可用快取;扣除工作記憶體後會更少,大約僅能容納五個 8K 長度的對話。若要容納更多,請縮短每個請求的上下文長度,或將快取儲存為 8-bit(llama-server 需使用 --cache-type-k q8_0)。兩者皆是以犧牲部分效能來換取並發能力,在投入硬體資金前,建議先閱讀此權衡的真實情況:GPU VPS 與 API Token 的損益平衡點。

Ollama 預設值不足時的處理方式

透過服務單元(service unit)提高並行處理數量,因為 shell 的 export 指令無法影響由 systemd 管理的 daemon。

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_QUEUE=64"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama ps

systemctl show 應顯示您剛設定的三個變數。若未顯示,表示 drop-in 設定檔未儲存成功,後續操作將無效。ollama ps 接著會列出已載入的模型,其大小會大於權重本身,因為 4 個槽位(每個 8,192 tokens)會在旁邊預留 32,768 tokens 的快取空間。若 PROCESSOR 欄位顯示部分模型位於 CPU,而您預期應全數在 GPU 上執行,代表您要求的快取空間超過了顯示卡剩餘記憶體。請調降這兩個數值中的其中一個。通常縮減 context 較為安全,但若視窗過小,系統會默默截斷長提示詞(prompt)而非報錯,因此建議 審慎設定 num_ctx,而非僅是為了讓模型塞入而盲目調降。

佇列預設值值得重新檢視。Ollama 最多可佇列 OLLAMA_MAX_QUEUE 個請求,且「預設值為 512」。超過此數值後,伺服器會回應「503 錯誤,表示伺服器負載過重」。在一個同時僅能處理 4 個請求的機器上設定 512 的深度,是一個無法兌現的承諾,因為排在第 300 位的客戶端在輪到它之前就會逾時。較短的佇列能回傳錯誤,讓您的應用程式進行重試或回報,這比永遠不會結束的載入轉圈更有效。

進行實際測試。從兩個終端機同時發送請求並觀察兩者。若第二個請求在第一個完成前完全沒有反應,代表並行設定未生效。

讓真正的推理引擎開始物有所值

當 GPU 還有餘裕,且實際同時處理的請求大致超過 four 個時,vLLM 的額外設定成本才值得。它以 token 為單位進行排程,並將快取分頁,重新利用可用的零碎區塊。這能把閒置的 VRAM 轉換成並行處理能力,而不是任其閒置。截至 October 2026,文件所述的 GPU 安裝與啟動只需 three 個命令。vllm download-kernels 會擷取預先編譯的核心程式;否則 vLLM 會在啟動時下載並編譯這些核心程式:

uv pip install vllm --torch-backend=auto
vllm download-kernels
vllm serve Qwen/Qwen2.5-1.5B-Instruct
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen2.5-1.5B-Instruct",
        "messages": [{"role": "user", "content": "Say hello."}]
    }'

若回應包含 choices 陣列,表示伺服器已啟動且模型已載入。在負載下,最重要的是 two 個參數:--max-num-seqs,即「單次反覆運算可處理的序列數上限」;以及 --max-num-batched-tokens,即「單次反覆運算可處理的 token 數上限」。前者限制並行數。後者是前文所述的分塊預填充預算。

當同時處理的請求少於約 four 個時,vLLM 會增加複雜度,但效益有限。此時不再需要 GPU:截至 October 2026,CPU 安裝指南已記載可在 x86 與 Arm CPU 上進行「基本模型推論與服務」,並從 version 0.17.0 起提供預先建置的 x86 wheels,以及 CPU Docker image。不過,它的記憶體使用方式也會一併保留。在 CPU 上,它同樣會將系統 RAM 的 0.92 用量比例分配給模型,並把權重使用後的剩餘記憶體提供給 KV cache。因此,除非使用 --kv-cache-memory-bytes 限制快取,否則預設會在啟動時佔用該機器大部分的記憶體。對 4 to 8 GB VPS 而言,這不是適當的取捨。此時應改用較小的模型、較短的 context,以及由你控制的佇列。Ollama 與 vLLM 作為服務引擎的差異 完整說明這項選擇;在 VPS 上執行 Qwen 3 8B 則展示在增加第一位額外使用者前,中型模型需要哪些資源。

民間傳說隱藏的權衡

Continuous batching 能提升總吞吐量,通常也能改善中位數延遲,因為排隊的請求能更早開始處理。然而,尾端延遲(tail latency)的變化卻截然不同,且這部分鮮少被提及。

在處理步驟中,每增加一個序列都會產生額外負擔,因此隨著批次填滿,所有使用者的 ITL 都會上升。新進請求的 prefill 會佔用串流使用者原本可享有的處理時間。在快取壓力下,排程器會執行搶佔(preempt),這會導致生成到一半的請求被迫回到 prefill 起點。

聊天介面呈現的是尾端延遲而非平均值。若串流在句子中間停頓兩秒,即使總完成時間尚可,使用者仍會認為服務故障。請在預期負載下測量 p95 TTFT 與 p95 ITL,並將每秒平均 token 數視為容量指標,而非使用者體驗的描述。

實務設定應由此導出。將並發數限制在記憶體允許範圍之下,確保引擎無需執行搶佔。短而可預測的佇列優於會導致抖動(thrash)的深層批次;因為等待四秒後能流暢串流的使用者,滿意度高於立即開始卻中途停頓兩次的使用者。

當效能緩慢時的檢查項目

個別使用者正常,但等待時間過長。 這屬於佇列問題,而非速度問題。請先檢查平行處理設定。模型目前運作正常,但一次僅能處理一個請求。

收到來自 Ollama 的 HTTP 503 錯誤。 代表佇列已滿。伺服器可能已達負載上限,或是 OLLAMA_MAX_QUEUE 被刻意設為較低值以進行負載卸載,這正是預期的行為。

在 CPU 伺服器上負載過高時,每秒生成 Token 數(TPS)崩潰。 請在發生時執行 vmstat 1。若 si 與 so 欄位出現非零數值,代表系統正在進行 Swap,導致每個 Token 都必須從磁碟讀取權重。任何設定調整都無法解決此問題,請縮減模型大小或減少槽位(slot)數量。

十位使用者中有一位等待時間遠長於其他人。 請在 vLLM 日誌中搜尋 preempted。通常原因是搶佔(preemption)與後續的重新計算,這代表快取對於您允許的上下文長度而言已過度分配。

即使伺服器閒置,TTFT(首字延遲)依然很差。 這屬於預填充(prefill)問題,而非併發問題。長提示詞在出現第一個 Token 前需要實際運算時間,因此在檢查硬體前,請先檢視提示詞長度與前綴快取(prefix caching)。若長等待僅發生在一段閒置後的首位使用者,且後續使用者皆正常,這並非預填充問題,而是 Ollama 卸載了模型並重新從磁碟讀取權重。建議透過 在請求間保持模型常駐 來排除此狀況。

FAQ

為什麼當第二個人使用時,我的自架 LLM 會變慢?

通常並非變慢,而是進入佇列。Ollama 預設將 OLLAMA_NUM_PARALLEL 設為 1,因此第二個請求必須等待第一個請求輸出最後一個 token 後才能開始。若要區分這兩種情況,請在另一位使用者等待時測量其中一人的串流速度:如果他們開始後的每秒 token 數(tokens per second)正常,代表是佇列問題,調高平行處理數量即可解決。如果兩個串流的速度都減半,則代表確實是在共享記憶體頻寬,這是硬體限制。

一張小型 GPU 能服務多少併發使用者?

請計算記憶體,而非使用者人數。優先計算權重,接著是 KV cache。其計算方式為:2 × 層數 × key/value heads × head dimension × 位元組,針對每個 token 與每個活躍對話計算。以常見的 8B 模型為例,具備 36 層、8 個 key/value heads 及 128 的 head dimension,在 16-bit 下每個 token 約需 144 KiB,因此 8,192 個 token 的對話約需 1.2 GB。一張 24 GB 的顯示卡在載入該模型後,剩餘約 6 GB 可用於 cache,這大約能支撐 5 個完整上下文的對話,若縮短上下文則可容納更多。

連續批次處理(continuous batching)會讓每個使用者的回覆變慢嗎?

中位數延遲通常會改善,因為請求不再需要等待整批處理完成。但尾端延遲(tail latency)會變差。每個額外的序列都會增加解碼步驟的負擔,新進請求的預填充(prefill)會佔用串流使用者的部分處理步驟,且被搶佔的請求必須進行兩次預填充。請測量 p95 的 token 間延遲(inter-token latency)而非平均值,因為聊天視窗中的停頓在平均值中會被掩蓋,但使用者感受卻很明顯。

我應該調高 OLLAMA_NUM_PARALLEL 還是改用 vLLM?

請先調高平行處理數量。這項操作免費且只需一個設定檔,能解決四個人排隊等待一個長回覆的常見問題。記憶體是限制因素:平行請求會成倍增加所需的上下文空間,請留意是否有層數溢出到 CPU。當您擁有充足的 VRAM 且同時有超過四個請求在執行時,再考慮改用 vLLM,因為此時分頁快取(paged cache)與逐 token 排程帶來的效益才會超過其成本。

增加 CPU 核心數能修復緩慢的 LLM 伺服器嗎?

對於使用者最有感的環節並無幫助。解碼過程需為每個 token 從記憶體讀取整個模型,因此受限於 RAM 頻寬,一旦頻寬飽和,增加核心數也無濟於事。預填充(prefill)確實會隨核心數擴展,因此增加核心數能縮短長提示詞(prompt)的首個 token 產生時間。在 4 到 8 GB 的 VPS 上,主要的限制通常是記憶體容量,有效的解決方案是使用較小的模型或縮短上下文,而非增加 vCPU。

這篇文章對您有幫助嗎?