Ollama 量化怎麼選?q4_K_M、q8_0 與 fp16 比較
用算式比較 Ollama 的 q4_K_M、q8_0 與 fp16:估算 RAM 成本、下載檔案大小與速度,並找出 4 位元量化實際犧牲多少回答品質。
Ollama 量化的變化
Ollama 量化會以少於模型訓練時檔案所使用的位元數,儲存模型中的每個權重。結尾為 q4_K_M 的標籤,每個權重約使用 4 個位元;fp16 則使用 16 個位元。因此,下載檔案的大小約為三分之一,而機器為產生每個 token 所讀取的位元組數也約為三分之一。權重會被四捨五入至較粗略的格點,而不是直接捨棄;對大多數模型而言,使用 4 位元時,回答方式仍接近完整精度。
這就是完整的取捨:大幅降低記憶體占用,並提高每秒產生的 token 數量,但準確度會小幅下降。以下說明如何在下載檔案前,針對特定模型與特定主機,預估這兩方面的影響,避免花費二十分鐘下載一個無法載入的檔案。
如果 Ollama 尚未執行,請先參閱在 VPS 上安裝 Ollama。本頁假設 ollama ls 已可正常運作。
如何讀取 Ollama 量化標籤,例如 q4_K_M
本機模型會以 GGUF 檔案提供。這是 llama.cpp 在磁碟上儲存權重所使用的格式。Ollama 建立在 llama.cpp 之上,因此 Ollama 標籤會原樣採用 llama.cpp 的量化名稱。
數字代表目標位元寬度。 q4 表示大多數權重張量各以 4 位元封裝。q8 表示 8 位元。fp16 完全未經量化:這是採用 16 位元浮點數的模型,也是大多數模型發布時使用的精度。
K 表示 K-quant。 權重會分成小型區塊,每個區塊都會在封裝值旁儲存自己的縮放值。若某個區塊的權重都接近 0.01,便會使用細緻的縮放值。若某個區塊包含一個較大的離群值,則會使用較粗略的縮放值。這些區塊級縮放值讓 4 位元檔案仍可用,也是 4 位元檔案永遠不會真正達到每個權重 4 位元的原因。
最後一個字母代表混合方式。 S、M 與 L 決定有多少張量會提升至高於目標位元寬度。在 q4_K_M 中,四捨五入後影響最大的張量會以較寬的格式儲存,其餘大部分仍維持 4 位元。因此,q4_K_M 的輸出品質比舊版 q4_0 更好,而檔案大小幾乎相同。
請直接詢問 Ollama 磁碟上有哪些內容,不要根據輸入的名稱猜測:
ollama pull qwen3:8b-q4_K_M
ollama show qwen3:8b-q4_K_Mollama show 會列出 architecture、parameters、quantization、context length 與 embedding length。對於幾個月前拉取、如今已不記得當時選擇哪個版本的模型,quantization 行才是實際依據。
每個權重的位元數決定檔案大小
所有大小估算都從一個數字開始:格式平均在整個檔案中,為每個權重使用多少位元。llama.cpp 在其 quantize 文件中發布了 Llama 3.1 8B 的實測數據,對於形狀相近的任何 dense model,這些數據也有良好的參考價值。
此圖表背後的資料
[
{
"label": "F16",
"bits_per_weight": 16,
"file_gib": 14.96
},
{
"label": "Q8_0",
"bits_per_weight": 8.5,
"file_gib": 7.95
},
{
"label": "Q6_K",
"bits_per_weight": 6.56,
"file_gib": 6.14
},
{
"label": "Q5_K_M",
"bits_per_weight": 5.7,
"file_gib": 5.33
},
{
"label": "Q4_K_M",
"bits_per_weight": 4.89,
"file_gib": 4.58
},
{
"label": "Q3_K_M",
"bits_per_weight": 3.99,
"file_gib": 3.74
}
]表格中令人意外的是第二欄。Q4_K_M 並不是每個權重 4 個位元。它實際測得為 4.89 個位元,因為區塊縮放值和提升精度的張量都會實際佔用空間。基於相同原因,Q8_0 實際測得為 8.5 個位元,而不是 8 個位元。使用實測數值計算,結果會與實際檔案大小相差幾個百分點以內:
weight bytes = parameter count x bits per weight / 8
8.03e9 params x 4.89 bits / 8 = 4.91e9 bytes = 4.57 GiB這就是從兩個數字推算出的 4.58 GiB Q4_K_M 檔案。這個數字也約等於載入後權重所佔用的記憶體。Ollama 載入時不會解包任何內容:量化權重會以相同的封裝格式留在記憶體中,使用每個區塊時才會進行轉換。
Ollama 實際為各模型大小提供的內容
對大多數系列而言,模型庫會提供 q4_K_M、q8_0 與 fp16 標籤。少數較新的系列不符合這個模式,只會在模型庫中顯示為僅限雲端的標籤,無論大小都沒有可供下載的內容;當你 嘗試在 VPS 上執行 GLM 5.2 時,就會遇到這個限制。以下是截至 October 2026 的 Qwen3 大小,資料取自模型頁面的標籤清單。以下所有數值都是尚未載入 RAM 前的磁碟用量,其中兩或三個模型就可能填滿小型 VPS 的 root volume。因此,在開始收集標籤前,先了解 Ollama 儲存下載模型的位置 很重要。
此圖表背後的資料
[
{
"label": "Qwen3 4B",
"q4_K_M_gb": 2.6,
"q8_0_gb": 4.4,
"fp16_gb": 8.1
},
{
"label": "Qwen3 8B",
"q4_K_M_gb": 5.2,
"q8_0_gb": 8.9,
"fp16_gb": 16
},
{
"label": "Qwen3 14B",
"q4_K_M_gb": 9.3,
"q8_0_gb": 16,
"fp16_gb": 30
},
{
"label": "Qwen3 32B",
"q4_K_M_gb": 20,
"q8_0_gb": 35,
"fp16_gb": 66
}
]這裡的預設標籤很重要。ollama pull qwen3:8b 下載的大小與 ollama pull qwen3:8b-q4_K_M 完全相同,都是 5.2 GB,因為未加後綴的標籤本身就是 q4_K_M build。Q4_K_M 並不是模型庫勉強提供的折衷方案,而是上游選定的預設版本。因此,對於尚未自行測試的模型,先採用相同版本是合理的做法。在 VPS 上執行 Qwen 3 時,標籤選擇也是基於相同原則。
這些比例適用於每一列。從 q4_K_M 改用 q8_0,容量約增加 70%,而不是正好增加一倍,因為 embedding 與輸出張量的縮放方式和其他張量不同。fp16 約是 q4_K_M 的 3 倍。32B 模型使用 q4_K_M 時,權重就有 20 GB,這已經超過 16 GB 主機在保留任何 context window 的情況下所能容納的容量。若要更完整地了解哪些模型適合哪些機器,請參閱 可以自行託管的模型。
KV cache 為何是第二項、且取決於上下文的成本
權重是固定成本。KV cache(key 和 value cache)則是可變成本。上下文視窗中的每個 token,都會在每一層保留其 key 和 value 向量,因此 cache 會隨允許的視窗大小線性增加。模型載入時,系統會為整個視窗配置記憶體,而不是等對話逐步填滿後才配置。這就是為什麼即使提示只有一個字,較長的視窗仍會占用記憶體。
KV bytes per token = 2 (key and value) x layers x kv_heads x head_dim x bytes_per_element
Qwen3 8B at f16: 2 x 36 x 8 x 128 x 2 = 147456 bytes = 144 KiB per token這些模型數值來自模型本身的設定:36 層、8 個 key/value heads,以及 128 的 head dimension。ollama show 提供架構與參數數量,模型在 Hugging Face 上的 config.json 則提供其餘資訊。將每個 token 的成本乘以視窗大小後,cache 的占用就不再只是四捨五入誤差。
此圖表背後的資料
[
{
"label": "4k",
"kv_cache_gb": 0.6,
"floor_ram_gb": 5.8
},
{
"label": "8k",
"kv_cache_gb": 1.21,
"floor_ram_gb": 6.4
},
{
"label": "16k",
"kv_cache_gb": 2.42,
"floor_ram_gb": 7.6
},
{
"label": "32k",
"kv_cache_gb": 4.83,
"floor_ram_gb": 10
}
]在 4096 tokens 下,這是 Ollama 在 VRAM 少於 24 GiB 時採用的預設視窗(僅使用 CPU 的 VPS 也包括在內),cache 會在權重之外再增加 0.6 GB。將視窗提高到 32k 後,光是 cache 就會達到 4.83 GB,幾乎與量化後的權重占用相同記憶體,整個模型的最低需求也會變成 10 GB。這裡稱為最低需求,是因為運算緩衝區與作業系統還會額外占用記憶體。模型載入後,請從 SIZE 的 ollama ps 欄讀取實際數值。在具備 24 至 48 GiB VRAM 的 GPU 上,預設視窗為 32k;從 48 GiB 起則為 256k。因此,使用大型顯示卡時不要假設數值是 4k。
以服務方式執行 Ollama 時,視窗是在伺服器上設定,而不是針對每個請求設定:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve若是以 systemd 安裝,請改放在 drop-in 中:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"使用 sudo systemctl restart ollama 重新啟動,然後檢查 ollama ps 的 CONTEXT 欄,以確認執行中的模型實際載入的視窗大小。OLLAMA_KV_CACHE_TYPE 會量化 cache 本身:f16 是預設值,q8_0 的記憶體用量約為 f16 的一半,而 q4_0 約為其四分之一。這是全域選項,因此該伺服器上的每個模型都會套用相同設定。只有啟用 Flash Attention 時,cache quantization 才會生效。Ollama 會在後端支援時自動啟用 Flash Attention,而 OLLAMA_FLASH_ATTENTION=1 可強制啟用。對於視窗較長的小型主機,將 cache 減半所釋放的記憶體,會多於任何其他單一變更。若要在正式採用前確認節省的容量,將 KV cache 從 f16 切換為 q8_0 會說明這項設定,以及模型重新載入後 ollama ps 的下降幅度。設定 num_ctx 及其成本 會詳細說明視窗本身。Cache 也會針對每個並行請求 slot 各配置一次,而不是每台伺服器配置一次。因此,若讓 Ollama 同時處理兩個提示,剛才估算的數值就會加倍;這也是 選擇並行 slot 數量與佇列上限 背後的計算方式。
8、16 或 32 GB VPS 適合執行的模型
預留 Budget weights、KV cache,以及作業系統和其他執行中項目的記憶體空間。在小型 VPS 上,預留 2 GB 通常足夠。
8 GB。 4B 模型使用 q4_K_M 時需要 2.6 GB,並可為較長的 context window 留出空間。8B 模型使用 q4_K_M 時,搭配預設的 4k window 可以執行,但幾乎沒有餘裕。不要在這裡規劃 8B 搭配 32k window,因為 10 GB 的最低需求已經超過此 VPS 的容量。
16 GB。 8B 使用 q4_K_M,搭配 16k 或 32k window 時有足夠餘裕。14B 使用 q4_K_M 時,權重需要 9.3 GB,搭配中等大小的 window 也能執行。8B 使用 q8_0 時需要 8.9 GB,因此同樣能執行。用自己的提示詞比較這兩種設定,是你在這個主題上最值得投入的一小時。
32 GB。 14B 使用 q8_0(16 GB)以及 32B 使用 q4_K_M(20 GB)都能載入。32B 版本搭配較大的 window 時會接近記憶體上限,因此請監控 ollama ps,不要直接假設一定能執行。
哪種量化會先造成劣化
量化誤差不會平均影響模型的所有能力。流暢度通常維持最久,這正是損害容易被忽略的原因:嚴重量化的模型仍能寫出通順的句子。精確度會先下降,例如正確回憶版本號、API 簽章或日期的能力。長篇推理也會受影響,因為第 2 步的小錯誤可能在第 8 步導致錯誤答案。嚴格的輸出格式同樣容易出錯,例如少一個括號就會使工具呼叫失敗。
最後一項是最實用的測試。模型必須回傳由程式解析的 JSON 時,量化損害會表現為解析錯誤,而不是模糊的文句品質下降,因此你可以在同一天察覺。Coding agent 是這項測試中最嚴格的版本,因為它會連續驅動模型進行工具呼叫。因此,將 agent 指向你的 Ollama 伺服器,通常在一個下午內就能發現過度積極的量化。
低於 4 bits 後,品質損失會明顯增加。q3 與 2 bit 類型是為了將大型模型壓縮到小型硬體上的使用者而存在;如果替代方案是完全無法執行模型,這些類型確實可行。但它們不適合作為預設選項。q4_K_M 與 q8_0 之間的差距很小,公開的 perplexity 表格無法替你的工作負載做出決定,因此不要用這種方式判斷。請使用你自己的 30 個提示,分別執行兩者並閱讀輸出。
q8_0 或 fp16 何時值得使用記憶體
當記憶體確實有餘裕,且任務無法容忍小錯誤時,才使用 q8_0:例如結構化擷取、工具呼叫,以及必須通過編譯的程式碼。在這些情況下,這是在購買保險,而不是換取明顯更聰明的模型。
使用 fp16 只有兩個理由。第一,您要自行量化模型,且需要來源檔案。第二,您要測量基準,藉此了解 4-bit 建置版本犧牲了多少效能。使用 fp16 提供服務所需的記憶體是 q4_K_M 的 3 倍,但差異多數人無法在盲測中辨認;在僅配備 CPU 的主機上,token 速率也會降至三分之一。
在固定記憶體預算下,更可靠的規則是:q4_K_M 的較大型模型通常勝過 q8_0 的較小型模型。14B 權重需要 9.3 GB,8B 權重需要 8.9 GB,兩者的 RAM(random access memory)幾乎相同,而較大型模型掌握的資訊更多。請使用自己的提示進行測試,不要直接接受這項說法。
CPU 僅執行推論時會受記憶體頻寬限制
大多數 VPS 方案沒有 GPU,因此模型會在主機 CPU 的系統記憶體中執行。此時生成速度受記憶體頻寬限制,而不是算術運算能力限制,因為每生成一個 token,都必須讀取所有權重一次。這會形成一個與購買的核心數無關的上限。
tokens per second ceiling = memory bandwidth / bytes read per token
50 GB/s / 5.2 GB = 9.6 tokens/s qwen3 8B q4_K_M
50 GB/s / 8.9 GB = 5.6 tokens/s qwen3 8B q8_0
50 GB/s / 16 GB = 3.1 tokens/s qwen3 8B fp16對雙通道 DDR4-3200 主機而言,50 GB/s 大致是理論數值。你實際能分到的頻寬更少,因為 VPS 會與主機上的其他租戶共用同一條記憶體匯流排。因此,應將這些數字視為無人能達到的上限。真正有用的是其趨勢:在 CPU 上,將每個權重的位元數減半,token 速率大致會加倍。對沒有 GPU 的主機而言,量化是可用的最大速度調整手段。剩餘速率是否可接受,取決於模型;VPS 上的 Nemotron 3.5 Lightning 以一個特定的建置、標籤和 RAM 數值,完整示範了這項計算的結果。等待時間的另一半取決於模型決定輸出的長度,因為以每秒 10 個 token 的速度生成 600 個 token 的答案,會耗時整整 1 分鐘。因此,使用 num_predict 限制回覆長度 通常比再降低一級精度,更能縮短等待時間。
Prompt 處理的情況不同。讀取長 prompt 主要受計算能力限制,而不是記憶體頻寬限制,因此增加核心數有助於處理 prompt,卻幾乎不會提升生成速度。主機能快速讀取 4k prompt,接著以較慢速度生成內容,這是正常現象。
不要直接相信任何計算結果。使用相同的 prompt,在每個量化設定下,以自己的主機測量每秒 token 數,並以你的實測數據取代這些數字。
自行量化模型
如果您完成了微調,但沒有可用的 library tag,這項資訊就很重要。具體作法取決於最終要使用的格式,因為 Ollama 已不再產生本頁測量的 GGUF K-quants。
若要使用 q4_K_M 這類 K-quant,請在 Ollama 讀取檔案前完成量化。 Ollama 匯入期間不會量化 GGUF 模型,而且會拒絕 GGUF 來源上的 --quantize。請使用 llama.cpp 的 llama-quantize 量化未量化的 GGUF,然後匯入完成的檔案。這條匯入流程本身也有一個問題:chat template 不相符會導致模型回覆亂碼,將 GGUF 檔案匯入 Ollama 會逐步說明如何處理。ollama show 的 quantization 行可用來確認匯入的檔案就是您預期的 build。
Ollama 自有的 --quantize 僅適用於 safetensors 匯入。 將 Modelfile 指向存放未量化 safetensors 權重的目錄:
FROM /path/to/safetensors/directory接著進行 build:
ollama create --quantize int4 mymodel截至 Ollama v0.40.2(於 2026-10-11 檢查),--quantize 接受 int4、int8、nvfp4、mxfp4 和 mxfp8;其中 q4 與 q8(以及 fp4 與 fp8)會視為 int4 和 int8 的別名。q4_K_M、q4_K_S、q8_0、q6_K 和 q5_K_M 等 GGUF 名稱會遭拒,並產生 unsupported quantize type 錯誤。這些類型不是上方表格中的 GGUF K-quants,因此不要將本頁的每權重位元數與檔案大小數值,當成這些類型的預測值。
發生問題時會看到的現象
預期使用 GPU,但所有工作都在 CPU 上執行。 查看 PROCESSOR 欄:
ollama ps輸出會顯示 100% GPU、100% CPU,或顯示類似 48%/52% CPU/GPU 的分割配置。分割表示權重加上 KV cache 無法全部放入 VRAM(視訊記憶體,即顯示卡上的記憶體),因此部分模型被放置在系統記憶體中。速度會降至接近僅使用 CPU 的速率,因為每個 token 都必須等待速度較慢的部分。請縮小 context window、量化 cache,或改用較小的 build。增加 CPU 核心數沒有幫助。
模型在載入時被終止。 檢查 kernel 與服務日誌:
sudo dmesg -T | grep -i "out of memory"
sudo journalctl -u ollama -n 50包含 Out of memory: Killed process 的行表示權重、KV cache 與緩衝區的總量超過了該主機的記憶體容量。若 VPS 未設定 swap,整台機器可能會先停頓數秒,之後才出現該行。
回答品質變差,但你沒有變更任何設定。 同一模型的兩個 build 可能在 ollama ls 中以不同 tag 並存,而會拉取未加後綴名稱的 script,會跟隨 library 目前指向的版本。請對 client 要求的確切 tag 執行 ollama show,並讀取 quantization 行,不要只相信設定檔中的名稱。
FAQ
我應該拉取哪個 Ollama 量化版本?
先從 q4_K_M 開始。對大多數模型而言,Ollama library 將它作為預設標籤發布,因此 ollama pull qwen3:8b 與 ollama pull qwen3:8b-q4_K_M 會取得相同檔案。只有在記憶體有餘裕,且工作對小錯誤很敏感時,才改用 q8_0,例如工具呼叫或結構化 JSON 輸出。記憶體預算固定時,q4_K_M 的較大模型通常勝過 q8_0 的較小模型,因此先測試這個組合,再考慮將 RAM 用於提高精度。
q4_K_M 真的代表每個權重 4 位元嗎?
不是。在 Llama 3.1 8B 上測得為每個權重 4.89 位元,因為每個權重區塊都會儲存自己的 scale,且最敏感的張量會提升為較寬的型別。基於相同原因,Q8_0 測得為 8.5 位元,而不是 8 位元。估算時應使用測得的數值:參數數量乘以每個權重的位元數,再除以 8,即可得到以 bytes 為單位的檔案大小。
僅使用 CPU 的 VPS 執行 8B 模型需要多少 RAM?
請加總權重、KV cache 與預留空間。Qwen3 8B 使用 q4_K_M 時,權重為 5.2 GB。在預設的 4096 token 視窗下,cache 會增加 0.6 GB,因此在加入運算緩衝區與作業系統需求前,最低約需 5.8 GB。在 32k 視窗下,僅 cache 就需要 4.83 GB。短視窗請預留 8 GB;若要使用長視窗,請預留 16 GB。
為什麼主機有 GPU,但我的模型仍使用 100% CPU?
執行 ollama ps,並查看 PROCESSOR 欄。100% CPU 或 48%/52% CPU/GPU 這類分割配置表示權重加上 KV cache 無法容納於 VRAM,因此 Ollama 將部分或全部模型放入系統記憶體。通常原因是內容視窗大於顯示卡可容納的大小,因為模型載入時會針對整個視窗配置 cache。使用 OLLAMA_CONTEXT_LENGTH 降低視窗大小,將 OLLAMA_KV_CACHE_TYPE=q8_0 設為 q8_0 以將 cache 減半,或拉取較小的量化版本。