SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-10-28

自行託管 Kimi K3 需要多少硬體?

Kimi K3 擁有 2.8T 參數、每 token 啟用 104B。本文計算 MXFP4 權重、KV cache 所需 VRAM,並比較不使用 32 GPU 叢集的三種執行方式。

自行架設 Kimi K3 的需求

自行架設 Kimi K3,首先要為 2.8 兆個參數準備足夠空間。Moonshot 以 MXFP4 發布開放權重;每個權重約佔半個位元組,因此僅權重就約需 1.4 TB,還未配置任何 token cache。目前在售的 accelerator 沒有任何一款能單獨容納這些資料。若只有 1 顆 GPU,答案是否定的。若只有 1 台伺服器,則有 2 種可行配置。第一種是採用 8-GPU 節點,每顆 accelerator 配備 288 GB 記憶體;目前公開的多使用者 serving 配方,最低就是這種配置。第二種是使用 1 台具備約 1.6 TB 合計 RAM 與 VRAM 的機器,在 llama.cpp 中執行 Unsloth 的無損 Q8 GGUF;可搭配 GPU,也可不搭配 GPU,但一次只能服務 1 位使用者。

結論就是如此。以下內容會說明背後的計算方式,因為這些計算可套用到下一個版本。公告於 16 July 2026 發布後的幾週內,多家 infrastructure vendor 發布了 K3 部署指南,但每份指南都假設你已經擁有 cluster。本頁則從另一端開始:說明所需成本、可以改用哪些配置,以及如何判斷自己屬於這 2 種情況中的哪一種。

總參數量與啟用參數量並不相同

K3 是混合專家模型。MoE(混合專家)會將網路拆分成許多子網路,再由路由器為每個 token 選取其中幾個。模型卡列出 2.8T 個總參數,以及每個 token 啟用的 104B 個參數;這些參數分布在 93 個 layer 中,共有 896 個路由專家,而每個 token 會啟用其中 16 個。

這兩種參數量回答的是不同問題。在所有「我能否執行這個模型」的討論中,將兩者混用是最常見的錯誤。

啟用參數量決定運算成本。 每個 token 約會經過 104B 個參數,因此預期吞吐量應接近 104B 的 dense 模型,而不是 2.8T 的模型。這正是建構 MoE 的主要原因。

總參數量決定記憶體成本。 路由器可能在任何 token 中選取任何專家,因此在第一個請求到達前,所有專家都必須儲存在某個速度足夠快的位置。只將熱門專家保留在 VRAM,並在需要時載入其餘專家,確實是可行的做法:llama.cpp 的 --moe-cache-mib 會將專家快取在 GPU 中,其餘專家則位於系統 RAM;路由器選取未快取的專家時,程式會將其上傳。不過,這不會縮減總量。其餘專家仍必須保留在 RAM 中,而且 PCIe link 每秒只能傳輸數十 GB,HBM 則可達每秒數 TB,因此每次快取未命中都會耗費時間。若 RAM 也無法容納模型,改從 NVMe 串流專家會更慢;Unsloth 的 K3 指南也警告,使用磁碟卸載時速度會慢很多。

因此,這類模型的運算成本低,但儲存成本高。硬體規模應以 2.8T 為基準。速度預期則應以 104B 為基準。

每個權重的位元組數,以及 TB 的來源

參數數量乘以每個權重的位元組數。對權重而言,完整公式就是如此。

圖表Weight footprint of 2.8 trillion parameters, by precision
此圖表背後的資料
[
  {
    "label": "bf16",
    "bytes_per_weight": 2,
    "weights_tb": 5.6
  },
  {
    "label": "fp8",
    "bytes_per_weight": 1,
    "weights_tb": 2.8
  },
  {
    "label": "4-bit (MXFP4, as shipped)",
    "bytes_per_weight": 0.5,
    "weights_tb": 1.4
  },
  {
    "label": "2-bit",
    "bytes_per_weight": 0.25,
    "weights_tb": 0.7
  }
]

K3 採用量化感知訓練,並以 MXFP4 權重和 MXFP8 activations 發布,因此 4-bit 這一列才是實際數值。上方各列用於比較:同一模型若採用 bf16,權重會需要 5.6 TB。MXFP4 還會為每 32 個權重的區塊儲存一個共用的 8-bit scale,約增加 6 percent;此外,Moonshot 的設定將 attention、共用 experts 和 vision tower 排除在 4-bit 格式之外,因此依 Unsloth 的計算,完整 checkpoint 約為 1.56 TB,而不是整整的 1.4 TB。

這縮小了通常可採用的折衷空間,但並未完全消除。已發布的 checkpoint 本身就是 4-bit,因此容易取得的節省空間已經用盡;但進一步降低位元數仍會改變數值。截至 27 October 2026,Unsloth 測得的 K3 動態 GGUF 量化版本,從 2-bit UD-Q2_K_XL 的 861.3 GB 到 1-bit UD-IQ1_S 的 594 GB 不等。Unsloth 也公布了相應代價:與完整模型相比,UD-Q2_K_XL 的 top-1 token agreement 為 90.390 percent,711.1 GB 的 UD-IQ2_XXS 為 84.127 percent,UD-IQ1_S 為 78.875 percent。其 Hugging Face repo 也提供更小的 1-bit 檔案,最低為 466 GB 的 UD-Q1_0,但未在旁邊公布 agreement 數值。這代表經測量的準確率損失,而且即使是最小的檔案,仍約為最大單張 card 容量的 1.6 倍。

Kimi K3 需要多少張 GPU

圖表GPUs required to hold 1.4 TB of weights, before any KV cache
此圖表背後的資料
[
  {
    "config": "H100 80GB",
    "hbm_per_gpu_gb": 80,
    "gpus_for_weights": 18
  },
  {
    "config": "H200 141GB",
    "hbm_per_gpu_gb": 141,
    "gpus_for_weights": 10
  },
  {
    "config": "B200 192GB",
    "hbm_per_gpu_gb": 192,
    "gpus_for_weights": 8
  },
  {
    "config": "GB300 288GB",
    "hbm_per_gpu_gb": 288,
    "gpus_for_weights": 5
  }
]

請將這些數字視為最低需求,而不是建議目標。這些數字只計算權重,不包含 KV cache、activation buffer、allocator fragmentation,也沒有容納第二個並行請求的餘裕。切分本身不必平均分配:vLLM 的 pipeline parallelism 會沿著 layer 切分模型,並支援不均等切分;SGLang 的 K3 prefill 配方則會在 93 個 layer 上執行 8 或 16 個 pipeline stage。

公開建議的配置高於最低需求。Moonshot 的發布指引建議使用配備 64 個以上 accelerator 的 supernode。截至 27 October 2026,SGLang cookbook 提供一個由 4 個 8-GPU node 組成的 H100 配置,共 32 張 GPU,aggregate memory 為 2,560 GB;相較之下,最低需求為 18 張卡。該 cookbook 也列出單一 node 的配方,包括 1 個 8-GPU B300 node,以及 1 個 8-GPU MI350X 或 MI355X node,後者提供 2,304 GB 記憶體,每張卡為 288 GB。高於最低需求的部分並非浪費,而是用於 KV cache、activation memory,以及讓伺服器能同時批次處理多個請求的餘裕。最容易採用的配置是 5 張 GB300 class card;實務上會向上取整為這類 8-GPU node。這也是目前公開的多使用者 K3 serving 配方中,最小的機器配置。

KV cache 是最容易讓人意外的部分

權重是固定成本。KV(key value)cache 則不是:它會隨 context length 增加,也會隨每位並行使用者再次增加。對一般 attention 而言,公式是 bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element,接著再乘上 context length 與並行數。

以下是一個計算範例,僅供示意:64 layers、8 KV heads、head dimension 為 128、使用 fp8。計算結果為 2 64 8 128 1 = 131,072 bytes,因此每個 token 需要 128 KiB。

圖表KV cache per user in the worked example, at 128 KiB per token
此圖表背後的資料
[
  {
    "label": "8k context",
    "kv_gib_per_user": 1
  },
  {
    "label": "32k context",
    "kv_gib_per_user": 4
  },
  {
    "label": "128k context",
    "kv_gib_per_user": 16
  },
  {
    "label": "1M context",
    "kv_gib_per_user": 128
  }
]

在 128k context 下,單一使用者需要 16 GiB。在完整的 1 million context 下,單一使用者需要 128 GiB。這幾乎占用一張 288 GB GPU 卡的一半,而且還沒載入任何權重。

K3 不使用一般 attention,原因就在最後這個數字。它的 93 layers 中,有 69 個 KDA(Kimi Delta Attention)layers,以及 24 個 Gated MLA(multi-head latent attention)layers。KDA 使用固定大小的 recurrent state,不會像 cache 一樣隨每個 token 增長;MLA 則將 key 與 value 壓縮為單一低秩 latent vector,因此實際的每 token 成本遠低於上述範例。Moonshot 公開的 config.json 顯示,該 latent 的大小為 kv_lora_rank 個值,另加 64 寬度的 rotary key(qk_rope_head_dim),因此每個 MLA layer 每個 token 共有 576 個值。24 個 layers、每個值 2 bytes,合計為 27,648 bytes,約 27 KiB per token;完整的 1,048,576 token 對話約需 27 GiB,另加固定大小的 KDA state。這只能視為估算值,而非實測值:各 engine 會以自己的方式對 cache 進行 padding 與配置,而使用 8-bit cache 大約可將用量減半。

若要查看自己的部署可容納多少內容,請勿在提高 --max-model-len 時監看 nvidia-smi。vLLM 會預先配置 KV cache pool,其大小取決於 --gpu-memory-utilization(目前文件中的預設值為 0.92),或明確指定的每張 GPU cache 預算,因此 GPU 記憶體總用量顯示的是整個 pool,而不是單一對話。請改為查看啟動日誌;vLLM 會在其中回報 KV cache 的 token 數量,以及在指定 context length 下的最大並行數。

這個推理方式在下一個版本仍然適用。如果模型宣稱支援 million token context,卻沒有說明其 attention 設計,除非有人提出相反證據,否則應先假設 cache 是限制因素。

第 1 級:按小時租用叢集

這是讓多名使用者同時以模型發布時精度使用 K3 的級別。單台具備足夠 RAM 的機器也能透過 Unsloth 的 Q8 GGUF,以 K3 的發布時精度執行;Unsloth 將此標示為無精度損失的完整精度,但這種方式一次只能服務一名使用者,並在第 2 級說明。這裡不需要購買硬體,只需租用所需時數,使用完畢後停止執行個體。

圖表Monthly cost at an assumed 2.50 USD per GPU hour, 30 day month
此圖表背後的資料
[
  {
    "label": "1 GPU, always on",
    "gpu_hours": 720,
    "usd_cost": "1,800"
  },
  {
    "label": "8 GPUs, 4 hours a day",
    "gpu_hours": 960,
    "usd_cost": "2,400"
  },
  {
    "label": "8 GPUs, always on",
    "gpu_hours": 5760,
    "usd_cost": "14,400"
  },
  {
    "label": "32 GPUs, always on",
    "gpu_hours": 23040,
    "usd_cost": "57,600"
  }
]

這個費率是假設值,不是報價。隨選費率會因供應商與 GPU 世代而大幅不同;單節點配方所需的 288 GB 零件,每小時成本高於 H100,而預留容量較便宜。請代入供應商的實際數字重新計算:GPU 數量 × 時數 × 費率。圖表的重點是比例。每天啟動 8 GPU 節點 4 小時,每月成本為 2,400 USD;持續執行符合 SGLang 規模需求的 32 GPU H100 設定,成本則為 57,600 USD。

兩種主流伺服器都會在模型卡上提供啟動指令。

pip install vllm
vllm serve "moonshotai/Kimi-K3"
pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000

這兩個基本指令都不能直接用於實際叢集。請加入符合硬體的平行處理旗標:SGLang 使用 --tp-size 設定張量平行、使用 --pp-size 設定管線平行,以及使用 --ep-size 設定專家平行。張量平行數乘以管線平行數,必須等於實際擁有的 GPU 數量;專家平行則會在該群組內分割專家,因此 32 GPU H100 配方會同時設定 --tp-size 32 與 --ep-size 32。

傳送實際網路流量前,先確認伺服器已啟動:

curl http://127.0.0.1:30000/v1/models

正常的伺服器會以 JSON 物件回應,列出模型 ID。Connection refused 表示程序仍在載入權重,或已經結束,因此請先查看伺服器日誌,再重新嘗試。

最初幾週常見的問題是執行環境版本早於模型需求。K3 發布時包含 KDA 與新的 MoE 層,而穩定版 vLLM 和 SGLang 在發布時尚未支援這些功能;症狀是伺服器啟動期間結束,並顯示類似 Model architectures [...] are not supported for now 的訊息。這不是修改設定就能修正的問題,因為你的建置中沒有執行這些層所需的程式碼。此後情況已改變:截至 2026 年 10 月 27 日,SGLang 自 v0.5.17 起的版本已支援 K3,最新版本為 v0.5.22;vLLM 的 v0.28.0 至 v0.32.0 版本說明也都包含 K3 相關工作。請安裝目前版本。部分硬體專用路徑仍會指定專用映像,例如 Blackwell 上的 SGLang NVFP4 建置,因此請依照你的顯示卡檢查配方。

還有一項容易被忽略的成本。計費會在執行個體啟動時開始,而不是模型就緒時才開始。以 1 GB/s 下載 1.56 TB,約需 26 分鐘的叢集時間,之後才會產生第一個 token。請將權重放在生命週期長於執行個體的磁碟區上,讓第二次執行能在數分鐘內開始。

第 2 層:在單一加速器上執行較小的模型

這一層不會執行 K3。開始前就應明確確認這點,因為多數「在本機執行 K3」的討論最後都停在這裡,卻沒有承認這件事。

適用規則是相同公式的縮小版:參數數量乘以每個權重的位元組數,再加上 KV cache 和約 2 GB 的執行環境額外負擔,總量必須低於 VRAM。使用 4-bit 時,每個參數約需半個位元組,因此可有以下寬裕的搭配:

  • 16 GB 顯示卡:7B 模型,使用 4-bit,並保留足夠空間處理長上下文
  • 24 GB 顯示卡:14B 模型,使用 4-bit
  • 48 GB 顯示卡:32B 模型,使用 4-bit
  • 80 GB 顯示卡:70B 模型,使用 4-bit;或 30B 級 MoE,使用 8-bit

以上每種搭配都假設一次只處理 1 個請求。當第 2 位使用者送出提示時,每個並行工作槽都需要自己的 KV cache;這是 Ollama 的 NUM_PARALLEL 與 MAX_QUEUE 設定 在並行工作槽、排隊請求與可用 VRAM 之間所做的取捨。

在單一大型機器上執行 K3 本身有一種方式,規模介於本層與上一層之間。Unsloth 說明了在 llama.cpp 中使用 K3 的 GGUF 建置版本,支援從 1-bit 和 2-bit 量化到 UD-Q8_K_XL;Unsloth 將後者標示為無損全精度,並指出 NVIDIA DGX Station 可執行這些版本。其經驗法則是,RAM 加上 VRAM 應大致等於量化大小:1-bit UD-IQ1_S 建置版本約需 610 GB,Q8 則約需 1.6 TB。低於此容量時,模型會退回使用磁碟,速度也會大幅下降。GPU 並非必要:Unsloth 的建置說明指出,若「沒有 GPU,或只是想使用 CPU inference」,可關閉 CUDA。1-bit 和 2-bit 建置版本是經過高度量化的 K3,代價是前述的準確度損失。Q8 建置版本則是以 K3 發布時的精度執行,並以 RAM 速度提供給 1 位使用者。兩者都不是較小的模型。

Ollama 是在 連接 GPU 的 VPS 上 建立可運作伺服器的最短路徑:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14b

ollama run 會在首次使用時下載模型,然後顯示提示字元。不存在的標籤會回傳 Error: model "..." not found,因此請從 library 頁面複製標籤,不要憑記憶輸入。完整操作說明,包括 systemd unit 與遠端存取,請參閱 在 VPS 上執行 Ollama。

llama.cpp 可讓你更精細地控制量化與卸載:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

-ngl 99 會要求將每一層都放到 GPU。請查看負載日誌,其中會列出已卸載的層數。溢出到系統 RAM 的層會使用 RAM 頻寬,而不是 HBM 頻寬;因此模型一旦無法完整放入,生成速度就會降低一個數量級。兩項工具之間的取捨,請參閱 Ollama 與 llama.cpp 對照。

第 3 級:代管 API、自行管理的編排

圖表Kimi K3 published API pricing, USD per million tokens, checked 17 July 2026
此圖表背後的資料
[
  {
    "label": "Input, cache hit",
    "usd_per_million_tokens": "0.30"
  },
  {
    "label": "Input, cache miss",
    "usd_per_million_tokens": "3.00"
  },
  {
    "label": "Output",
    "usd_per_million_tokens": "15.00"
  }
]

端點相容於 OpenAI,因此只要變更 base URL,現有 client 即可運作。

curl https://api.moonshot.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $MOONSHOT_API_KEY" \
  -d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'

有效的 key 會回傳包含 choices array 的 JSON object。401 表示驗證失敗:確認 key 正確,且尚未過期或遭停用;同時確認 header 為 Authorization: Bearer,後接該 key。找不到 model 的錯誤通常表示 id 已變更,因為 provider 會在 checkpoint 之間淘汰 id。

接著計算損益平衡點,沿用上述假設的租用費率。持續運作的 8 GPU node 每月成本為 14,400 USD;以每百萬 output tokens 15.00 USD 計算,同樣的費用約可向 API 購買 960 million output tokens。若要在成本上取得優勢,每月必須產生接近 1 billion output tokens,約每天 30 million,並讓 cluster 全程維持忙碌,因為閒置 GPU 與忙碌 GPU 的計費費率相同。以 prompt 為主的 agent 工作負載會讓損益平衡點進一步拉遠:重複的 context 會依每百萬 0.30 USD 的 cache-hit 費率計費,而不是依每百萬 3.00 USD 的 cache-miss 費率計費。

在這個層級自行託管的,是模型周邊的所有元件:保管 API key、使其不會傳到 client 的 gateway、request 與 response logs、重試機制、rate limits,以及各使用者的 budgets。這些元件可在完全不使用 GPU 的小型 VPS 上執行。同樣的區分也適用於 closed weights;在模型層級無法 自行託管 Claude,因此你能自行管理的只有 orchestration。

哪種 serving stack 對應哪個層級

vLLM 和 SGLang 類型的伺服器屬於 tier 1。這類伺服器用於同時處理大量請求,具備 continuous batching、paged KV cache,以及分散在多個節點上的 tensor parallelism 和 expert parallelism。它們預設使用資料中心加速器,以及加速器之間的高速互連。在單張消費級顯示卡上,這類伺服器安裝較為複雜,實際可感知的效益也很少。

llama.cpp 和 Ollama 屬於 tier 2。它們針對單機、GGUF quantisation、模型無法容納時的 CPU offload,以及低並行數情境設計。llama.cpp 能將大型 MoE 的 expert weights 保留在 system RAM(--cpu-moe 或 --n-cpu-moe)中載入;搭配 --moe-cache-mib 後,還能將使用中的 experts 快取到 GPU,而 Unsloth 的 K3 GGUF builds 正是以這種方式在單機上執行。此時速度取決於 RAM bandwidth,以及 router 未命中 cache 的頻率;如果檔案大於 RAM 加上 VRAM,就會退回使用 disk。這種配置適合單一使用者,但不適合作為供多名使用者使用的服務。完整比較請參閱 Ollama 與 vLLM 的比較。這項判斷不會因模型而改變:關鍵始終在於你是在共用硬體上服務多名使用者,還是在自己的裝置上服務單一使用者。

這個檢查點之後仍適用的 4 個數字

  1. 總參數量乘以每個權重的位元組數,就是記憶體下限。在發布的精度下,沒有任何執行方式能低於這個下限;將量化降到 4-bit 發布版本以下,最多可節省約 70 percent 的記憶體,但會付出準確度代價,並不會縮小一個數量級。
  2. 啟用參數量決定吞吐量級別。具有 104B 啟用參數的 2.8T MoE,其運算表現相當於 104B 模型。
  3. 每個 token 的 KV cache,乘以 context length,再乘以 concurrency,就是支付權重記憶體後仍會持續增加的成本。
  4. 每美元每秒產生的 token 數,是唯一能決定級別的數字。以上所有數字都是它的輸入。

將這 4 項套用到任何版本,就能在查閱供應商指南前得到正確答案。下一個版本已經公告:Moonshot 已於 23 October 2026 在 Kimi Code 推出以 K3 為基礎並進一步完成 post-training 的 K3.1 Pro,其 API quickstart 表示完整權重將在 4 November 前發布。接著,為記錄下來的每個數字標註日期。K3 推出後的 2 週內,價格與支援架構清單都曾變動。本頁的推出數據發布於 July 2026,而 serving recipes、runtime releases 與 quantisation 數字則於 27 October 2026 重新核對。

FAQ

我可以在單張 GPU 上執行 Kimi K3 嗎?

不行。在 Moonshot 發布的 MXFP4 精度下,權重約為 1.4 TB;即使是已發布的 K3 最小量化版本,即 Unsloth 的 466 GB UD-Q1_0 檔案,也約為目前廣泛可取得的最大型 accelerator 之 288 GB 的 1.6 倍。llama.cpp 可以將 experts 保留在系統 RAM,並在 GPU 上快取啟用中的 experts,但 RAM 與 VRAM 合計仍需要大致相當於 quant size;低於此容量時,模型會退到 disk 執行,速度也會慢得多。最小的 serving recipes 使用 1 個搭載 B300 或 MI350X/MI355X cards 的 8-GPU node,而 H100 recipe 使用 32 張。

Kimi K3 需要多少 VRAM?

先以 1.4 TB 的純權重容量起算,也就是 18 張 H100 80GB cards,或 5 張 GB300 class cards。接著再加上 KV cache 與 activation memory。Moonshot 的推出指引建議使用 64 張以上的 accelerators。截至 27 October 2026,SGLang cookbook 發布了使用 8 張 B300 或 8 張 MI350X/MI355X cards 的 single-node recipes,總容量為 2,304 GB;另有使用 32 張 GPU H100 的 configuration,總容量為 2,560 GB。因此,應將權重數字視為下限,而非必要容量。

量化能讓 Kimi K3 裝入單一 node 嗎?

已發布的 4-bit checkpoint 若該 node 配備 8 張 288 GB cards,便已能裝入單一 node;SGLang 的 B300 與 MI355X recipes 使用的就是這種配置。透過 Unsloth 的 lossless Q8 GGUF,使用約 1.6 TB 的 RAM 加上 VRAM,也能裝在單一 machine 上。進一步降低量化位元數有助於較小的 machines:Unsloth 實測的 dynamic GGUF builds 從 2-bit 的 861.3 GB 到 1-bit 的 594 GB 不等,而其 repo 列出的 1-bit files 最低可達 466 GB;lossless 版本則約為 1.56 TB。準確度代價已有實測結果:與完整模型的 top-1 agreement,在 UD-Q2_K_XL 時降至 90.390 percent,在 UD-IQ1_S 時降至 78.875 percent。這些版本沒有任何一個能裝入單張 card。

租用 GPUs 比 Kimi K3 API 便宜嗎?

只有在用量高且穩定時才可能。假設每 GPU hour 為 2.50 USD,持續運作的 8 GPU node 每月成本為 14,400 USD;相同金額依照公布的 15.00 USD per million 費率,約可購買 960 million output tokens。你還必須支付 idle hours、權重下載,以及維持 cluster 運作的人力成本。突發需求可按 hour 租用,並以實際測得的 token volume 比較,不要依賴猜測值。

104B 啟用參數對速度代表什麼?

這表示每個 token 的運算量相當於 104B model,因此吞吐量會落在這個級別,而不是 2.8T 級別。這與記憶體無關:全部 2.8T parameters 都會常駐,因為 router 可能在任何 token 上呼叫任何 expert。使用啟用參數量預測 tokens per second,並使用總參數量估算 VRAM。

這篇文章對您有幫助嗎?