GPU VPS 與 API token 計費何時打平?
每小時 $0.50 的 GPU VPS,每月租金為 $365。用公式計算輸出 token 用量,找出何時低於 API 計費,並注意實測 tokens/秒與使用率。
實際的損益平衡點
GPU VPS 勝過依 token 計費的 API,取決於一個條件:每月固定租金除以當月實際產生的輸出 token 後,低於 API 對相同 token 收取的費用。租金不會變動,但 API 帳單會隨每次請求變動。因此,答案永遠是每月用量,而不是單純的「是」或「否」。
以每小時 $0.50 的中階 GPU VPS 計算,730 小時的月份費用為 $365。與前沿模型 API 相比,每月輸出 24.3 百萬個 token 時達到損益平衡。與小型商用模型相比,則為 73 百萬個。與相同規模的代管開放權重模型相比,永遠無法達到損益平衡,因為單張 GPU 在一個月內無法產生足夠的 token,達到交叉點。
已發表的損益平衡研究無法回答這個問題。某家廠商在 2026 年 7 月發布的分析指出,專用 H100 每小時 $2.00,與無伺服器推論相比,交叉點約在 50% 使用率。這類研究比較的是專用資料中心 GPU 與無伺服器產品,而且採用的加速器每小時費率是本文所用費率的數倍。計算方式相同。以下內容將以單張 GPU、7B 至 30B 範圍內的單一開放模型,以及一般的計量式 API 計費方式重新計算。
以下每個數字都是輸入值,不是計算結果。請全部替換成自己的數值。
公式如下,您可以代入自己的數值
cost_per_million = (hourly_rate * 1000000) / (tokens_per_second * 3600 * duty_cycle)
breakeven_millions_per_month = (hourly_rate * hours_per_month) / api_price_per_million
capacity_millions_per_month = (tokens_per_second * 3600 * hours_per_month) / 1000000
required_duty_cycle = breakeven_millions_per_month / capacity_millions_per_month共有四個輸入值,這四項都可以測量或查詢。
hourly_rate是 GPU VPS 每小時的成本,其中包含閒置時數。如果按月付費,請將月費除以 730。tokens_per_second是伺服器在實際並行量下可維持的總輸出速率。這不是供應商圖表中的單一串流數據。duty_cycle是 GPU 每月實際用於產生 token 的時間比例。整月租用但每天只使用兩小時的主機,其比例為 8.3%。api_price_per_million是您要比較的輸出 token 計價。
此範例會比較雙方的輸出 token 成本,因為在聊天與代理工作負載中,輸出通常占帳單的大部分。如果 prompt 很長,請在雙方都加入輸入成本。在 API 端,這會作為帳單上的獨立項目。在自有 GPU 上,prefill 會消耗 GPU 時間,因此已反映在較低的實測 tokens_per_second 中。
如何在信任計算結果前測量每秒 tokens 數
以上所有計算都建立在一個實測數值上。若這個數值誤差達到 3 倍,結果也會差 3 倍。請使用你實際租用的卡,搭配真正要執行的模型與量化設定進行測量。
Ollama 可透過一個命令取得單一串流的數值:
ollama run qwen3:8b --verbose "Write 400 words about disk latency."--verbose 會在回答後輸出計時資訊區塊。關鍵行是 eval rate,單位為每秒 tokens,且只計算生成階段。prompt eval rate 是 prefill 速度,通常高得多。你的數值會與以下範例不同:
eval count: 412 token(s)
eval duration: 9.612s
eval rate: 42.86 tokens/s單一串流不是成本模型需要的數值,因為它測量的是單次處理一個請求,而實際上的卡可以同時處理多個請求。若要取得總吞吐量,請使用 vLLM 提供模型服務,並讀取伺服器回報的吞吐量:
pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 8192請求處於處理中時,伺服器會在每個回報間隔輸出一行狀態日誌。實際欄位會隨 vLLM 版本變動,因此請查看你自己的輸出,不要直接套用我的範例:
Avg prompt throughput: 812.4 tokens/s, Avg generation throughput: 396.1 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 21.7%Avg generation throughput 就是公式需要的數值。隨著你增加並行請求,它會持續上升,直到 KV cache(key-value cache,即 vLLM 保留在 VRAM 中、每個請求使用的 attention 狀態)填滿,之後便不再上升。若繼續增加請求,請求會進入佇列,而不是處理得更快;你會看到 Waiting 計數持續增加。vLLM 也提供負載產生器 vllm bench serve。其 flags 會隨版本變動,因此請在已安裝的版本上執行 vllm bench serve --help,不要直接複製部落格文章中的命令。
測試執行時,請監看這張卡:
nvidia-smi --query-gpu=utilization.gpu,memory.used,power.draw --format=csv -l 5若 utilization.gpu 在生成期間接近 100%,表示瓶頸在吞吐量,而你測得的數值就是實際上限。若使用率維持低檔,表示限制來自其他因素:並行請求太少、用戶端速度太慢,或模型無法完整放入 VRAM,部分內容因此被卸載至系統 RAM。Ollama 與 vLLM 在這裡採取的取捨非常不同;即使使用同一張卡,兩者之間的差距也可能大到讓損益平衡點相差數倍。
一個月的帳單概況
這個計算範例使用一台每小時 $0.50 的 24 GB GPU VPS,透過 vLLM 提供 8B open model,測得 16 個並行請求的總輸出速度為每秒 400 個 token。不論是否使用 GPU,租用費都固定不變。依此速率,每月可產生 1,051 million 個輸出 token;這是 GPU 持續運作且從未停止時的產能。
此圖表背後的資料
[
{
"output_tokens_millions": 5,
"gpu_vps_usd": 365,
"open_api_usd": 1,
"small_api_usd": 25,
"frontier_api_usd": 75
},
{
"output_tokens_millions": 10,
"gpu_vps_usd": 365,
"open_api_usd": 2,
"small_api_usd": 50,
"frontier_api_usd": 150
},
{
"output_tokens_millions": 25,
"gpu_vps_usd": 365,
"open_api_usd": 5,
"small_api_usd": 125,
"frontier_api_usd": 375
},
{
"output_tokens_millions": 50,
"gpu_vps_usd": 365,
"open_api_usd": 10,
"small_api_usd": 250,
"frontier_api_usd": 750
},
{
"output_tokens_millions": 100,
"gpu_vps_usd": 365,
"open_api_usd": 20,
"small_api_usd": 500,
"frontier_api_usd": 1500
},
{
"output_tokens_millions": 250,
"gpu_vps_usd": 365,
"open_api_usd": 50,
"small_api_usd": 1250,
"frontier_api_usd": 3750
},
{
"output_tokens_millions": 500,
"gpu_vps_usd": 365,
"open_api_usd": 100,
"small_api_usd": 2500,
"frontier_api_usd": 7500
},
{
"output_tokens_millions": 1000,
"gpu_vps_usd": 365,
"open_api_usd": 200,
"small_api_usd": 5000,
"frontier_api_usd": 15000
}
]GPU 費用固定為 365 美元,因為租用費不受 GPU 使用方式影響。每條 API 費用線都從零開始呈直線上升。每一對費用線都只會交會一次。
每月輸出 25 million 個 token 時,frontier API 的費用為 375 美元,因此兩者相差不到 10 美元。達到 50 million 個輸出 token 時,小型商用模型的費用為 250 美元,仍是較便宜的選項。每月輸出 1000 million 個 token 時,GPU 必須在該月有 95% 的時間處於忙碌狀態;hosted open-weight API 的費用為 200 美元,而 GPU 的租用費相同。在 GPU 工作最繁重的確切用量下,租用 GPU 的成本反而接近 API 的 2 倍。
最後這項結果常讓人意外,但並非偶然。hosted open-weight endpoint 是以高利用率運作的 GPU fleet,因此價格接近滿載 GPU 的成本。租用單張 GPU 且未讓它滿載運作,不可能擊敗滿載 GPU fleet 的價格。能夠擊敗的是 frontier pricing,因為它依模型能力定價,而不是依 silicon time 定價。
每個負載率下每百萬輸出 token 的成本
流量與負載率是從兩個角度描述同一件事。租用費用買的是執行時數。閒置時數不產生任何輸出,仍會產生費用。
此圖表背後的資料
[
{
"label": "100% duty",
"self_host_usd_per_million": "0.35",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "50% duty",
"self_host_usd_per_million": "0.69",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "25% duty",
"self_host_usd_per_million": "1.39",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "10% duty",
"self_host_usd_per_million": "3.47",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "5% duty",
"self_host_usd_per_million": "6.94",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "2% duty",
"self_host_usd_per_million": "17.36",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
}
]3 個 API 欄位是截至 2026 年 8 月常見的公開牌價:代管的 8B 開放權重模型每百萬輸出 token 為 0.20 美元,小型商用模型為 5.00 美元,前沿模型為 15.00 美元。這些數值僅供示意。做決策前請查閱當日的價格頁面;如果比較對象是固定月費方案,而不是按 token 計費,訂閱方案的計算方式會不同,損益平衡點也會再次變動。
讓顯示卡全速執行時,每百萬輸出 token 的成本為 0.35 美元,確實很低。負載率為 10% 時,同樣每百萬 token 的成本為 3.47 美元。負載率為 2% 時,成本為 17.36 美元,這與代管開放模型針對相同輸出收取的 0.20 美元並不在同一個範圍。
與代管開放權重模型相比,在圖表涵蓋的所有負載率下,租用 GPU 都是較昂貴的選擇。負載率為 10% 時,每百萬 token 的輸出成本是 3.47 美元,而相同輸出在代管服務的價格是 0.20 美元。價差換來的是隱私,以及不會隨用量變動的帳單。這些價值可能確實值得付費,但不代表價格較低,請勿將其列為價格優勢。與商用方案相比,情況則相反:負載率為 10% 時,這張顯示卡的成本低於小型商用模型與前沿模型的價格;在負載率降至約 2.3% 以前,其成本也持續低於前沿方案。
每個 API 層級的損益平衡用量
此圖表背後的資料
[
{
"label": "Hosted open 8B API",
"breakeven_tokens_millions": 1825,
"required_duty_pct": 174
},
{
"label": "Small commercial model",
"breakeven_tokens_millions": 73,
"required_duty_pct": 6.9
},
{
"label": "Frontier model",
"breakeven_tokens_millions": 24.3,
"required_duty_pct": 2.3
}
]相較於前沿層級,每月需要 24.3 百萬個輸出 token,僅為該顯示卡運算能力的 2.3%。這個門檻很低。小型團隊在工作時間使用 coding agent,即可達到這個用量。
相較於小型商業層級,每月需要 73 百萬個 token,或 6.9% 的使用率。相較於託管的開放權重層級,所需使用率為 174%。超過 100% 按定義即無法達成,因為該顯示卡必須執行超過一個月所包含的時數。以這個每小時費率計算,單張中階顯示卡無法在這項比較中勝出。因此,只有更便宜的顯示卡、更快的顯示卡,或與價格無關的理由,才能改變結果。
公式未涵蓋的成本
公式只計算 GPU 小時與 token。數項實際成本不在其中。
冷啟動。 16-bit 權重的 8B 模型約占 16 GB,從本機磁碟載入 VRAM 需要數十秒。為節省租用費而在使用間隔停止伺服器,就必須每次在第一個請求時等待。若讓伺服器持續執行以避免等待,使用率就會大幅下降,導致每個 token 的成本上升。這項取捨正是 serverless inference 存在的主要原因。
儲存與下載。 權重檔案很大。16-bit 的 8B 模型約為 16 GB,量化為 4-bit 的 30B 模型約為 18 GB,而 16-bit 的 30B 模型完全無法放入 24 GB 顯示卡。模型規模越大,限制很快就會變得明顯;在高階模型中,執行 Kimi K3 這類兆參數開放模型代表僅權重就超過任何可按小時租用的單張顯示卡容量。這些磁碟空間每月都要付費,每次重建環境也都要耗費時間。執行 du -sh ~/.cache/huggingface/hub。經過一週的實驗後再執行一次。它的成長速度會超出預期,因為每個曾經嘗試過的量化版本仍會留在磁碟上。
你自己的時間。 Driver 與 CUDA 版本、昨天還能使用的 context length 今天卻發生 out-of-memory 錯誤,以及變更 chat template 的模型更新,這些都不會出現在每個 token 的成本中,但都會占用你的晚上。如果你之前沒有配置過這類伺服器,GPU VPS 實際提供的內容值得在租用一個月前先閱讀。
品質差距。 這是最大的隱藏成本,也是最難估算的成本。8B 開放模型不是 frontier model。如果它需要 3 次嘗試,而 frontier model 只需 1 次,那麼每個有用答案的實際價格就是圖表數值的 3 倍,而且它仍可能無法完成工作。在比較價格前,先使用自己的 prompts 進行比較。對於 agent 工作負載,通常的做法是依難度分流,並將低成本的本機 token 用於大量工作;控制 VPS 上的 agent 支出主要就是處理這件事。
你忘記的計費項目。 你停止的按小時計費 GPU instance,通常仍會繼續對其連接的儲存空間與保留的 IP 位址計費。請查看帳單,不要只看價格頁面。
自架服務勝出的情況不只是價格
以下 4 種情況中,成本計算並不是決定因素。
- 不能離開你控制範圍的資料。如果合規規範禁止將文字傳送給第三方,問題就不是每個 token 的價格。
- 按排程持續處理大量工作。每晚執行 6 小時的批次分類工作,依設計就是 25% 的使用率,而且不會讓帳單出現意外。
- 速率限制。你自己的 GPU 只有 1 個佇列,而且由你自行使用。
- 沒有任何 API 提供的模型。如果你需要特定的 fine-tune,就沒有可比較的替代方案。
如果你想先測試低成本版本,在 VPS 上使用 Ollama 執行小型模型只需花費一個下午,而根據你打算租用的顯示卡評估開放模型能告訴你實際需要哪一款 GPU。先在這裡測量,再決定是否租用 1 個月的 GPU。
FAQ
GPU VPS 每月需要多少 token 才能勝過 API 定價?
將 GPU 的每月成本除以 API 每 1 百萬個輸出 token 的價格。一張每月租金為 $365 的顯示卡,若對照每 1 百萬個 token 收費 15.00 美元的前沿 API,則每月產生 24.3 百萬個輸出 token 時達到損益平衡。若對照每 1 百萬個 token 收費 5.00 美元的小型商用模型,則為 73 百萬個。若對照每 1 百萬個 token 收費 0.20 美元的託管開放權重模型,單張中階顯示卡每月無法產生足夠的 token,因此無法達到損益平衡。
為什麼託管開放權重 API 比自有 GPU 便宜?
因為其價格接近滿載 GPU 的成本,而你的顯示卡並未滿載。服務數千個並行請求的供應商能讓整個 GPU 叢集維持接近飽和,因此可以接近 token 產生的邊際成本銷售 token。你的顯示卡一天大多數時間都處於閒置狀態,但閒置時數仍由你支付。在 10% duty cycle 下,你每 1 百萬個輸出 token 的成本為 3.47 美元,而對方為 0.20 美元。
是否也應計算輸入 token?
如果提示內容很長,就應該計算。這裡的比較只使用輸出 token,因為在聊天與代理工作中,輸出 token 通常是主要成本。加入輸入 token 後,兩邊的計算方式都會改變。API 端會在帳單上以另一項較低價格的費用列出。在自有顯示卡上,prefill 會消耗 GPU 時間,因此其成本已包含在你測得的整體每秒 token 數中。請使用實際的提示長度進行測量,這樣兩邊仍具可比性。
如何測量公式所需的每秒 token 數?
先按照實際使用方式提供模型服務,再於真實並行條件下讀取整體生成速率。使用 Ollama 時,ollama run <model> --verbose 會以每秒 token 的形式輸出 eval rate,但這只代表單一串流,會低估批次處理伺服器的效能。使用 vLLM 時,執行中的伺服器會在請求處理期間記錄 Avg generation throughput,這就是應採用的數值。同時監看 nvidia-smi。如果生成期間的 GPU 使用率未接近 100%,表示你尚未測得效能上限。
在低於 10% 使用率時,是否值得租用 GPU VPS?
這取決於你原本會付費使用哪一種 API。在 10% duty cycle 下,你每 1 百萬個輸出 token 的成本為 3.47 美元,低於小型商用層級與前沿層級,但遠高於託管開放權重層級。在 2% 下,成本為 17.36 美元,高於這項比較中的所有計量 API,包括前沿層級。僅以價格計算,對小型商用層級而言,顯示卡在約 6.9% duty cycle 時不再具優勢;對前沿層級而言,則約為 2.3%,而且對託管開放權重模型永遠不具優勢。只有在你付費的對象是隱私需求,或是沒有任何 API 提供的模型時,才應在低於這些門檻的使用率下租用。