GPU VPS vs API: Kailan Mas Mura?
Alamin ang eksaktong break-even volume: $365/buwan na GPU VPS ay pumapantay sa frontier API sa {{q:breakeven_duty:breakeven_tokens_millions@-1}}M output tokens.
Saan talaga naroroon ang break-even
Nahahabol ng GPU VPS ang per-token API billing sa isang punto: kapag ang nakapirming buwanang bayad, na hinati sa mga output token na aktuwal mong nagagawa sa buwang iyon, ay mas mababa kaysa singil ng API para sa parehong mga token. Hindi nagbabago ang bayad sa VPS. Nagbabago ang API bill sa bawat request. Kaya ang sagot ay palaging buwanang volume, hindi simpleng oo o hindi.
Gamitin ang isang mid-range GPU VPS na nagkakahalaga ng $0.50 kada oras, o $365 para sa isang buwang may 730 oras. Kung frontier model API ang paghahambingan, nasa 24.3 milyong output token bawat buwan ang break-even. Kung maliit na commercial model naman, nasa 73 milyon. Kung hosted open-weight model na kapareho ang laki, hindi ka kailanman aabot sa break-even, dahil hindi makagagawa ang isang card ng sapat na token sa loob ng isang buwan upang maabot ang crossing point.
Hindi sinasagot ng mga nailathalang break-even study ang tanong na ito. Isang vendor analysis mula Hulyo 2026 ang nagtatakda sa crossover sa humigit-kumulang 50% utilisation para sa isang dedicated H100 na nagkakahalaga ng $2.00 kada oras, kumpara sa serverless inference. Ang ganitong mga study ay naghahambing ng dedicated data-centre card sa isang serverless product, at nagpepresyo sa mga accelerator nang ilang ulit na mas mataas kaysa hourly rate na ginagamit dito. Magkapareho ang arithmetic. Ang sumusunod na kalkulasyon ay para sa isang card, isang open model na nasa saklaw na 7B hanggang 30B, at karaniwang metered API billing.
Input ang bawat numerong nasa ibaba, hindi resulta. Palitan ang lahat ng ito ayon sa sarili mong mga halaga.
Ang formula, para maipasok mo ang sarili mong mga numero
cost_per_million = (hourly_rate * 1000000) / (tokens_per_second * 3600 * duty_cycle)
breakeven_millions_per_month = (hourly_rate * hours_per_month) / api_price_per_million
capacity_millions_per_month = (tokens_per_second * 3600 * hours_per_month) / 1000000
required_duty_cycle = breakeven_millions_per_month / capacity_millions_per_monthApat ang input, at masusukat o mahahanap mo ang lahat ng ito.
hourly_rateang gastos kada oras ng GPU VPS, kasama ang mga oras na idle ito. Kung buwanan ang bayad mo, hatiin ang buwanang presyo sa 730.tokens_per_secondang pinagsama-samang output rate na napapanatili ng server sa aktuwal mong concurrency. Hindi ito ang single-stream na numerong nasa chart ng vendor.duty_cycleang bahagi ng buwan na ginagamit ng GPU sa pag-generate ng tokens. Ang isang box na nirentahan mo buong buwan pero ginagamit lamang nang dalawang oras bawat araw ay nasa 8.3%.api_price_per_millionang metered price na ipinapaghambing mo para sa output tokens.
Output tokens ang ginagamit ng halimbawa sa magkabilang panig, dahil output ang bumubuo sa malaking bahagi ng bill para sa chat at agent work. Kung mahahaba ang prompts mo, idagdag ang input sa magkabilang panig. Sa API side, hiwalay itong line item sa invoice. Sa sarili mong card, kumokonsumo ng GPU time ang prefill, kaya lumalabas na ito bilang mas mababang nasusukat na tokens_per_second.
Paano sukatin ang tokens per second bago pagkatiwalaan ang arithmetic
Nakabatay ang lahat ng nasa itaas sa isang sukat na numero. Kung mali ito nang factor na tatlo, mali rin nang factor na tatlo ang sagot. Sukatin ito sa card na nirerentahan mo, gamit ang model at quantisation na talagang patatakbuhin mo.
Ibinibigay ng Ollama ang single-stream figure sa isang command:
ollama run qwen3:8b --verbose "Write 400 words about disk latency."Nagpi-print ang --verbose ng timing block pagkatapos ng sagot. Ang mahalagang linya ay eval rate, na nasa tokens per second at generation lamang ang binibilang. Ang prompt eval rate ay prefill speed at karaniwan itong mas mataas. Magkakaiba ang mga numero mo sa mga ito:
eval count: 412 token(s)
eval duration: 9.612s
eval rate: 42.86 tokens/sMaling numero ang single stream para sa cost model dahil sinusukat nito ang isang request sa bawat pagkakataon sa isang card na kayang magsilbi ng marami nang sabay-sabay. Para sa aggregate figure, i-serve ang model gamit ang vLLM at basahin ang throughput na iniuulat ng server tungkol sa sarili nito:
pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 8192Habang may mga request na isinasagawa, nagla-log ang server ng status line sa bawat reporting interval. Nagbabago ang eksaktong fields sa iba’t ibang vLLM release, kaya ang sa iyo ang basahin, hindi ang akin:
Avg prompt throughput: 812.4 tokens/s, Avg generation throughput: 396.1 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 21.7%Ang Avg generation throughput ang numerong kailangan ng formula. Tumataas ito habang nagdaragdag ka ng concurrent requests hanggang mapuno ang KV cache (key-value cache, ang per-request attention state na pinananatili ng vLLM sa VRAM), at pagkatapos ay hindi na ito tumataas. Kapag lumampas ka roon, pumipila ang mga request sa halip na bumilis, na makikita mo bilang tumataas na bilang ng Waiting. May load generator din ang vLLM na tinatawag na vllm bench serve. Nagbabago ang mga flag nito sa iba’t ibang version, kaya patakbuhin ang vllm bench serve --help sa version na na-install mo sa halip na kumopya ng command mula sa isang blog post.
I-monitor ang card habang tumatakbo ang test:
nvidia-smi --query-gpu=utilization.gpu,memory.used,power.draw --format=csv -l 5Kung nananatili malapit sa 100% ang utilization.gpu habang nagge-generate, throughput-bound ka at ang nasukat mong numero ang totoong ceiling. Kung mababa ito, ibang bagay ang limitasyon: napakakaunting concurrent requests, mabagal na client, o model na hindi kasya sa VRAM at bahagyang nao-offload sa system RAM. Magkakaiba nang malaki ang trade-off ng Ollama at vLLM dito, at sapat ang laking agwat ng mga ito sa parehong card para magbago nang factor na ilang beses ang break-even.
Ano ang hitsura ng bill sa loob ng isang buwan
Ang worked example ay isang 24 GB GPU VPS sa halagang $0.50 bawat oras, na nagpapatakbo ng 8B open model gamit ang vLLM. Sinukat ito sa pinagsama-samang bilis na 400 output token bawat segundo na may 16 sabay-sabay na request. Fixed ang renta kahit hindi mo gamitin ang card. Sa bilis na iyon, ang kapasidad ay 1,051 milyong output token bawat buwan. Ito ang dami ng output na magagawa ng card kung hindi ito kailanman hihinto.
Ang datos sa likod ng tsart na ito
[
{
"output_tokens_millions": 5,
"gpu_vps_usd": 365,
"open_api_usd": 1,
"small_api_usd": 25,
"frontier_api_usd": 75
},
{
"output_tokens_millions": 10,
"gpu_vps_usd": 365,
"open_api_usd": 2,
"small_api_usd": 50,
"frontier_api_usd": 150
},
{
"output_tokens_millions": 25,
"gpu_vps_usd": 365,
"open_api_usd": 5,
"small_api_usd": 125,
"frontier_api_usd": 375
},
{
"output_tokens_millions": 50,
"gpu_vps_usd": 365,
"open_api_usd": 10,
"small_api_usd": 250,
"frontier_api_usd": 750
},
{
"output_tokens_millions": 100,
"gpu_vps_usd": 365,
"open_api_usd": 20,
"small_api_usd": 500,
"frontier_api_usd": 1500
},
{
"output_tokens_millions": 250,
"gpu_vps_usd": 365,
"open_api_usd": 50,
"small_api_usd": 1250,
"frontier_api_usd": 3750
},
{
"output_tokens_millions": 500,
"gpu_vps_usd": 365,
"open_api_usd": 100,
"small_api_usd": 2500,
"frontier_api_usd": 7500
},
{
"output_tokens_millions": 1000,
"gpu_vps_usd": 365,
"open_api_usd": 200,
"small_api_usd": 5000,
"frontier_api_usd": 15000
}
]Flat ang GPU line sa 365 dollars dahil walang pakialam ang renta sa ginagawa mo sa card. Ang bawat API line ay tuwid na linya na dumaraan sa zero. Isang beses eksaktong nag-i-intersect ang bawat pares.
Sa 25 milyong output token bawat buwan, ang frontier API ay naniningil ng 375 dollars, kaya wala pang sampung dolyar ang pagitan ng dalawang opsyon. Sa 50 milyon, naniningil ang maliit na commercial model ng 250 dollars at ito pa rin ang mas murang opsyon. Sa 1000 milyong output token, na nangangailangan na maging abala ang card sa 95% ng buwan, naniningil ang hosted open-weight API ng 200 dollars kumpara sa kaparehong renta. Mas mataas nang halos dalawang beses ang gastos sa card sa eksaktong volume kung kailan ito pinakamasinsinang ginagamit.
Nakakagulat ang huling resultang ito para sa maraming tao, pero hindi ito nagkataon lamang. Ang hosted open-weight endpoint ay GPU fleet na pinatatakbo sa mataas na utilisation, kaya malapit ang presyo nito sa gastos ng isang card na saturated. Hindi mo malalampasan ang saturated fleet sa pag-renta ng isang card at pagpapatakbo rito nang mas mababa sa full load. Ang maaari mong malampasan ay ang frontier pricing, na nakabatay sa capability sa halip na sa oras ng paggamit ng silicon.
Gastos bawat milyong output token sa bawat duty cycle
Pareho ang volume at duty cycle na inilalarawan mula sa magkaibang pananaw. Ang renta ay bumibili ng mga oras. Walang nalilikha sa mga idle hour, pero may gastos pa rin.
Ang datos sa likod ng tsart na ito
[
{
"label": "100% duty",
"self_host_usd_per_million": "0.35",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "50% duty",
"self_host_usd_per_million": "0.69",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "25% duty",
"self_host_usd_per_million": "1.39",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "10% duty",
"self_host_usd_per_million": "3.47",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "5% duty",
"self_host_usd_per_million": "6.94",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "2% duty",
"self_host_usd_per_million": "17.36",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
}
]Ang tatlong API column ay karaniwang naka-publish na list price noong August 2026: 0.20 dollars bawat milyong output token para sa hosted 8B open-weight model, 5.00 dollars para sa maliit na commercial model, at 15.00 dollars para sa frontier model. Mga halimbawang halaga lamang ang mga ito. Tingnan ang price page ngayon bago magpasya, at kung flat monthly plan sa halip na metered token ang pinaghahambingan mo, iba ang subscription arithmetic at muling nagbabago ang crossing point.
Patakbuhin ang card sa buong capacity nito, at ang isang milyong output token ay nagkakahalaga ng 0.35 dollars, na tunay na mura. Sa 10% duty cycle, nagkakahalaga ang parehong milyong token ng 3.47 dollars. Sa 2% duty cycle, nagkakahalaga ito ng 17.36 dollars, na wala sa kaparehong range ng 0.20 dollars na sinisingil ng hosted open model para sa kaparehong output.
Kung hosted open-weight model ang paghahambingan, ang pagrenta ng GPU ang mas mahal na opsyon sa bawat duty cycle sa chart. Sa 10%, nagbabayad ka ng 3.47 dollars bawat milyong token para sa output na ibinebenta sa halagang 0.20 dollars, at ang binibili mo kapalit ng diperensiya ay privacy at bill na hindi nagbabago. Maaaring may tunay na halaga ang mga iyon. Hindi iyon price advantage, kaya huwag mo itong ituring na ganoon. Kung commercial tiers naman ang paghahambingan, kabaligtaran ang resulta: sa 10% duty cycle, mas mababa ang presyo ng card kaysa sa small commercial at frontier price, at nananatili itong mas mura kaysa sa frontier tier hanggang bumaba ang duty cycle sa humigit-kumulang 2.3%.
Ang break-even volume para sa bawat API tier
Ang datos sa likod ng tsart na ito
[
{
"label": "Hosted open 8B API",
"breakeven_tokens_millions": 1825,
"required_duty_pct": 174
},
{
"label": "Small commercial model",
"breakeven_tokens_millions": 73,
"required_duty_pct": 6.9
},
{
"label": "Frontier model",
"breakeven_tokens_millions": 24.3,
"required_duty_pct": 2.3
}
]Kung ihahambing sa frontier tier, kailangan mo ng 24.3 milyong output token bawat buwan. Katumbas lamang ito ng 2.3% ng kayang iproseso ng card. Mababa ang pamantayang ito. Maaabot ito ng maliit na team na nagpapatakbo ng coding agents sa buong oras ng trabaho.
Kung ihahambing sa small commercial tier, kailangan mo ng 73 milyong token bawat buwan, o 6.9% duty cycle. Kung ihahambing sa hosted open-weight tier, 174% ang kinakailangang duty cycle. Ayon sa depinisyon, hindi maaabot ang anumang higit sa 100%: kailangang tumakbo ang card nang mas maraming oras kaysa sa mayroon sa isang buwan. Hindi kayang manalo ng isang mid-range card sa ganitong hourly rate sa paghahambing na ito. Kaya ang tanging paraan para magbago ang resulta ay mas murang card, mas mabilis na card, o isang dahilan na hindi nakabatay sa presyo.
Ang Hindi Ipinapakita ng Formula
Tinatantiya ng formula ang gastos sa GPU hours at tokens. May ilang aktuwal na gastos na hindi nito kasama.
Cold starts. Ang 8B model na may 16-bit weights ay humigit-kumulang 16 GB, at ang pag-load nito mula sa local disk papunta sa VRAM ay umaabot ng ilang dosenang segundo. Kung ihihinto mo ang box kapag hindi ginagamit upang makatipid sa bayad, kailangan mong hintayin ang prosesong ito sa bawat unang request. Kung iiwan mo naman itong tumatakbo para maiwasan ang paghihintay, bababa nang malaki ang duty cycle at tataas ang cost per token. Ito ang pangunahing dahilan kung bakit umiiral ang serverless inference.
Storage at download. Malalaki ang weights. Ang 8B model na may 16-bit weights ay nasa 16 GB, ang 30B model na naka-quantise sa 4-bit ay nasa 18 GB, at hindi kasya sa 24 GB card ang 30B model na may 16-bit weights. Mabilis lumiit ang limitasyon sa high end. Ang pagpapatakbo ng open model na may isang trilyong parameter gaya ng Kimi K3 ay nangangahulugang mas malaki pa sa anumang single card na maaari mong rentahan kada oras ang weights pa lamang. Magbabayad ka para sa disk na iyon bawat buwan, at magbabayad ka rin sa oras sa bawat rebuild. Patakbuhin ang du -sh ~/.cache/huggingface/hub pagkatapos ng isang linggong mga experiment. Mas mabilis itong lumalaki kaysa sa inaasahan mo dahil nananatili roon ang bawat quantisation na minsan mong sinubukan.
Sarili mong oras. Mga version ng driver at CUDA, mga out-of-memory error sa context length na gumana kahapon, at model update na nagbabago sa chat template. Wala sa cost-per-token figure ang mga ito, ngunit sinisingil ang lahat sa mga gabi mo. Kung hindi ka pa nakakapag-size ng ganitong box, sulit basahin ang aktuwal na ibinibigay ng GPU VPS bago ka mag-commit sa isang buwang renta.
Agwat sa kalidad. Ito ang pinakamalaking nakatagong gastos at pinakamahirap presyuhan. Hindi frontier model ang 8B open model. Kung kailangan nito ng tatlong pagtatangka samantalang isang pagtatangka lang ang kailangan ng frontier model, tatlong beses na mas mataas ang aktuwal na presyo nito bawat kapaki-pakinabang na sagot kaysa sa halagang nasa chart, at maaari pa rin nitong hindi magawa ang task. Ikumpara muna ito gamit ang sarili mong prompts bago magkumpara batay sa presyo. Para sa agent workloads, karaniwang solusyon ang pag-route batay sa hirap at paggamit ng murang local tokens para sa bulk work. Karamihan ng pagkontrol sa gastos ng agent sa isang VPS ay tungkol dito.
Mga billing na nakalimutan mo. Ang hourly GPU instance na ihihinto mo ay madalas patuloy na sinisingil para sa attached storage at reserved IP address nito. Suriin ang invoice, hindi ang price page.
Kapag mas kapaki-pakinabang ang self-hosting kahit hindi presyo ang batayan
Apat na sitwasyon kung saan hindi ang kalkulasyon ang pangunahing batayan.
- Data na hindi maaaring lumabas sa iyong kontrol. Kung ipinagbabawal ng isang compliance rule na ipadala ang text sa third party, hindi presyo bawat token ang tinatanong.
- Tuloy-tuloy na mataas na volume ayon sa iskedyul. Ang batch classification job na tumatakbo nang anim na oras bawat gabi ay likas na nasa 25% duty cycle, at hindi ka nito ginugulat sa bill.
- Rate limits. Iisa ang queue ng sarili mong card, at ikaw ang kumokontrol dito.
- Isang model na walang iniaalok na API. Kung kailangan mo ng partikular na fine-tune, wala kang ibang maihahambing dito.
Kung gusto mo munang subukan ang murang bersyon, isang hapon lang ang kailangan para sa pagpapatakbo ng maliit na model sa isang VPS gamit ang Ollama, at ipinapakita ng pagtutugma ng laki ng open model sa card na uupahan mo kung aling GPU ang aktuwal mong kailangan. Magsukat muna roon bago mag-sign up para sa isang buwang GPU rent.
FAQ
Sa anong buwanang dami ng token mas mura ang GPU VPS kaysa API pricing?
Hatiin ang buwanang gastos sa GPU sa presyo ng API bawat isang milyong output token. Ang card na inuupahan sa halagang $365 bawat buwan, kumpara sa frontier API na nagkakahalaga ng 15.00 dollars bawat isang milyon, ay magbe-break even sa 24.3 milyong output token bawat buwan. Kumpara sa maliit na commercial model na nagkakahalaga ng 5.00 dollars, nasa 73 milyon ito. Kumpara sa hosted open-weight model na nagkakahalaga ng 0.20 dollars, hindi makakabuo ng sapat na token sa loob ng isang buwan ang isang mid-range card para mag-break even.
Bakit mas mura ang hosted open-weight API kaysa sa sarili kong GPU?
Dahil ang presyo nito ay itinakda malapit sa gastos ng isang GPU na fully loaded, samantalang hindi fully loaded ang card mo. Ang provider na nagseserbisyo ng libo-libong sabay-sabay na request ay napapanatiling malapit sa saturation ang fleet nito, kaya nakakapagbenta ito ng mga token na malapit sa marginal cost ng pagbuo ng mga ito. Kadalasang idle ang card mo sa malaking bahagi ng araw, pero nagbabayad ka para sa mga oras na idle ito. Sa 10% duty cycle, ang gastos mo ay 3.47 dollars bawat isang milyong output token, kumpara sa 0.20 dollars nila.
Dapat ko bang bilangin pati input token, bukod sa output token?
Bilangin ang mga ito kung mahahaba ang prompt mo. Output token lamang ang ginagamit sa paghahambing dito dahil ito ang pangunahing bahagi ng gastos sa chat at agent work. Kapag idinagdag ang input, nagbabago ang magkabilang panig. Sa API side, hiwalay at mas mababa ang presyo nito sa invoice. Sa sarili mong card, kumokonsumo ng GPU time ang prefill, kaya kasama na ang gastos nito sa aggregate tokens per second na sinukat mo. Magsukat gamit ang aktuwal mong haba ng prompt upang manatiling maihahambing ang dalawang panig.
Paano ko susukatin ang tokens per second na kailangan ng formula?
I-serve ang model sa paraang gagamitin mo rito, pagkatapos basahin ang aggregate generation rate sa ilalim ng totoong concurrency. Sa Ollama, nagpi-print ang ollama run <model> --verbose ng eval rate sa tokens per second, pero iisang stream lamang iyon at mas mababa kaysa aktuwal na rate ng isang batched server. Sa vLLM, nagla-log ang running server ng Avg generation throughput habang may mga request na pinoproseso, at iyon ang value na dapat gamitin. I-monitor ang nvidia-smi kasabay nito. Kung hindi malapit sa 100% ang GPU utilisation habang nagge-generate, hindi mo pa natutukoy ang ceiling.
Sulit bang umupa ng GPU VPS kapag mas mababa sa 10% ang utilisation?
Depende ito sa API na babayaran mo sana. Sa 10% duty cycle, nagbabayad ka ng 3.47 dollars bawat isang milyong output token. Mas mababa ito kaysa sa small commercial at frontier tier, pero mas mataas nang malaki kaysa sa hosted open-weight tier. Sa 2%, nagbabayad ka ng 17.36 dollars. Mas mataas ito kaysa sa lahat ng metered API sa paghahambing na ito, kabilang ang frontier tier. Batay lamang sa presyo, hindi na lamang ang card sa humigit-kumulang 6.9% duty cycle kumpara sa small commercial tier at humigit-kumulang 2.3% kumpara sa frontier tier. Hindi ito kailanman mas mura kaysa sa hosted open weights. Umupa lamang nang mas mababa sa mga threshold na iyon kung privacy o model na walang iniaalok na API ang dahilan ng pag-upa mo.