مقایسه هزینه GPU VPS و API: محاسبه نقطه سربهسر
آیا اجاره GPU VPS بهصرفهتر از پرداخت هزینه به ازای هر توکن در API است؟ در این مقاله فرمول دقیق محاسبه و نقطه سربهسر برای مدلهای مختلف در سال 2026 را بررسی میکنیم.
نقطه سربهسر واقعی کجاست
یک GPU VPS زمانی از مدل پرداخت به ازای هر توکن (per-token) در API پیشی میگیرد که هزینه اجاره ماهانه ثابت، تقسیم بر تعداد توکنهای خروجی که در آن ماه تولید میکنید، کمتر از هزینهای باشد که API برای همان تعداد توکن دریافت میکند. مبلغ اجاره ثابت است، اما صورتحساب API با هر درخواست تغییر میکند. بنابراین پاسخ همیشه یک حجم ماهانه است، نه یک بله یا خیر ساده.
این محاسبات را برای یک GPU VPS میانرده با هزینه 0.50 دلار در ساعت در نظر بگیرید که برای یک ماه 730 ساعته، 365 دلار میشود. در مقایسه با API مدلهای پیشرفته (frontier model)، نقطه سربهسر شما در 24.3 میلیون توکن خروجی در ماه است. در مقایسه با یک مدل تجاری کوچک، این مقدار 73 میلیون توکن است. در مقایسه با یک مدل open-weight میزبانیشده با همان اندازه، شما هرگز به نقطه سربهسر نمیرسید، زیرا یک کارت گرافیک نمیتواند در یک ماه توکن کافی برای رسیدن به نقطه تلاقی تولید کند.
مطالعات منتشرشده درباره نقطه سربهسر، پاسخ این پرسش را نمیدهند. یک تحلیل از فروشندگان در ژوئیه 2026، نقطه تلاقی را برای یک H100 اختصاصی با هزینه 2.00 دلار در ساعت در برابر استنتاج بدون سرور (serverless inference)، نزدیک به 50 درصد بهرهوری تخمین میزند. مطالعات مشابه، یک کارت دیتاسنتر اختصاصی را با یک محصول serverless مقایسه میکنند و شتابدهندهها را با نرخی چند برابر نرخ ساعتی که اینجا استفاده شده، قیمتگذاری میکنند. محاسبات یکسان است. آنچه در ادامه میآید، این محاسبات را برای یک کارت، یک مدل متنباز در محدوده 7B تا 30B و صورتحسابهای معمولی API بازنگری میکند.
تمام اعداد زیر ورودی هستند، نه نتیجه. همه آنها را با مقادیر خود جایگزین کنید.
فرمول، برای اینکه بتوانید اعداد خود را جایگزین کنید
cost_per_million = (hourly_rate * 1000000) / (tokens_per_second * 3600 * duty_cycle)
breakeven_millions_per_month = (hourly_rate * hours_per_month) / api_price_per_million
capacity_millions_per_month = (tokens_per_second * 3600 * hours_per_month) / 1000000
required_duty_cycle = breakeven_millions_per_month / capacity_millions_per_monthچهار ورودی وجود دارد که میتوانید همه آنها را اندازهگیری یا جستجو کنید.
hourly_rateهزینهای است که GPU VPS در هر ساعت دارد، با احتساب ساعاتی که بیکار است. اگر ماهانه پرداخت میکنید، قیمت ماهانه را بر 730 تقسیم کنید.tokens_per_secondنرخ خروجی کلی است که سرور شما تحت همزمانی (concurrency) واقعی شما حفظ میکند. این عدد، نرخ تکجریانی (single-stream) موجود در نمودارهای فروشنده نیست.duty_cycleکسری از ماه است که GPU صرف تولید توکن میکند. سروری که تمام ماه اجاره کردهاید و روزانه دو ساعت از آن استفاده میکنید، روی 8.3% قرار دارد.api_price_per_millionقیمت اندازهگیریشدهای است که برای توکنهای خروجی با آن مقایسه میکنید.
این مثال قیمت توکنهای خروجی را در هر دو طرف محاسبه میکند، زیرا خروجی بخش عمده صورتحساب برای کارهای چت و عاملها (agent) را تشکیل میدهد. اگر پرامپتهای شما طولانی هستند، ورودی را به هر دو طرف اضافه کنید. در سمت API، این یک ردیف جداگانه در صورتحساب است. در کارت گرافیک خودتان، پیشپر کردن (prefill) از زمان GPU استفاده میکند، بنابراین این مورد از قبل به صورت یک tokens_per_second اندازهگیریشده کمتر ظاهر میشود.
نحوه اندازهگیری توکن بر ثانیه پیش از اعتماد به محاسبات
تمام موارد فوق بر پایه یک عدد اندازهگیریشده استوار است. اگر این عدد را با ضریب 3 اشتباه محاسبه کنید، پاسخ نهایی نیز با همان ضریب اشتباه خواهد بود. این اندازهگیری را روی کارتی که اجاره کردهاید، با همان مدل و کوانتایزیشنی (quantisation) که واقعاً قصد اجرای آن را دارید، انجام دهید.
ابزار Ollama مقدار single-stream را با یک دستور به شما میدهد:
ollama run qwen3:8b --verbose "Write 400 words about disk latency."دستور --verbose پس از پایان پاسخ، یک بلوک زمانی چاپ میکند. خطی که اهمیت دارد eval rate است که بر حسب توکن بر ثانیه بیان میشود و فقط شامل مرحله تولید (generation) است. مقدار prompt eval rate سرعت پیشپردازش (prefill) است و معمولاً بسیار بالاتر است. اعداد شما با این مقادیر متفاوت خواهد بود:
eval count: 412 token(s)
eval duration: 9.612s
eval rate: 42.86 tokens/sمقدار single-stream برای مدل هزینهسنجی عدد مناسبی نیست، زیرا این مقدار فقط یک درخواست را در لحظه روی کارتی اندازهگیری میکند که توانایی پاسخدهی به چندین درخواست همزمان را دارد. برای بهدست آوردن عدد کلی (aggregate)، مدل را با vLLM اجرا کنید و throughput گزارششده توسط خودِ سرور را بخوانید:
pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 8192هنگامی که درخواستها در حال پردازش هستند، سرور در هر بازه گزارشدهی یک خط وضعیت چاپ میکند. فیلدهای دقیق ممکن است در نسخههای مختلف vLLM تغییر کنند، بنابراین به جای تکیه بر خروجی من، خروجی سیستم خود را بخوانید:
Avg prompt throughput: 812.4 tokens/s, Avg generation throughput: 396.1 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 21.7%مقدار Avg generation throughput همان عددی است که فرمول به آن نیاز دارد. این عدد با افزودن درخواستهای همزمان افزایش مییابد تا زمانی که KV cache (حافظه کش کلید-مقدار که وضعیت توجه هر درخواست است و vLLM آن را در VRAM نگه میدارد) پر شود؛ پس از آن، رشد عدد متوقف میشود. اگر بیش از این فشار وارد کنید، درخواستها به جای سریعتر شدن، در صف قرار میگیرند که این وضعیت را به صورت افزایش تعداد Waiting مشاهده خواهید کرد. ابزار vLLM همچنین شامل یک تولیدکننده بار (load generator) به نام vllm bench serve است. فلگهای این ابزار بین نسخهها تغییر میکنند، بنابراین به جای کپی کردن دستور از یک پست وبلاگی، دستور vllm bench serve --help را روی نسخهای که نصب کردهاید اجرا کنید.
در حین اجرای تست، کارت گرافیک را زیر نظر بگیرید:
nvidia-smi --query-gpu=utilization.gpu,memory.used,power.draw --format=csv -l 5اگر در حین تولید، مقدار utilization.gpu نزدیک به 100% باقی بماند، شما با محدودیت throughput مواجه هستید و عددی که اندازهگیری کردهاید سقف واقعی است. اگر این مقدار پایین بماند، عامل دیگری محدودکننده است: تعداد کم درخواستهای همزمان، کلاینت کند، یا مدلی که در VRAM جا نمیشود و بخشی از آن به RAM سیستم منتقل (offload) شده است. Ollama و vLLM در اینجا توازنهای بسیار متفاوتی برقرار میکنند و شکاف بین آنها روی یک کارت واحد به قدری زیاد است که میتواند نقطه سربهسر (break-even) شما را چندین برابر تغییر دهد.
هزینهها در طول یک ماه چگونه محاسبه میشوند
این مثال عملی شامل یک VPS با GPU به ظرفیت 24 GB با هزینه 0.50 دلار در ساعت است که یک مدل 8B متنباز را توسط vLLM ارائه میدهد. نرخ خروجی در این سناریو 400 توکن در ثانیه بهصورت مجموع و با 16 درخواست همزمان اندازهگیری شده است. هزینه اجاره ثابت است، صرفنظر از اینکه از کارت استفاده میکنید یا خیر. ظرفیت در این نرخ معادل 1,051 میلیون توکن خروجی در ماه است؛ این همان مقداری است که کارت در صورت فعالیت مداوم و بدون توقف تولید میکند.
دادههای پشت این نمودار
[
{
"output_tokens_millions": 5,
"gpu_vps_usd": 365,
"open_api_usd": 1,
"small_api_usd": 25,
"frontier_api_usd": 75
},
{
"output_tokens_millions": 10,
"gpu_vps_usd": 365,
"open_api_usd": 2,
"small_api_usd": 50,
"frontier_api_usd": 150
},
{
"output_tokens_millions": 25,
"gpu_vps_usd": 365,
"open_api_usd": 5,
"small_api_usd": 125,
"frontier_api_usd": 375
},
{
"output_tokens_millions": 50,
"gpu_vps_usd": 365,
"open_api_usd": 10,
"small_api_usd": 250,
"frontier_api_usd": 750
},
{
"output_tokens_millions": 100,
"gpu_vps_usd": 365,
"open_api_usd": 20,
"small_api_usd": 500,
"frontier_api_usd": 1500
},
{
"output_tokens_millions": 250,
"gpu_vps_usd": 365,
"open_api_usd": 50,
"small_api_usd": 1250,
"frontier_api_usd": 3750
},
{
"output_tokens_millions": 500,
"gpu_vps_usd": 365,
"open_api_usd": 100,
"small_api_usd": 2500,
"frontier_api_usd": 7500
},
{
"output_tokens_millions": 1000,
"gpu_vps_usd": 365,
"open_api_usd": 200,
"small_api_usd": 5000,
"frontier_api_usd": 15000
}
]خط هزینه GPU در مقدار 365 دلار ثابت میماند، زیرا هزینه اجاره به میزان استفاده شما از کارت بستگی ندارد. هر خط مربوط به API یک خط مستقیم است که از نقطه صفر عبور میکند. هر جفت از این خطوط دقیقاً یکبار یکدیگر را قطع میکنند.
در سطح 25 میلیون توکن خروجی در ماه، API مدلهای پیشرو (Frontier) مبلغ 375 دلار هزینه دارد، بنابراین اختلاف هزینه دو طرف کمتر از ده دلار است. در سطح 50 میلیون توکن، مدل تجاری کوچک مبلغ 250 دلار هزینه دارد و همچنان گزینه ارزانتری محسوب میشود. در سطح 1000 میلیون توکن خروجی، که نیازمند فعال بودن کارت در 95 درصد از زمان ماه است، API مدلهای متنباز میزبانیشده مبلغ 200 دلار هزینه دارد که باید با همان هزینه اجاره ثابت مقایسه شود. در این حجم کاری که کارت در بیشترین حد توان خود کار میکند، هزینه اجاره کارت تقریباً دو برابر گرانتر از سرویس API تمام میشود.
این نتیجه آخر برای بسیاری تعجبآور است، اما تصادفی نیست. یک endpoint میزبانیشده برای مدلهای متنباز، در واقع ناوگانی از GPUهاست که با بهرهوری بالا اجرا میشوند؛ بنابراین قیمت آن به هزینه یک کارت که در حالت اشباع کار میکند، نزدیک است. شما نمیتوانید با اجاره یک کارت و اجرای آن با باری کمتر از ظرفیت کامل، بر یک ناوگان اشباعشده پیروز شوید. آنچه میتوانید شکست دهید، قیمتگذاری مدلهای پیشرو (Frontier) است که نه بر اساس زمان مصرف سیلیکون، بلکه بر اساس توانمندی مدل تعیین میشود.
هزینه به ازای هر میلیون توکن خروجی در چرخههای کاری مختلف
حجم کاری و چرخهٔ کاری (duty cycle) دو روی یک سکه هستند. اجارهبها برای ساعتها پرداخت میشود. ساعتهای بیکاری هیچ خروجی ندارند اما همچنان هزینه ایجاد میکنند.
دادههای پشت این نمودار
[
{
"label": "100% duty",
"self_host_usd_per_million": "0.35",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "50% duty",
"self_host_usd_per_million": "0.69",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "25% duty",
"self_host_usd_per_million": "1.39",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "10% duty",
"self_host_usd_per_million": "3.47",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "5% duty",
"self_host_usd_per_million": "6.94",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
},
{
"label": "2% duty",
"self_host_usd_per_million": "17.36",
"open_api_usd_per_million": "0.20",
"small_api_usd_per_million": "5.00",
"frontier_api_usd_per_million": "15.00"
}
]سه ستون API، قیمتهای لیستشده و معمول تا اوت 2026 هستند: 0.20 دلار به ازای هر میلیون توکن خروجی برای یک مدل 8B با وزن باز (open-weight) میزبانیشده، 5.00 دلار برای یک مدل تجاری کوچک، و 15.00 دلار برای یک مدل پیشرو (frontier). این ارقام صرفاً جهت نمونه هستند. پیش از هر تصمیمی، صفحهٔ قیمتهای روز را بررسی کنید. اگر مقایسهٔ شما بهجای توکنهای اندازهگیریشده (metered) با یک طرح ماهانهٔ ثابت است، محاسبات اشتراک متفاوت عمل میکند و نقطهٔ سربهسر تغییر خواهد کرد.
اگر کارت گرافیک را با حداکثر توان (100%) اجرا کنید، هزینهٔ هر میلیون توکن خروجی 0.35 دلار خواهد بود که واقعاً ارزان است. در چرخهٔ کاری 10%، همان یک میلیون توکن 3.47 دلار هزینه دارد. در چرخهٔ کاری 2%، این هزینه به 17.36 دلار میرسد که در محدودهٔ قیمت 0.20 دلاری که مدلهای باز میزبانیشده برای خروجی مشابه دریافت میکنند، نیست.
در مقایسه با یک مدل با وزن بازِ میزبانیشده، اجارهٔ GPU در تمام چرخههای کاریِ این جدول، انتخاب گرانتری است. در چرخهٔ کاری 10%، شما 3.47 دلار به ازای هر میلیون توکن پرداخت میکنید، در حالی که خروجی مشابه با قیمت 0.20 دلار به فروش میرسد. آنچه با این مابهتفاوت میخرید، حریم خصوصی و هزینهای ثابت است که تغییر نمیکند. این موارد میتوانند ارزش مالی واقعی داشته باشند، اما از نظر قیمت، صرفهٔ اقتصادی ندارند؛ بنابراین آنها را بهعنوان یک مزیت قیمتی در نظر نگیرید. در مقایسه با سطوح تجاری، وضعیت برعکس میشود: در چرخهٔ کاری 10%، کارت گرافیک از هر دو قیمت مدلهای تجاری کوچک و پیشرو ارزانتر است و تا زمانی که چرخهٔ کاری به حدود 2.3% نرسد، همچنان از مدل پیشرو ارزانتر باقی میماند.
حجم نقطه سربهسر برای هر سطح API
دادههای پشت این نمودار
[
{
"label": "Hosted open 8B API",
"breakeven_tokens_millions": 1825,
"required_duty_pct": 174
},
{
"label": "Small commercial model",
"breakeven_tokens_millions": 73,
"required_duty_pct": 6.9
},
{
"label": "Frontier model",
"breakeven_tokens_millions": 24.3,
"required_duty_pct": 2.3
}
]برای سطح frontier، شما به 24.3 میلیون توکن خروجی در ماه نیاز دارید که تنها 2.3% از توانایی کارت است. این حد نصاب پایینی است. یک تیم کوچک که در طول روز کاری، ایجنتهای برنامهنویسی را اجرا میکند، بهراحتی از این مقدار عبور میکند.
برای سطح تجاری کوچک، شما به 73 میلیون توکن در ماه یا چرخه کاری 6.9% نیاز دارید. برای سطح مدلهای open-weight میزبانیشده، چرخه کاری مورد نیاز 174% است. هر مقداری بالاتر از 100% طبق تعریف غیرقابلدستیابی است: کارت باید بیش از ساعات موجود در یک ماه کار کند. یک کارت میانرده با این نرخ ساعتی نمیتواند در این مقایسه برنده باشد؛ بنابراین تنها راههای تغییر نتیجه، استفاده از کارت ارزانتر، کارت سریعتر یا دلیلی غیر از قیمت است.
آنچه فرمول پنهان میکند
این فرمول، هزینه ساعتهای GPU و توکنها را محاسبه میکند. چندین هزینه واقعی خارج از این فرمول قرار دارند.
Cold starts. یک مدل 8B با وزنهای 16 بیتی حدود 16 گیگابایت است و بارگذاری آن از دیسک محلی به VRAM دهها ثانیه زمان میبرد. اگر برای صرفهجویی در اجاره، سرور را بین دفعات استفاده متوقف کنید، در هر درخواست اول باید منتظر این زمان بارگذاری بمانید. اگر آن را روشن بگذارید تا از انتظار جلوگیری کنید، چرخه کاری (duty cycle) شما کاهش مییابد که باعث افزایش هزینه به ازای هر توکن میشود. همین بدهبستان، دلیل اصلی وجود استنتاج بدون سرور (serverless inference) است.
ذخیرهسازی و دانلود. وزنها حجیم هستند. یک مدل 8B در حالت 16 بیتی حدود 16 گیگابایت، یک مدل 30B کوانتیزه شده به 4 بیت حدود 18 گیگابایت، و یک مدل 30B در حالت 16 بیتی اصلاً در یک کارت 24 گیگابایتی جا نمیشود. سقف تواناییها در ردههای بالا بهسرعت محدود میشود، جایی که اجرای یک مدل متنباز با تریلیونها پارامتر مانند Kimi K3 به این معنی است که وزنها بهتنهایی از ظرفیت هر کارت تکگرافیکی که بتوانید ساعتی اجاره کنید، فراتر میروند. شما هر ماه هزینه آن دیسک را میپردازید و در هر بار بازسازی (rebuild) نیز هزینه زمانی آن را متحمل میشوید. پس از یک هفته آزمایش، دستور du -sh ~/.cache/huggingface/hub را اجرا کنید. حجم دیسک سریعتر از آنچه انتظار دارید رشد میکند، زیرا هر کوانتیزاسیونی که یک بار امتحان کردهاید، همچنان در آنجا باقی مانده است.
زمان شخصی شما. نسخههای درایور و CUDA، خطاهای out-of-memory در طول کانتکستی که دیروز کار میکرد، یا بهروزرسانی مدلی که قالب چت را تغییر میدهد. هیچکدام از اینها در ارقام هزینه به ازای توکن ظاهر نمیشوند، اما همگی از وقت آزاد شما کسر میشوند. اگر قبلاً تجربه انتخاب اندازه این سرورها را نداشتهاید، خواندن مطلب آنچه یک GPU VPS واقعاً به شما میدهد پیش از تعهد به یک ماه اجاره، ارزشمند است.
شکاف کیفیت. این بزرگترین هزینه پنهان و سختترین مورد برای قیمتگذاری است. یک مدل متنباز 8B، یک مدل پیشرو (frontier model) نیست. اگر این مدل برای انجام کاری به سه تلاش نیاز داشته باشد در حالی که مدل پیشرو با یک تلاش آن را انجام میدهد، قیمت واقعی آن به ازای هر پاسخ مفید، سه برابر مقدار جدول است و ممکن است در نهایت در انجام وظیفه شکست بخورد. پیش از مقایسه بر اساس قیمت، با پرامپتهای خودتان مقایسه کنید. برای بارهای کاری عاملمحور (agent workloads)، پاسخ معمول این است که درخواستها را بر اساس دشواری مسیریابی کنید و توکنهای محلی ارزان را برای کارهای حجیم نگه دارید؛ این همان چیزی است که کنترل هزینههای عامل در یک VPS در نهایت به آن ختم میشود.
صورتحسابهایی که فراموش کردهاید. یک نمونه GPU ساعتی که متوقف کردهاید، اغلب همچنان برای فضای ذخیرهسازی متصل و آدرس IP رزرو شده هزینه دریافت میکند. صورتحساب را بخوانید، نه صفحه قیمتها را.
زمانی که self-hosting به دلایلی غیر از قیمت برتری دارد
چهار موردی که در آنها محاسبات مالی عامل تعیینکننده نیست.
- دادههایی که نباید از کنترل شما خارج شوند. اگر یک قانون انطباق (compliance)، ارسال متن به شخص ثالث را ممنوع کند، قیمت به ازای هر توکن دیگر موضوع بحث نیست.
- حجم کاری بالا و مداوم طبق برنامه. یک job دستهبندی (batch classification) که هر شب 6 ساعت اجرا میشود، طبق طراحی دارای duty cycle معادل 25% است و هرگز با صورتحسابهای غیرمنتظره شما را غافلگیر نمیکند.
- محدودیتهای نرخ (Rate limits). کارت گرافیک شما یک صف اختصاصی دارد که متعلق به خودتان است.
- مدلی که هیچ API آن را ارائه نمیدهد. اگر به یک fine-tune خاص نیاز دارید، هیچ جایگزینی برای مقایسه وجود ندارد.
اگر میخواهید ابتدا نسخه ارزانتر را تست کنید، اجرای یک مدل کوچک روی یک VPS با Ollama تنها به یک بعدازظهر زمان نیاز دارد و تخمین اندازه یک مدل متنباز نسبت به کارتی که قصد اجاره آن را دارید به شما میگوید که واقعاً به چه GPU نیاز دارید. پیش از آنکه برای یک ماه اجاره GPU قرارداد ببندید، ابتدا در آنجا اندازهگیری کنید.
FAQ
در چه حجم توکن ماهانهای، استفاده از GPU VPS بهصرفهتر از قیمتگذاری API است؟
هزینه ماهانه GPU را بر قیمت API به ازای هر میلیون توکن خروجی تقسیم کنید. یک کارت با اجاره ماهانه 365 دلار، در مقایسه با یک API پیشرو با قیمت 15.00 دلار به ازای هر میلیون توکن، در نقطه 24.3 میلیون توکن خروجی در ماه به نقطه سربهسر میرسد. در مقایسه با یک مدل تجاری کوچک با قیمت 5.00 دلار، این مقدار 73 میلیون توکن است. در مقایسه با یک مدل متنباز میزبانیشده با قیمت 0.20 دلار، یک کارت میانرده نمیتواند در یک ماه توکن کافی تولید کند تا اصلاً به نقطه سربهسر برسد.
چرا هزینه API برای یک مدل متنباز میزبانیشده کمتر از GPU شخصی من است؟
زیرا قیمت آنها نزدیک به هزینه یک GPU با بار کاری کامل تعیین شده است، در حالی که کارت شما تحت بار کامل نیست. ارائهدهندهای که به هزاران درخواست همزمان پاسخ میدهد، ناوگان خود را نزدیک به اشباع نگه میدارد، بنابراین میتواند توکنها را نزدیک به هزینه نهایی تولید آنها بفروشد. کارت شما در بیشتر ساعات روز بیکار است و شما هزینه ساعات بیکاری را پرداخت میکنید. در چرخه کاری 10 درصد، هزینه شما 3.47 دلار به ازای هر میلیون توکن خروجی در برابر 0.20 دلار آنها است.
آیا باید توکنهای ورودی را هم مانند توکنهای خروجی محاسبه کنم؟
اگر پرامپتهای شما طولانی هستند، آنها را محاسبه کنید. مقایسه در اینجا فقط از توکنهای خروجی استفاده میکند که عامل غالب در کارهای چت و ایجنت است. افزودن ورودی، هر دو طرف را تغییر میدهد. در سمت API، این یک ردیف جداگانه و با قیمت کمتر در صورتحساب است. روی کارت خودتان، پیشپر کردن (prefill) زمان GPU را مصرف میکند، بنابراین هزینه از قبل در مجموع توکنهای بر ثانیهای که اندازهگیری کردهاید لحاظ شده است. با طول پرامپتهای واقعی خود اندازهگیری کنید تا دو طرف قابل مقایسه باقی بمانند.
چگونه توکن بر ثانیهای که فرمول به آن نیاز دارد را اندازهگیری کنم؟
مدل را به همان شکلی که استفاده خواهید کرد سرو کنید، سپس نرخ تولید کلی را تحت همزمانی واقعی بخوانید. با Ollama، دستور ollama run <model> --verbose یک eval rate را بر حسب توکن بر ثانیه چاپ میکند، اما این یک جریان تکی است و نرخ یک سرور دستهای (batched) را کمتر از واقعیت نشان میدهد. با vLLM، سرور در حال اجرا در حین پردازش درخواستها، Avg generation throughput را در لاگها ثبت میکند و این عددی است که باید استفاده کنید. همزمان nvidia-smi را نیز زیر نظر داشته باشید. اگر میزان استفاده از GPU در حین تولید نزدیک به 100 درصد نیست، هنوز به سقف توانایی نرسیدهاید.
آیا اجاره GPU VPS در استفاده کمتر از 10 درصد ارزش دارد؟
این بستگی به این دارد که در غیر این صورت برای کدام API هزینه میکردید. در چرخه کاری 10 درصد، شما 3.47 دلار به ازای هر میلیون توکن خروجی میپردازید که کمتر از هر دو سطح تجاری کوچک و پیشرو است، اما بسیار بالاتر از سطح مدلهای متنباز میزبانیشده است. در 2 درصد، شما 17.36 دلار میپردازید که بالاتر از هر API مبتنی بر تعرفه در این مقایسه، از جمله سطح پیشرو، است. تنها از نظر قیمت، کارت در چرخه کاری حدود 6.9% در برابر سطح تجاری کوچک و حدود 2.3% در برابر سطح پیشرو، برتری خود را از دست میدهد و هرگز در برابر مدلهای متنباز میزبانیشده برنده نمیشود. تنها زمانی زیر این خطوط اجاره کنید که حریم خصوصی یا مدلی که هیچ API ارائه نمیدهد، چیزی باشد که بابت آن هزینه میکنید.