محاسبه دقیق توکن در ثانیه برای مدلهای محلی LLM
اجاره GPU تنها زمانی از API بهصرفهتر است که از حد آستانه عبور کنید. با اجرای تست استرس و concurrency sweep، نرخ واقعی توکن در ثانیه را برای مدل خود اندازه بگیرید.
چرا تعداد توکن در ثانیه تعیینکننده صرفه اقتصادی GPU است
تعداد توکن در ثانیه (Tokens per second)، نرخ تولید متن خروجی توسط سرور شماست و عددی است که تعیین میکند آیا اجاره یک GPU ارزانتر از پرداخت هزینه به ازای هر توکن در یک API است یا خیر. هزینه یک GPU بهصورت ساعتی محاسبه میشود، فارغ از اینکه در حال پردازش باشد یا بیکار. در مقابل، هزینه APIهای میزبانیشده بر اساس تعداد توکن محاسبه میشود. بنابراین، استفاده از GPU تنها زمانی بهصرفه است که نرخ خروجی بالایی را در اکثر ساعات اجارهای حفظ کنید.
این یعنی شما به یک اندازهگیری دقیق نیاز دارید، نه عددی که از منابع دیگر میخوانید. این صفحه چهار عددی را که ارزش ثبت دارند تعریف میکند، سپس دستوراتی را ارائه میدهد که این اعداد را تولید میکنند و در نهایت محاسباتی را شرح میدهد که آنها را به یک تصمیم نهایی تبدیل میکند.
چرا عدد توکن در ثانیه منتشرشده، عدد واقعی شما نیست
DigitalOcean در ژوئیه 2026 ارقام توان عملیاتی را برای یک NVIDIA H200 که llama3.3-70b-instruct را در حالت FP8 (ممیز شناور 8 بیتی) تحت vLLM اجرا میکند، منتشر کرد. این ارقام مفید هستند اما متعلق به شما نیستند.
دادههای پشت این نمودار
[
{
"config": "H200, one stream",
"tok_s": "47"
},
{
"config": "H100, saturated",
"tok_s": "236"
},
{
"config": "H200, saturated",
"tok_s": "2,036"
},
{
"config": "H200, saturated, in+out",
"tok_s": "4,071.6"
}
]هر ردیف در بالا از آن صفحه نقل شده است و دو مورد از آنها حد پایین بازهای هستند که ارائه شده، بنابراین آن دو را به عنوان کف در نظر بگیرید. هیچکدام از موارد این جدول توسط ما اندازهگیری نشده است.
با دو ردیف آخر شروع کنید. تیتر اصلی 4,071.6 توکن در ثانیه است، در حالی که نرخ فقط-خروجی 2,036 توکن در ثانیه است. تیتر اصلی توکنهای ورودی و خروجی را با هم میشمارد. آن تست از 1,024 توکن ورودی در برابر 1,024 توکن خروجی استفاده کرده است، بنابراین تقریباً دقیقاً نیمی از تیتر مربوط به خروجی است. این تفکیک اهمیت دارد زیرا خروجی، نیمه کُند کار است. مرحله Prefill (خواندن پرامپت) تمام توکنهای ورودی را در یک مرحله پردازش میکند. مرحله Decode (نوشتن پاسخ) هر بار یک توکن تولید میکند. تیتر توان عملیاتی کل، میانگینی از یک عدد ارزان با یک عدد گران است.
حالا ردیف اول را در نظر بگیرید. همان H200 که در هر لحظه یک درخواست را سرویس میدهد، 47 توکن در ثانیه تولید میکند، بنابراین عدد اشباعشده روی سختافزار یکسان، بیش از چهل برابر بیشتر است. این شکاف به این دلیل وجود دارد که یک مرحله Decode، پردازنده گرافیکی (GPU) را در بیشتر زمان خود در انتظار حافظه نگه میدارد و درخواستهای همزمان آن زمان بیکاری را پر میکنند. ردیف دوم، 236 توکن در ثانیه، مربوط به یک H100 واحد روی همان مدل است که توسط KV cache (حافظه کلید و مقدار، یعنی حافظه اختصاصی هر درخواست که مکالمه سرویسدهیشده روی کارت نگه میدارد) محدود شده است. یک کارت 80 گیگابایتی درخواستهای همزمان کمتری را برای یک مدل 70B نگه میدارد، بنابراین در سطح پایینتری اشباع میشود.
مدل را تغییر دهید یا نسبت ورودی به خروجی را عوض کنید تا هر عددی در بالا تغییر کند. ارقام منتشرشده انتظارات شما را تعیین میکنند، نه بودجه شما را؛ این همان قاعدهای است که برای بنچمارک صادقانه یک VPS روی دیسک و شبکه نیز صدق میکند.
چهار عددی که اهمیت دارند
- زمان تا اولین توکن (TTFT): تأخیر بین ارسال درخواست و رسیدن اولین توکن خروجی. این زمان شامل زمان پیشپردازش (prefill) بهعلاوه زمان انتظار در صف است. کاربر این مورد را مستقیماً حس میکند.
- تعداد توکن خروجی در ثانیه، برای هر جریان (stream): سرعت نوشتن یک پاسخ پس از شروع آن. بالاتر از حدود 20 توکن در ثانیه، سرعت از توان خواندن اکثر افراد بیشتر است، بنابراین افزایش سرعت در این بخش دستاورد چندانی ندارد.
- حداکثر توان عملیاتی خروجی (Saturated total output throughput): مجموع تمام جریانهای همزمان در حالتی که سرور کاملاً تحت بار است. این عدد نشاندهنده ظرفیت است و همان عددی است که هزینههای GPU را توجیه میکند.
- مقادیر p50 و p99 برای TTFT تحت شرایط همزمانی: مقدار p50 نشاندهنده درخواست میانی است. مقدار p99 عددی است که 99 درخواست از هر 100 درخواست، سریعتر از آن انجام میشوند. تأخیر ناشی از صف همیشه ابتدا در p99 خود را نشان میدهد.
دو مورد اول زمانی بهبود مییابند که سرور خلوت باشد. مورد سوم زمانی بهبود مییابد که سرور مشغول باشد. این موارد در تضاد با یکدیگر هستند و به همین دلیل است که هیچ عدد واحدی نمیتواند عملکرد یک سرور سرویسدهنده را بهطور کامل توصیف کند.
طول ورودی و خروجی را پیش از اندازهگیری اصلاح کنید
میزان توان عملیاتی (throughput) به شکل ترافیک بستگی دارد. یک پرامپت 4,000 توکنی با پاسخ 50 توکنی، کاری سنگین از نظر prefill است. یک پرامپت 200 توکنی با پاسخ 2,000 توکنی، کاری سنگین از نظر decode محسوب میشود. یک سرور واحد برای این دو حالت، مقادیر بسیار متفاوتی از توکن در ثانیه گزارش میدهد؛ بنابراین یک نسبت را انتخاب کنید، آن را کنار هر عددی که ثبت میکنید بنویسید و هرگز نتایج نسبتهای مختلف را با هم مقایسه نکنید. نسبت 1,024 توکن ورودی در برابر 1,024 توکن خروجی، یک استاندارد معقول است، زیرا چندین فروشنده نتایج خود را با این نسبت منتشر میکنند. اگر ترافیک واقعی خود را میشناسید، از همان استفاده کنید.
طول خروجی را نیز اجباری کنید. مدلی که پس از 60 توکن به stop token میرسد، اجرای کوتاهتری ارائه میدهد که قابل مقایسه با یک اجرای کامل نیست: در این حالت، TTFT سهم بزرگتری از زمان کل را به خود اختصاص میدهد که باعث کاهش توان عملیاتی خروجی در محاسبات بنچمارک میشود، حتی اگر هر درخواست زودتر تمام شود. فلگ --ignore-eos در کلاینت بنچمارک vLLM باعث میشود هر درخواست دقیقاً به تعداد مشخصشده توکن تولید کند، بنابراین دو اجرا با هم قابل مقایسه باقی میمانند. انتخاب مدل بیش از هر فلگی روی این اعداد تأثیر میگذارد: جایگذاری مدل Qwen 3 روی یک GPU در VPS جنبههای مربوط به حافظه در این انتخاب را پوشش میدهد.
اندازهگیری یک استریم در ابتدا
با سادهترین حالت شروع کنید. این یک بررسی سلامت سیستم و تعیین سقف عملکرد است. Ollama زمانبندیهای اختصاصی خود را چاپ میکند.
ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."خطی که باید خوانده شود eval rate است که نشاندهنده تعداد توکنهای خروجی در ثانیه است. prompt eval rate نرخ پیشپردازش (prefill) و load duration زمان صرفشده برای بارگذاری مدل در VRAM است. در اولین فراخوانی پس از یک شروع سرد (cold start)، مقدار load duration بزرگ است، بنابراین total duration گمراهکننده خواهد بود. دستور را دو بار اجرا کنید و نتیجه دوم را بخوانید. Ollama بهصورت پیشفرض مدلهای غیرفعال را پس از 5 دقیقه از حافظه خارج میکند، بنابراین وقفه طولانی بین اجراها شما را به حالت شروع سرد بازمیگرداند.
همین فیلدها از طریق API نیز در دسترس هستند که اسکریپتنویسی با آنها آسانتر است.
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Write 200 words about disk scheduling.",
"stream": false
}' | jq '{eval_count, eval_duration,
tok_s: (.eval_count / (.eval_duration / 1000000000))}'مقدار eval_duration بر حسب نانوثانیه است، بنابراین تقسیم آن بر 1,000,000,000 ثانیه را به دست میدهد. این تقسیم دقیقاً همان چیزی است که مستندات API خود Ollama برای محاسبه توکن در ثانیه توصیه میکند. اگر سرور هنوز بالا نیامده است، میزبانی شخصی LLM با Ollama روی یک VPS مراحل نصب و unit مربوط به systemd را پوشش میدهد.
برای محاسبه TTFT به یک درخواست استریمینگ نیاز دارید و curl میتواند زمان آن را برای شما اندازهگیری کند.
curl -s -o /dev/null -N \
-w 'ttfb=%{time_starttransfer}s total=%{time_total}s\n' \
http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen/Qwen3-8B",
"messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
"stream":true,"max_tokens":256}'مقدار time_starttransfer لحظهای است که اولین بایت از بدنه پاسخ دریافت میشود. در یک تکمیل چت استریمینگ، آن بایت متعلق به اولین رویداد ارسالشده توسط سرور است که یا اولین توکن محتواست یا یک delta فقط شامل نقش (role) که درست پیش از آن ارسال شده است. بنابراین این مقدار را با تقریب یک رویداد، همان TTFT در نظر بگیرید. این مقدار برای مقایسه دو اجرا روی یک سرور به اندازه کافی دقیق است.
اعداد مربوط به تکاستریم، عملکرد سختافزار را بیش از حد واقعی نشان میدهند. TTFT در این حالت بهترین وضعیت ممکن است، زیرا هیچ درخواستی پیش از شما در صف قرار ندارد. نرخ هر استریم نیز بهترین وضعیت ممکن است، زیرا کل کارت گرافیک در حال پاسخدهی به یک درخواست است. هیچکدام از اینها ظرفیت واقعی سرور را نشان نمیدهند.
چگونه یک concurrency sweep اجرا کنیم؟
یک sweep، یک workload ثابت را در سطوح مختلف concurrency اجرا کرده و نتایج هر مرحله را ثبت میکند. vLLM کلاینت مخصوص این کار را ارائه میدهد. از آنجایی که این کلاینت از OpenAI API پشتیبانی میکند، با Ollama و هر سرویس دیگری که با OpenAI سازگار باشد نیز کار میکند.
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts 160 \
--max-concurrency 16 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99پارامتر --max-concurrency تعداد درخواستهای در حال اجرا را محدود میکند و همان متغیری است که در sweep تغییر میدهید. --num-prompts مجموع درخواستهای ارسالی است؛ بنابراین برای رسیدن به یک میانگین پایدار، آن را حدود ده برابر concurrency نگه دارید. خلاصه نتایج، Output token throughput (tok/s): و Total token throughput (tok/s):، و سپس Mean TTFT (ms):، Median TTFT (ms): و P99 TTFT (ms): را تحت عنوان Time to First Token چاپ میکند.
در این خروجی، نرخ به ازای هر stream وجود ندارد، اما با یک تقسیم ساده به دست میآید. Mean TPOT (ms): میانگین زمان برای هر توکن خروجی پس از توکن اول است؛ بنابراین 25 میلیثانیه به ازای هر توکن، معادل 40 توکن در ثانیه برای هر stream است. تقسیم throughput خروجی بر concurrency نیز همین نتیجه را میدهد.
سپس آن را در یک حلقه قرار دهید و هر اجرا را ذخیره کنید.
for C in 1 4 16 32 64 128; do
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts $(( C * 10 )) \
--max-concurrency "$C" \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99 \
--save-result --result-filename "sweep-c$C.json"
doneخواندن فایلهای JSON ذخیرهشده
هر اجرا یک فایل تولید میکند، بنابراین فیلدهای مورد نظر خود را از تمام آنها بهطور همزمان استخراج کنید.
for f in sweep-c*.json; do
jq -r --arg f "$f" \
'[$f, .output_throughput, .total_token_throughput,
.median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
doneoutput_throughput نشاندهنده توکنهای خروجی در ثانیه است. total_token_throughput توکنهای ورودی را نیز به آن اضافه میکند، بنابراین در نسبت 1:1، مقدار آن تقریباً دو برابر میشود. p99_ttft_ms حتی بدون --metric-percentiles نیز وجود خواهد داشت، زیرا مقدار پیشفرض آن فلگ 99 است. عدد 50 در دستور، همان چیزی است که p50_ttft_ms را در کنار median_ttft_ms که برای تمام متریکهای نامگذاریشده در --percentile-metrics وجود دارد، اضافه میکند. اگر درصدی (percentile) را درخواست کنید که قبلاً مشخص نکردهاید، مانند .p90_ttft_ms، ابزار jq مقدار null را چاپ میکند.
یک concurrency sweep دقیقاً چه چیزی را نشان میدهد؟
دادههای پشت این نمودار
[
{
"label": "1 stream",
"per_stream_tok_s": 92,
"total_tok_s": 92,
"ttft_p50_ms": 48,
"ttft_p99_ms": 61
},
{
"label": "4 streams",
"per_stream_tok_s": 88,
"total_tok_s": 352,
"ttft_p50_ms": 71,
"ttft_p99_ms": 96
},
{
"label": "16 streams",
"per_stream_tok_s": 71,
"total_tok_s": 1136,
"ttft_p50_ms": 152,
"ttft_p99_ms": 244
},
{
"label": "32 streams",
"per_stream_tok_s": 54,
"total_tok_s": 1728,
"ttft_p50_ms": 287,
"ttft_p99_ms": 498
},
{
"label": "64 streams",
"per_stream_tok_s": 34,
"total_tok_s": 2176,
"ttft_p50_ms": 611,
"ttft_p99_ms": 1240
},
{
"label": "128 streams",
"per_stream_tok_s": 18,
"total_tok_s": 2304,
"ttft_p50_ms": 1490,
"ttft_p99_ms": 3820
}
]آن 6 ردیف، تصویری از شکلی است که یک sweep روی یک سرور GPU اجارهای کوچک با مقیاسهای منطقی ایجاد میکند. اینها اندازهگیری سرور شما نیستند و ارقام تبلیغاتی فروشنده نیز محسوب نمیشوند. حلقه بالا را اجرا کنید و مقادیر خود را جایگزین آنها کنید.
شکل نمودار را بخوانید، زیرا این شکل است که قابلیت تعمیم دارد. در یک استریم، کل سرور 92 توکن در ثانیه با p99 TTFT معادل 61 میلیثانیه تولید میکند. در 128 streams، مجموع خروجی به 2304 توکن در ثانیه میرسد که بیستوپنج برابر بیشتر است، در حالی که سرعت هر استریم به 18 توکن در ثانیه کاهش یافته و p99 TTFT به 3820 میلیثانیه میرسد. مجموع throughput افزایش مییابد زیرا batching، زمانهای انتظارِ بیهوده حافظه را به کار مفید تبدیل میکند. سرعت هر استریم کاهش مییابد زیرا توان پردازشی اکنون بین آنها تقسیم شده است.
آخرین مرحلهٔ دوبرابر شدن، نشاندهندهٔ نقطهٔ اشباع است. افزایش از 64 به 128 استریم، کمتر از شش درصد به مجموع خروجی اضافه میکند، در حالی که p99 TTFT تقریباً سه برابر میشود؛ این یعنی درخواستها به جای اجرا شدن، در صف انتظار میمانند. دلیل این اتفاق یا پر شدن KV cache است یا رسیدن سرور به محدودیت زمانبندی (scheduling cap) مانند max_num_seqs در vLLM. نقطهٔ عملیاتی مفید، پیش از این مرحله است: در 32 استریم، سرور همچنان 1728 توکن در ثانیه (یعنی 75 درصد اوج توان خود) را با سرعت 54 توکن در ثانیه برای هر استریم و p99 TTFT معادل 498 میلیثانیه ارائه میدهد. این نقطه را به عنوان ظرفیت نهایی خود گزارش کنید. قلهٔ نمودار عددی است که نمیتوانید به کاربران سرویسدهی واقعی با آن انجام دهید.
Ollama و vLLM معیارهای یکسانی را اندازهگیری نمیکنند
این تست را روی یک سرور پیشفرض Ollama اجرا کنید؛ خواهید دید که مجموع خروجی تغییر چندانی نمیکند. مقدار OLLAMA_NUM_PARALLEL بهصورت پیشفرض روی 1 تنظیم شده است، بنابراین در هر لحظه فقط یک درخواست پردازش میشود و بقیه در صف میمانند. همین صف باعث افزایش p99 TTFT میشود، در حالی که مجموع خروجی ثابت میماند. پیش از انجام هرگونه اندازهگیری، این مقدار را افزایش دهید.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_NUM_PARALLEL=8"سرویس را با sudo systemctl restart ollama مجدداً راهاندازی کنید و سپس مطمئن شوید که مدل همچنان در حافظه جا میشود. هر اسلات موازی، سهم خاص خود را از پنجره کانتکست (context window) اشغال میکند؛ بنابراین طبق مستندات Ollama، یک کانتکست 2K با 4 درخواست موازی، مجموعاً 8K فضا اشغال میکند. اگر تعداد اسلاتها را بیش از حد افزایش دهید، مدل از VRAM سرریز میشود. مقدار ollama ps را بررسی کنید: اگر ستون PROCESSOR مقداری شبیه به 48%/52% CPU/GPU را نشان دهد، به این معناست که بخشی از مدل روی CPU قرار گرفته است. در این حالت، با افزایش همزمانی (concurrency)، نرخ خروجی (throughput) بهجای افزایش، کاهش مییابد. پس از پر شدن اسلاتهای موازی، درخواستها در صف OLLAMA_MAX_QUEUE قرار میگیرند (که بهصورت پیشفرض 512 است) و پس از آن، سرور خطای 503 برمیگرداند.
vLLM از قابلیت continuous batching استفاده میکند؛ بنابراین به محض آزاد شدن اسلاتها، درخواستهای جدید را به بچ (batch) در حال اجرا اضافه میکند. نمودار عملکرد آن تا زمانی که یکی از منابع محدودکننده (معمولاً KV cache) تمام نشود، صعودی باقی میماند؛ هرچند محدودیتهای پیکربندیشده مانند max_num_seqs یا سربار زمانبندی CPU میتواند زودتر باعث توقف رشد آن شود. Ollama برای اجرای یک مدل روی یک ماشین با هزینه راهاندازی پایین بهینهسازی شده است. به همین دلیل، این دو موتور پاسخهای متفاوتی به یک تست یکسان میدهند که موضوع اصلی مقایسه Ollama و vLLM به عنوان موتورهای سرویسدهی است. حتماً ثبت کنید که هر عدد توسط کدام موتور و کدام نسخه تولید شده است.
پنج روش برای اندازهگیری شاخصهای اشتباه
- کلاینت در فاصله دوری قرار دارد. بنچمارک گرفتن از لپتاپ شخصی از طریق اینترنت، زمان رفت و برگشت (RTT) شبکه شما را به هر TTFT اضافه میکند؛ بنابراین شما در واقع کیفیت اتصال اینترنت خود را اندازه میگیرید. کلاینت را در همان منطقهای (Region) اجرا کنید که سرور در آن قرار دارد.
- مدل در حالت سرد (Cold) بوده است. اولین درخواست شامل بارگذاری وزنهای مدل است و در vLLM ممکن است شامل زمان صرفشده برای graph capture نیز باشد. یک دسته درخواست گرمکننده (warmup batch) ارسال کنید و نتایج آن را نادیده بگیرید.
- قابلیت Prefix caching به جای شما پاسخ داده است. vLLM بهطور پیشفرض قابلیت automatic prefix caching را فعال میکند؛ بنابراین ارسال مکرر یک پرامپت مشابه، به جای اندازهگیری مرحله prefill، باعث اندازهگیری کش میشود و TTFT به کسری از مقدار واقعی کاهش مییابد.
--dataset-name randomاز این مشکل جلوگیری میکند زیرا هر پرامپت متفاوت است. برای اطمینان، سرور را با--no-enable-prefix-cachingراهاندازی کنید. - خروجیها کوتاه بودهاند. با پاسخهای 32 توکنی، TTFT بر هر درخواست غالب میشود و شاخص tokens per second شما در واقع فقط مرحله prefill را توصیف میکند. از
--ignore-eosبا طول خروجی واقعبینانه استفاده کنید. - شما فقط concurrency 1 را گزارش کردهاید. این حالت بهترین TTFT را در گزارش نشان میدهد و تنها زمانی هزینه واقعی را درست محاسبه میکند که درخواستهای شما هرگز با هم همپوشانی نداشته باشند. اگر درخواستها همپوشانی دارند، هزینه به throughputای بستگی دارد که در سطح concurrency واقعی ترافیک شما حفظ میشود؛ بنابراین در آن سطح نیز اندازهگیری کنید.
تبدیل عدد اندازهگیریشده به تصمیم نهایی
throughput خروجی که در sweep و در concurrency واقعی ترافیک خود مشاهده کردهاید را با قیمتگذاری به ازای هر توکن مقایسه کنید. این عدد تنها زمانی نشاندهنده اشباع (saturation) است که درخواستهای کافی بهطور همپوشانی وجود داشته باشند تا batch پر بماند؛ workloadای که درخواستها را یکییکی میفرستد، ناچار است از نرخ تکجریانی (single-stream) خود استفاده کند. نقطه سربهسر با یک تقسیم ساده به دست میآید، به شرطی که قیمت توکنهای ورودی که همراه با هر توکن خروجی میآیند را نیز محاسبه کنید:
cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600این محاسبات را با قیمتهای جولای 2026 در DigitalOcean بررسی کنید. endpoint اختصاصی استنتاج H200 آنها 4.47 دلار در ساعت بود و سرویس serverless مدل Llama 3.3 70B برای ورودی و خروجی، هر کدام 0.65 دلار به ازای هر میلیون توکن هزینه داشت. با نسبت 1:1 که در بالا استفاده شد، هر میلیون توکن خروجی، یک میلیون توکن ورودی نیز به همراه دارد، بنابراین قیمت نهایی 1.30 دلار به ازای هر میلیون توکن خروجی است. پس 4.47 تقسیم بر 1.30 برابر با حدود 3.44 میلیون توکن خروجی در ساعت است و تقسیم آن بر 3600 ثانیه، حدود 955 توکن خروجی در ثانیه یا حدود 1910 توکن در ثانیه با احتساب ورودی و خروجی را به دست میدهد. قیمتها متعلق به آنهاست و تقسیم متعلق به ما. زمانی که در 25 اکتبر 2026 بررسی کردیم، endpoint مدل H200 همچنان 4.47 دلار در ساعت بود، اما DigitalOcean سرویس serverless مدل Llama 3.3 70B را در 18 آگوست 2026 بازنشسته کرد و کاربران را به مدل Llama 4 Maverick ارجاع داد که قیمت آن 0.25 دلار برای هر میلیون توکن ورودی و 0.87 دلار برای هر میلیون توکن خروجی است. این یک مدل متفاوت است، بنابراین پیش از هر مقایسهای، نیاز به sweep مخصوص خود دارد.
کلمهای که این تصمیم را تعیین میکند، پایداری (sustained) است. رسیدن به 955 توکن خروجی در ثانیه در حالت اشباع برای دو ساعت در روز، به معنای 955 توکن خروجی در ثانیه بهصورت پایدار نیست، زیرا شما هزینه 22 ساعت دیگر را نیز پرداخت میکنید. اجاره کارت بهعنوان GPU Droplet نیز شرایط را بهتر نمیکند: در 25 اکتبر 2026، قیمتگذاری Droplet در DigitalOcean برای H200 برابر با 4.47 دلار در ساعت (on-demand) بود، دقیقاً مشابه endpoint، و ارزانترین NVIDIA Dropletهای آنها، یعنی RTX 4000 با قیمت 0.76 دلار در ساعت و L40S یا RTX 6000 با قیمت 1.57 دلار در ساعت، برای جای دادن یک مدل 70B در فرمت FP8 بسیار کوچک هستند. بنابراین با ارقام بالا، یک H200 که در 2036 توکن خروجی در ثانیه اشباع میشود، باید در تمام ساعاتی که هزینه پرداخت میکنید بهطور میانگین حدود 47 درصد از آن پیک را داشته باشد تا با قیمت 0.65 دلار برای هر میلیون توکن ورودی و خروجی برابری کند؛ در غیر این صورت، قیمت به ازای هر توکن بهصرفهتر است. ساعات بیکاری GPU، نه کندی توکنها، همان چیزی است که معمولاً باعث شکست پروژه self-hosting میشود.
بنابراین تصمیم شما دو ورودی دارد. sweep به شما سقف توانایی را میدهد. الگوی ترافیک شما، کسری از آن سقف را که واقعاً استفاده میکنید مشخص میکند. آنها را در هم ضرب کنید و نتیجه را به مقایسه GPU VPS با قیمتگذاری API به ازای هر توکن ببرید و پاسخ را برای حجم کاری خود بخوانید.
FAQ
نرخ توکن بر ثانیه مناسب برای یک LLM خودمیزبان چقدر است؟
دو پاسخ برای این پرسش وجود دارد، زیرا این معیار دو وظیفه متفاوت را انجام میدهد. برای یک نفر که خروجی را میخواند، هر سرعتی بالاتر از حدود 20 توکن بر ثانیه در هر جریان، سریعتر از سرعت خواندن است و افزایش آن کمکی نمیکند. از نظر هزینه، عددی که اهمیت دارد کل توان عملیاتی خروجی است که میتوانید تحت بار واقعی خود حفظ کنید؛ بنابراین «خوب» یعنی هر مقداری که هزینههای شما را پوشش دهد. با در نظر گرفتن قیمت 0.65 دلار برای هر میلیون توکن (چه ورودی و چه خروجی) روی سروری با هزینه 4.47 دلار در ساعت، این نقطه سربهسر در نرخ حدود 955 توکن خروجی بر ثانیه با نسبت 1:1 و قیمتهای ژوئیه 2026 قرار میگیرد. یک جریان روی یک مدل بزرگ هرگز به این عدد نمیرسد و به همین دلیل است که batching وجود دارد.
چرا وقتی درخواستهای همزمان را اضافه میکنم، توان عملیاتی Ollama ثابت میماند؟
OLLAMA_NUM_PARALLEL بهطور پیشفرض روی 1 تنظیم شده است، بنابراین سرور در هر لحظه فقط یک درخواست را برای هر مدل اجرا میکند و بقیه را تا سقف OLLAMA_MAX_QUEUE (بهطور پیشفرض 512) در صف قرار میدهد و پس از آن خطای 503 برمیگرداند. در این حالت، خروجی کل ثابت میماند در حالی که p99 TTFT افزایش مییابد؛ این نشانه وجود صف است، نه مشغول بودن GPU. این متغیر را در یک فایل drop-in برای systemd تنظیم کرده و سرویس را restart کنید، سپس ollama ps را بررسی کنید، زیرا هر slot موازی، context تخصیصیافته را چند برابر میکند و ممکن است بخشی از مدل را به سمت CPU سوق دهد.
آیا باید زمان رسیدن به اولین توکن (TTFT) را اندازه بگیرم یا توکن بر ثانیه را؟
هر دو را، زیرا با افزایش بار، این دو در جهت مخالف یکدیگر حرکت میکنند. TTFT چیزی است که کاربر حس میکند و توان عملیاتی خروجی اشباعشده، چیزی است که در صورتحساب شما منعکس میشود. مقادیر p50 و p99 TTFT را در هر مرحله از concurrency ثبت کنید، سپس بالاترین concurrency را انتخاب کنید که در آن p99 TTFT برای شما قابلقبول باشد. توان عملیاتی در آن نقطه را به عنوان ظرفیت خود گزارش دهید، نه حداکثر مقدار از بالاترین نقطه منحنی.
آیا عدد بالاتر توکن بر ثانیه همیشه به معنای هزینه کمتر برای هر توکن است؟
خیر. هزینه برای هر توکن برابر است با قیمت ساعتی تقسیم بر توکنهایی که سرور واقعاً در آن ساعت تولید کرده است؛ بنابراین یک سرور سریع که بیشتر روز بیکار است، همچنان هزینه بالایی برای هر توکن دارد. میزان بهرهوری (Utilisation) این موضوع را تعیین میکند، نه سرعت اوج. به واحدها نیز دقت کنید: توان عملیاتی کل توکن که در تبلیغات ذکر میشود، توکنهای ورودی را هم میشمارد، بنابراین در نسبت 1:1 ورودی به خروجی، این عدد نزدیک به دو برابر نرخ خروجی است. اگر API که با آن مقایسه میکنید، توکنهای ورودی را نیز مانند خروجیها محاسبه میکند، پیش از مقایسه، قیمت هر دو بخش را محاسبه کنید.