Cara Kira Tokens Per Second LLM Tempatan
Sewa GPU hanya lebih jimat jika kadar throughput melebihi kos API. Ukur prestasi sebenar menggunakan ujian concurrency sweep untuk menentukan sama ada GPU anda berbaloi.
Mengapa tokens per second menentukan sama ada GPU berbaloi
Tokens per second ialah kadar pelayan anda menghasilkan teks output, dan angka inilah yang menentukan sama ada menyewa GPU lebih murah daripada membayar API bagi setiap token. Kotak GPU dibilkan mengikut jam sama ada ia sibuk atau melahu. API yang dihoskan dibilkan mengikut token. Jadi, GPU hanya lebih menguntungkan jika anda mengekalkan kadar output yang cukup tinggi sepanjang kebanyakan jam yang anda bayar.
Ini bermakna anda memerlukan ukuran sebenar, bukan angka yang anda baca di tempat lain. Halaman ini mentakrifkan empat nombor yang perlu direkodkan, kemudian memberikan arahan yang menghasilkannya serta pengiraan yang menukarkannya menjadi keputusan.
Mengapa angka token sesaat yang diterbitkan bukan angka anda
DigitalOcean menerbitkan angka throughput pada Julai 2026 untuk satu NVIDIA H200 yang menjalankan llama3.3-70b-instruct dalam FP8 (floating point 8-bit) di bawah vLLM. Angka tersebut berguna tetapi ia bukan angka anda.
Data di sebalik carta ini
[
{
"config": "H200, one stream",
"tok_s": "47"
},
{
"config": "H100, saturated",
"tok_s": "236"
},
{
"config": "H200, saturated",
"tok_s": "2,036"
},
{
"config": "H200, saturated, in+out",
"tok_s": "4,071.6"
}
]Setiap baris di atas dipetik daripada halaman tersebut, dan dua daripadanya adalah nilai terendah bagi julat yang diberikan, jadi baca kedua-duanya sebagai nilai lantai. Tiada apa-apa dalam carta ini yang diukur oleh kami.
Mulakan dengan dua baris terakhir. Tajuk utamanya ialah 4,071.6 tok/s, manakala kadar output sahaja ialah 2,036 tok/s. Tajuk utama tersebut mengira token input dan output bersama-sama. Ujian itu menggunakan 1,024 token input berbanding 1,024 token output, jadi hampir tepat separuh daripada tajuk utama adalah output. Pembahagian ini penting kerana output adalah separuh yang perlahan. Prefill (membaca prompt) memproses semua token input dalam satu laluan. Decode (menulis jawapan) menghasilkan satu token pada satu masa. Tajuk utama jumlah throughput meratakan nombor yang murah dengan nombor yang mahal.
Sekarang lihat baris pertama. H200 yang sama melayan satu permintaan pada satu masa menghasilkan 47 tok/s, jadi angka tepu adalah lebih empat puluh kali ganda lebih tinggi pada perkakasan yang sama. Jurang itu wujud kerana satu langkah decode membiarkan GPU menunggu memori bagi kebanyakan masanya, dan permintaan serentak mengisi masa terbiar tersebut. Baris kedua, 236 tok/s, adalah satu H100 pada model yang sama, yang disekat oleh KV cache (cache kunci dan nilai, iaitu memori setiap permintaan yang disimpan oleh perbualan yang dilayan pada kad). Kad 80 GB memuatkan lebih sedikit permintaan serentak untuk model 70B, jadi ia mencapai tahap tepu yang lebih rendah.
Tukar model atau tukar nisbah input kepada output dan setiap nombor di atas akan berubah. Angka yang diterbitkan menetapkan jangkaan anda, bukan bajet anda, yang merupakan peraturan sama yang terpakai untuk menanda aras VPS secara jujur pada cakera dan rangkaian.
Empat angka yang penting
- Time to first token, TTFT. Sela masa antara penghantaran permintaan dan ketibaan token output pertama. Ia merupakan hasil tambah masa prefill dan masa baris gilir. Pengguna merasai kesan metrik ini secara langsung.
- Output tokens per second, per stream. Kelajuan satu jawapan ditulis sebaik sahaja ia bermula. Melebihi kadar kira-kira 20 tok/s, ia sudah lebih pantas daripada kelajuan membaca kebanyakan orang, jadi kelajuan tambahan di sini tidak memberikan banyak manfaat.
- Saturated total output throughput. Hasil tambah merentas semua aliran serentak apabila pelayan dimuatkan sepenuhnya. Ini merupakan angka kapasiti, dan ia adalah angka yang menentukan kos GPU.
- p50 dan p99 TTFT di bawah konkurensi. p50 ialah permintaan pertengahan. p99 ialah nilai yang mana 99 daripada 100 permintaan berada di bawahnya. Masalah baris gilir sentiasa muncul pada p99 terlebih dahulu.
Dua metrik pertama bertambah baik apabila pelayan tidak sibuk. Metrik ketiga bertambah baik apabila pelayan sibuk. Metrik-metrik ini saling bercanggah, itulah sebabnya tiada satu angka tunggal yang dapat menggambarkan prestasi sesebuah kotak pelayan.
Betulkan panjang input dan output sebelum anda membuat pengukuran
Throughput bergantung pada bentuk trafik. Prompt 4,000-token dengan jawapan 50-token merupakan beban kerja yang berat pada prefill. Prompt 200-token dengan jawapan 2,000-token pula merupakan beban kerja yang berat pada decode. Pelayan yang sama akan melaporkan tokens per second yang sangat berbeza bagi kedua-dua senario ini, jadi pilih satu nisbah, tulis nisbah tersebut di sebelah setiap nombor yang anda rekod, dan jangan sekali-kali membuat perbandingan merentas nisbah yang berbeza. 1,024 input dengan 1,024 output adalah nilai lalai yang munasabah kerana beberapa vendor menerbitkan data pada nisbah tersebut. Jika anda mengetahui trafik sebenar anda, gunakan trafik sebenar tersebut.
Tetapkan juga panjang output secara paksa. Model yang mencapai stop token selepas 60 token akan memberikan tempoh larian yang lebih singkat dan tidak boleh dibandingkan dengan larian penuh: TTFT akan menjadi bahagian yang lebih besar dalam tempoh tersebut, yang seterusnya menurunkan output throughput apabila penanda aras mengiranya, walaupun setiap permintaan selesai dengan lebih cepat. Flag --ignore-eos dalam klien penanda aras vLLM memastikan setiap permintaan menjana jumlah yang diminta dengan tepat, supaya dua larian kekal boleh dibandingkan. Pilihan model lebih mempengaruhi angka-angka ini berbanding mana-mana flag: memuatkan model Qwen 3 ke dalam satu GPU VPS merangkumi aspek memori bagi pilihan tersebut.
Ukur satu aliran dahulu
Mulakan dengan kes paling ringkas. Ini merupakan pemeriksaan kewarasan dan had maksimum. Ollama mencetak masa perjalanannya sendiri.
ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."Baris yang perlu dibaca ialah eval rate, iaitu token output sesaat. prompt eval rate ialah kadar pra-isi (prefill), dan load duration ialah masa yang diambil untuk memuatkan model ke dalam VRAM. Pada panggilan pertama selepas permulaan sejuk (cold start), load duration adalah besar, jadi total duration boleh mengelirukan. Jalankan arahan tersebut dua kali dan baca hasil kedua. Ollama memunggah model yang melahu selepas lima minit secara lalai, jadi jeda yang lama antara larian akan mengembalikan anda kepada keadaan sejuk.
Medan yang sama diperoleh daripada API, yang lebih mudah untuk diskripkan.
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Write 200 words about disk scheduling.",
"stream": false
}' | jq '{eval_count, eval_duration,
tok_s: (.eval_count / (.eval_duration / 1000000000))}'eval_duration adalah dalam nanosaat, jadi membahagikannya dengan 1,000,000,000 akan memberikan saat. Pembahagian itu adalah tepat seperti yang ditetapkan oleh dokumentasi API Ollama untuk token sesaat. Jika pelayan belum lagi aktif, pengehosan kendiri LLM dengan Ollama pada VPS merangkumi pemasangan dan unit systemd.
TTFT memerlukan permintaan penstriman, dan curl boleh mengukur masa tersebut untuk anda.
curl -s -o /dev/null -N \
-w 'ttfb=%{time_starttransfer}s total=%{time_total}s\n' \
http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen/Qwen3-8B",
"messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
"stream":true,"max_tokens":256}'time_starttransfer ialah saat bait pertama badan respons tiba. Pada pelengkapan sembang penstriman, bait tersebut tergolong dalam peristiwa pertama yang dihantar pelayan (server-sent event), sama ada token kandungan pertama atau delta peranan sahaja yang dihantar tepat sebelum itu. Jadi, anggap nilai tersebut sebagai TTFT dengan sedikit perbezaan satu peristiwa. Ia cukup tepat untuk membandingkan dua larian pada pelayan yang sama.
Nombor aliran tunggal memberikan gambaran yang terlalu optimistik terhadap perkakasan. TTFT adalah yang terbaik yang mungkin dicapai, kerana tiada apa-apa yang beratur di hadapan anda. Kadar setiap aliran adalah yang terbaik yang mungkin dicapai, kerana keseluruhan kad sedang melayan satu permintaan. Tiada satu pun daripada nilai ini menyatakan kapasiti sebenar perkakasan tersebut.
Bagaimanakah anda menjalankan sweep keserentakan?
Sweep menjalankan satu beban kerja tetap dengan tahap keserentakan yang meningkat, kemudian merekodkan hasil pada setiap tahap. vLLM menyediakan klien untuk tujuan ini, dan klien tersebut menggunakan OpenAI API. Oleh itu, ia juga berfungsi dengan Ollama serta apa-apa perkhidmatan lain yang serasi dengan OpenAI.
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts 160 \
--max-concurrency 16 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99--max-concurrency mengehadkan bilangan permintaan yang sedang diproses, dan nilainya ialah pemboleh ubah yang anda sweep. --num-prompts ialah jumlah permintaan yang dihantar. Tetapkan nilainya hampir sepuluh kali ganda daripada keserentakan untuk mendapatkan purata yang stabil. Ringkasan memaparkan Output token throughput (tok/s): dan Total token throughput (tok/s):, kemudian Mean TTFT (ms):, Median TTFT (ms): dan P99 TTFT (ms): di bawah tajuk Time to First Token.
Output tersebut tidak memaparkan kadar bagi setiap stream, tetapi nilainya boleh dikira dengan satu pembahagian. Mean TPOT (ms): ialah purata masa bagi setiap token output selepas token pertama. Oleh itu, 25 ms bagi setiap token bersamaan 40 token sesaat bagi setiap stream. Membahagikan throughput output dengan keserentakan memberikan nilai yang sama.
Kemudian ulangi proses itu dan simpan setiap run.
for C in 1 4 16 32 64 128; do
vllm bench serve \
--backend openai-chat \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/chat/completions \
--model Qwen/Qwen3-8B \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 1024 \
--ignore-eos \
--num-prompts $(( C * 10 )) \
--max-concurrency "$C" \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,99 \
--save-result --result-filename "sweep-c$C.json"
doneMembaca fail JSON yang disimpan
Setiap run menulis satu fail. Oleh itu, keluarkan medan yang diperlukan daripada semua fail sekali gus.
for f in sweep-c*.json; do
jq -r --arg f "$f" \
'[$f, .output_throughput, .total_token_throughput,
.median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
doneoutput_throughput ialah token output sesaat. total_token_throughput menambah semula token input. Oleh itu, pada nisbah 1:1, nilainya hampir dua kali ganda. p99_ttft_ms tetap akan muncul walaupun tanpa --metric-percentiles kerana flag tersebut mempunyai nilai lalai 99. Nilai 50 dalam arahan menambahkan p50_ttft_ms di sebelah median_ttft_ms yang diterima oleh setiap metrik yang dinamakan dalam --percentile-metrics. Jika anda meminta persentil yang tidak diminta sebelum ini, seperti .p90_ttft_ms, jq memaparkan null.
Apakah yang sebenarnya ditunjukkan oleh concurrency sweep?
Data di sebalik carta ini
[
{
"label": "1 stream",
"per_stream_tok_s": 92,
"total_tok_s": 92,
"ttft_p50_ms": 48,
"ttft_p99_ms": 61
},
{
"label": "4 streams",
"per_stream_tok_s": 88,
"total_tok_s": 352,
"ttft_p50_ms": 71,
"ttft_p99_ms": 96
},
{
"label": "16 streams",
"per_stream_tok_s": 71,
"total_tok_s": 1136,
"ttft_p50_ms": 152,
"ttft_p99_ms": 244
},
{
"label": "32 streams",
"per_stream_tok_s": 54,
"total_tok_s": 1728,
"ttft_p50_ms": 287,
"ttft_p99_ms": 498
},
{
"label": "64 streams",
"per_stream_tok_s": 34,
"total_tok_s": 2176,
"ttft_p50_ms": 611,
"ttft_p99_ms": 1240
},
{
"label": "128 streams",
"per_stream_tok_s": 18,
"total_tok_s": 2304,
"ttft_p50_ms": 1490,
"ttft_p99_ms": 3820
}
]6 baris tersebut adalah ilustrasi bentuk yang dihasilkan oleh sweep pada kotak GPU sewaan kecil, pada magnitud yang munasabah. Ia bukanlah ukuran bagi pelayan anda, dan ia juga bukan angka daripada vendor. Jalankan gelung di atas dan gantikan angka tersebut dengan angka anda sendiri.
Fahami bentuknya, kerana bentuk itulah yang boleh digeneralisasikan. Pada satu aliran, keseluruhan kotak menghasilkan 92 token sesaat dengan p99 TTFT sebanyak 61 ms. Pada 128 streams, jumlah keseluruhan mencapai 2304 token sesaat, dua puluh lima kali ganda lebih tinggi, manakala setiap aliran individu jatuh kepada 18 token sesaat dan p99 TTFT mencapai 3820 ms. Jumlah throughput meningkat kerana batching menukarkan masa menunggu memori yang terbiar menjadi kerja yang berguna. Kelajuan setiap aliran menurun kerana kuasa pengkomputeran yang sama kini dikongsi.
Peningkatan dua kali ganda yang terakhir adalah petunjuknya. Peralihan daripada 64 kepada 128 aliran menambah kurang daripada enam peratus kepada jumlah keseluruhan, manakala p99 TTFT meningkat kira-kira tiga kali ganda. Ini bermakna permintaan sedang beratur dan bukannya diproses, sama ada kerana KV cache sudah penuh atau kerana pelayan telah mencapai had penjadualan seperti max_num_seqs dalam vLLM. Titik operasi yang berguna adalah lebih awal: pada 32 aliran, kotak tersebut masih memberikan 1728 token sesaat, iaitu 75 peratus daripada kemuncaknya, pada 54 token sesaat bagi setiap aliran dan p99 TTFT sebanyak 498 ms. Laporkan titik tersebut sebagai kapasiti anda. Kemuncak lengkung tersebut adalah angka yang tidak boleh anda gunakan untuk melayani pengguna.
Ollama dan vLLM tidak mengukur perkara yang sama
Jalankan ujian tersebut terhadap pelayan Ollama lalai dan jumlahnya hampir tidak berubah. OLLAMA_NUM_PARALLEL ditetapkan kepada 1 secara lalai, jadi satu permintaan berjalan sementara yang lain menunggu, dan baris gilir inilah yang menyebabkan p99 TTFT meningkat manakala jumlah output kekal mendatar. Tingkatkan nilainya sebelum anda mengukur apa-apa.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_NUM_PARALLEL=8"Mulakan semula dengan sudo systemctl restart ollama, kemudian sahkan model tersebut masih dimuatkan. Setiap slot selari mendapat bahagiannya sendiri daripada tetingkap konteks, jadi dokumentasi Ollama menyatakan bahawa konteks 2K dengan 4 permintaan selari memperuntukkan 8K. Tingkatkan bilangan slot dengan cukup tinggi dan model akan melimpah keluar daripada VRAM. Semak ollama ps: lajur PROCESSOR yang memaparkan sesuatu seperti 48%/52% CPU/GPU bermakna sebahagian daripada model berada pada CPU, dan daya pemprosesan kini akan menurun apabila anda menambah konkurensi dan bukannya meningkat. Melepasi slot selari, permintaan akan beratur sehingga OLLAMA_MAX_QUEUE, iaitu 512 secara lalai, selepas itu pelayan akan membalas dengan 503.
vLLM menggunakan continuous batching, jadi ia membenarkan permintaan baharu masuk ke dalam batch yang sedang berjalan apabila slot dikosongkan, dan keluknya terus meningkat sehingga sesuatu kehabisan: biasanya KV cache, walaupun had yang dikonfigurasikan seperti max_num_seqs atau overhead penjadualan CPU boleh meratakannya lebih awal. Ollama mengoptimumkan untuk satu model, satu mesin, dan kos penyediaan yang rendah. Oleh itu, kedua-dua enjin memberikan jawapan yang berbeza bagi ujian yang sama, yang merupakan subjek sebenar bagi Ollama dan vLLM dibandingkan sebagai enjin penyajian. Rekodkan enjin dan versi yang menghasilkan setiap nombor.
Lima cara mengukur perkara yang salah
- Pelanggan berada jauh. Penandaarasan dari komputer riba anda melalui internet menambah masa pergi-balik (round trip) pada setiap TTFT, jadi anda sebenarnya mengukur sambungan rumah anda. Jalankan pelanggan di rantau yang sama dengan pelayan.
- Model dalam keadaan sejuk. Permintaan pertama menanggung beban memuatkan pemberat (weight loading), dan pada vLLM ia juga mungkin menanggung proses tangkapan graf (graph capture). Hantar kelompok pemanas (warmup batch) dan abaikan hasilnya.
- Prefix caching menjawab bagi pihak anda. vLLM mendayakan prefix caching automatik secara lalai, jadi menghantar prompt yang sama berulang kali akan mengukur cache dan bukannya prefill, menyebabkan TTFT merosot kepada sebahagian kecil daripada nilai sebenar.
--dataset-name randommengelakkan perkara ini kerana setiap prompt adalah berbeza. Untuk kepastian, mulakan pelayan dengan--no-enable-prefix-caching. - Output terlalu pendek. Dengan jawapan 32-token, TTFT mendominasi setiap permintaan dan kadar token sesaat anda sebenarnya hanya menggambarkan prefill. Gunakan
--ignore-eosdengan panjang output yang realistik. - Anda hanya melaporkan konkurensi 1. Ia memberikan TTFT paling mesra pada helaian data, dan ia merupakan input kos yang tepat hanya jika permintaan sebenar anda tidak pernah bertindih. Jika ia bertindih, kos bergantung pada daya pemprosesan (throughput) yang anda kekalkan pada tahap konkurensi yang dihasilkan oleh trafik sebenar anda, jadi buat ukuran di situ juga.
Tukarkan nombor pengukuran kepada keputusan
Ambil throughput output yang ditunjukkan oleh sweep pada tahap keserentakan yang dicapai oleh trafik sebenar anda, kemudian bandingkan dengan harga bagi setiap token. Angka tersebut hanya mewakili keadaan tepu jika permintaan yang mencukupi bertindih sehingga batch sentiasa penuh. Beban kerja yang menghantar satu permintaan pada satu masa perlu menggunakan kadar bagi satu stream. Titik pulang modal memerlukan satu pembahagian selepas anda mengambil kira harga token input yang hadir bersama setiap token output:
cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600Gunakan harga DigitalOcean pada July 2026 sebagai contoh. Endpoint inference H200 dedicated mereka berharga $4.47 sejam. Llama 3.3 70B serverless pula berharga $0.65 bagi setiap juta token input dan $0.65 bagi setiap juta token output. Pada nisbah 1:1 yang digunakan di atas, setiap juta token output disertai satu juta token input. Oleh itu, harga efektifnya ialah $1.30 bagi setiap juta token output. Maka, 4.47 dibahagikan dengan 1.30 bersamaan kira-kira 3.44 juta token output sejam. Jika dibahagikan dengan 3,600 saat, hasilnya kira-kira 955 token output sesaat, atau kira-kira 1,910 token sesaat jika token input dan output dikira bersama. Harga tersebut ialah harga mereka. Pengiraan tersebut ialah pengiraan kami. Apabila kami menyemaknya pada 25 October 2026, endpoint H200 masih berharga $4.47 sejam. Namun, DigitalOcean telah menghentikan Llama 3.3 70B serverless pada 18 August 2026 dan mengarahkan pengguna kepada Llama 4 Maverick, yang disenaraikan pada harga $0.25 bagi setiap juta token input dan $0.87 bagi setiap juta token output. Itu model yang berbeza. Oleh itu, model tersebut memerlukan sweep tersendiri sebelum perbandingan itu bermakna.
Perkataan yang menentukan keputusan ini ialah berterusan. Mencapai 955 token output sesaat dalam keadaan tepu selama dua jam sehari tidak bermaksud anda mengekalkan 955 token output sesaat. Anda tetap membayar 22 jam yang lain. Menyewa kad tersebut sebagai GPU Droplet juga tidak mengurangkan ambang itu. Pada 25 October 2026, senarai harga Droplet DigitalOcean menetapkan harga H200 pada $4.47 sejam secara on-demand, sama seperti endpoint tersebut. Droplet NVIDIA mereka yang paling murah, iaitu RTX 4000 pada $0.76 sejam serta L40S atau RTX 6000 pada $1.57 sejam, terlalu kecil untuk memuatkan model 70B dalam FP8. Berdasarkan angka di atas, H200 yang mencapai 2,036 token output sesaat dalam keadaan tepu perlu mencapai purata kira-kira 47 peratus daripada prestasi puncak itu bagi setiap jam yang dibayar, hanya untuk menyamai harga $0.65 bagi setiap juta token input dan output. Jika kurang daripada itu, harga berdasarkan token adalah lebih berbaloi. Jam GPU yang melahu, bukannya token yang perlahan, biasanya menyebabkan self-hosting menjadi tidak berbaloi.
Oleh itu, keputusan anda mempunyai dua input. Sweep memberikan had atas. Corak trafik anda memberikan pecahan had atas yang benar-benar digunakan. Darabkan kedua-duanya, kemudian gunakan hasil itu dalam perbandingan GPU VPS dengan titik pulang modal API berdasarkan token dan lihat jawapan bagi volum anda.
FAQ
Berapakah kadar token per saat yang baik untuk LLM yang dihoskan sendiri?
Terdapat dua jawapan kerana metrik ini mempunyai dua fungsi. Bagi seorang individu yang membaca output, sebarang kadar melebihi kira-kira 20 token output per saat bagi setiap aliran sudah lebih pantas daripada kelajuan membaca, jadi kadar yang lebih tinggi tidak memberikan kelebihan. Dari segi kos, angka yang penting ialah jumlah throughput output yang boleh anda kekalkan di bawah beban sebenar anda, dan "baik" bermaksud apa sahaja yang melepasi titik pulang modal anda. Berbanding $0.65 bagi setiap sejuta token, untuk input dan output, pada pelayan yang berharga $4.47 sejam, paras minimum tersebut berada sekitar 955 token output per saat yang dikekalkan pada nisbah 1:1 berdasarkan harga Julai 2026. Satu aliran pada model yang besar tidak akan mencapai tahap ini, itulah sebabnya batching wujud.
Mengapakah throughput Ollama saya kekal mendatar apabila saya menambah permintaan serentak?
OLLAMA_NUM_PARALLEL ditetapkan secara lalai kepada 1, jadi pelayan menjalankan satu permintaan pada satu masa bagi setiap model dan meletakkan selebihnya dalam baris gilir, sehingga OLLAMA_MAX_QUEUE (512 secara lalai) sebelum mengembalikan ralat 503. Jumlah output kekal mendatar sementara p99 TTFT meningkat, yang merupakan petanda bagi baris gilir dan bukannya GPU yang sibuk. Tetapkan pemboleh ubah tersebut dalam fail drop-in systemd dan mulakan semula, kemudian semak ollama ps, kerana setiap slot selari akan mendarabkan konteks yang diperuntukkan dan boleh menolak sebahagian daripada model ke CPU.
Patutkah saya mengukur masa untuk token pertama (TTFT) atau token per saat?
Kedua-duanya, kerana ia bergerak ke arah yang bertentangan apabila beban meningkat. TTFT adalah apa yang dirasai oleh pengguna, dan throughput output yang tepu adalah apa yang dicerminkan oleh invois anda. Rekodkan p50 dan p99 TTFT pada setiap peringkat konkurensi, kemudian pilih konkurensi tertinggi di mana p99 TTFT masih boleh diterima oleh anda. Laporkan throughput pada titik tersebut sebagai kapasiti anda, bukan nilai maksimum dari puncak lengkung.
Adakah angka token per saat yang lebih tinggi sentiasa bermakna kos per token yang lebih rendah?
Tidak. Kos per token ialah harga setiap jam dibahagikan dengan jumlah token yang sebenarnya dihasilkan oleh pelayan dalam jam tersebut, jadi pelayan yang pantas tetapi melahu sepanjang hari masih mempunyai kos per token yang tinggi. Penggunaan (utilisation) yang menentukannya, bukan kelajuan puncak. Perhatikan juga unitnya: jumlah throughput token yang disebut biasanya mengira token input, jadi pada nisbah input kepada output 1:1, ia hampir dua kali ganda kadar output. Jika API yang anda bandingkan mengenakan caj untuk token input dan output, kirakan harga kedua-dua bahagian sebelum anda membuat perbandingan.