SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-26

Cara Mengukur Token per Detik LLM Lokal

Pelajari cara mengukur token per detik dengan sweep konkurensi, lalu hitung ambang throughput untuk menentukan kapan GPU sewaan lebih hemat daripada biaya API per token.

Mengapa token per detik menentukan apakah GPU menguntungkan

Token per detik adalah laju server menghasilkan teks keluaran. Angka ini menentukan apakah menyewa GPU lebih murah daripada membayar API berdasarkan jumlah token. Biaya GPU dihitung per jam, baik saat GPU sibuk maupun menganggur. Biaya API terkelola dihitung berdasarkan jumlah token. Jadi, GPU hanya lebih hemat jika Anda mempertahankan laju keluaran yang cukup tinggi selama sebagian besar jam yang Anda bayar.

Karena itu, Anda memerlukan pengukuran, bukan angka yang dibaca dari sumber lain. Halaman ini menjelaskan empat angka yang perlu dicatat, lalu memberikan perintah untuk menghasilkan angka tersebut dan perhitungan untuk mengubahnya menjadi keputusan.

Mengapa angka tokens per second yang dipublikasikan bukan angka Anda

DigitalOcean memublikasikan angka throughput pada Juli 2026 untuk satu NVIDIA H200 yang menjalankan llama3.3-70b-instruct dalam FP8 (floating point 8-bit) menggunakan vLLM. Angka tersebut berguna, tetapi bukan angka Anda.

GrafikPublished DigitalOcean H200 figures, llama3.3-70b-instruct FP8, July 2026
Data di balik grafik ini
[
  {
    "config": "H200, one stream",
    "tok_s": "47"
  },
  {
    "config": "H100, saturated",
    "tok_s": "236"
  },
  {
    "config": "H200, saturated",
    "tok_s": "2,036"
  },
  {
    "config": "H200, saturated, in+out",
    "tok_s": "4,071.6"
  }
]

Setiap baris di atas dikutip dari halaman tersebut. Dua di antaranya merupakan batas bawah dari rentang yang dicantumkan, jadi baca kedua angka itu sebagai batas minimum. Tidak ada angka dalam tabel ini yang kami ukur sendiri.

Mulai dari dua baris terakhir. Angka utama adalah 4,071.6 tok/s, sedangkan laju khusus output adalah 2,036 tok/s. Angka utama menghitung token input dan output secara bersamaan. Pengujian tersebut menggunakan 1,024 token input dan 1,024 token output, sehingga hampir tepat separuh angka utama merupakan output. Pemisahan ini penting karena output adalah bagian yang lebih lambat. Prefill (membaca prompt) memproses semua token input dalam satu kali proses. Decode (menulis jawaban) menghasilkan satu token setiap kali. Angka throughput total merata-ratakan proses yang murah dengan proses yang mahal.

Sekarang baris pertama. H200 yang sama saat melayani satu request pada satu waktu menghasilkan 47 tok/s, sehingga angka saat GPU jenuh lebih dari empat puluh kali lebih tinggi pada hardware yang sama. Perbedaan tersebut terjadi karena satu langkah decode membuat GPU menunggu memori hampir sepanjang waktunya, sedangkan request yang berjalan secara bersamaan mengisi waktu idle tersebut. Baris kedua, 236 tok/s, adalah satu H100 pada model yang sama, dengan kinerja yang dibatasi oleh KV cache (key dan value cache, yaitu memori per-request yang digunakan percakapan yang sedang dilayani dan disimpan pada kartu). Kartu berkapasitas 80 GB dapat menampung lebih sedikit request bersamaan untuk model 70B, sehingga tingkat kejenuhannya lebih rendah.

Jika model diubah atau rasio input terhadap output diubah, semua angka di atas juga berubah. Angka yang dipublikasikan membantu menetapkan ekspektasi, bukan anggaran Anda. Aturan yang sama berlaku untuk benchmark VPS secara jujur pada penyimpanan dan jaringan.

Empat angka yang penting

  • Time to first token, TTFT. Jeda antara pengiriman request dan kedatangan token output pertama. Nilai ini merupakan waktu prefill ditambah waktu antrean. Pengguna merasakan metrik ini secara langsung.
  • Token output per detik, per stream. Kecepatan satu jawaban ditulis setelah prosesnya dimulai. Di atas sekitar 20 tok/s, kecepatannya sudah lebih tinggi daripada kecepatan baca kebanyakan orang, sehingga peningkatan tambahan pada metrik ini hanya memberi sedikit manfaat.
  • Throughput output total saat jenuh. Jumlah seluruh stream bersamaan ketika server bekerja pada beban penuh. Ini adalah angka kapasitas, dan angka inilah yang menentukan biaya GPU.
  • p50 dan p99 TTFT saat konkurensi. p50 adalah request di posisi tengah. p99 adalah nilai yang berada di atas 99 dari setiap 100 request. Antrean selalu pertama kali terlihat pada p99.

Dua metrik pertama membaik ketika server tidak sibuk. Metrik ketiga membaik ketika server sibuk. Ketiganya saling berlawanan, sehingga tidak ada satu angka yang dapat menggambarkan server serving.

Tetapkan panjang input dan output sebelum melakukan pengukuran

Throughput bergantung pada bentuk trafik. Prompt 4,000 token dengan jawaban 50 token merupakan beban kerja yang didominasi prefill. Prompt 200 token dengan jawaban 2,000 token merupakan beban kerja yang didominasi decode. Server yang sama akan melaporkan nilai token per detik yang sangat berbeda untuk kedua kondisi tersebut. Karena itu, gunakan satu rasio, tuliskan rasio tersebut di samping setiap angka yang dicatat, dan jangan pernah membandingkan hasil dari rasio yang berbeda. Rasio 1,024 token input dan 1,024 token output merupakan nilai default yang wajar karena beberapa vendor memublikasikan hasil pada rasio tersebut. Jika Anda mengetahui trafik aktual, gunakan trafik aktual tersebut.

Tetapkan juga panjang output. Model yang mencapai stop token setelah 60 token menghasilkan proses yang lebih singkat dan tidak dapat dibandingkan dengan proses penuh. TTFT menjadi bagian yang lebih besar dari durasi tersebut. Akibatnya, throughput output yang dihitung oleh benchmark menurun, meskipun setiap request selesai lebih cepat. Flag --ignore-eos pada client benchmark vLLM membuat setiap request menghasilkan jumlah token yang diminta secara tepat, sehingga kedua proses tetap dapat dibandingkan. Pemilihan model lebih memengaruhi angka ini daripada flag apa pun: menempatkan model Qwen 3 pada satu GPU VPS membahas aspek memori dalam pemilihan tersebut.

Ukur satu stream terlebih dahulu

Mulailah dari kasus paling sederhana. Ini merupakan pemeriksaan kewajaran sekaligus batas atas. Ollama menampilkan waktunya sendiri.

ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."

Baris yang perlu dibaca adalah eval rate, yaitu jumlah output token per detik. prompt eval rate adalah laju prefill, sedangkan load duration adalah waktu yang digunakan untuk memuat model ke VRAM. Pada pemanggilan pertama setelah cold start, load duration bernilai besar sehingga total duration menyesatkan. Jalankan perintah dua kali, lalu baca hasil kedua. Secara default, Ollama membongkar model yang tidak aktif setelah lima menit. Jadi, jeda panjang antarjalankan akan mengembalikan Anda ke kondisi cold start.

Field yang sama tersedia melalui API dan lebih mudah digunakan dalam script.

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Write 200 words about disk scheduling.",
  "stream": false
}' | jq '{eval_count, eval_duration,
         tok_s: (.eval_count / (.eval_duration / 1000000000))}'

eval_duration menggunakan satuan nanodetik. Jadi, membaginya dengan 1,000,000,000 menghasilkan satuan detik. Pembagian tersebut persis seperti yang direkomendasikan dokumentasi API Ollama untuk menghitung token per detik. Jika server belum aktif, self-hosting LLM dengan Ollama pada VPS menjelaskan instalasi dan unit systemd.

TTFT memerlukan request streaming, dan curl dapat mengukur waktunya untuk Anda.

curl -s -o /dev/null -N \
  -w 'ttfb=%{time_starttransfer}s  total=%{time_total}s\n' \
  http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-8B",
       "messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
       "stream":true,"max_tokens":256}'

time_starttransfer adalah saat byte pertama dari body response tiba. Pada streaming chat completion, byte tersebut merupakan bagian dari server-sent event pertama. Event itu dapat berisi token konten pertama atau delta yang hanya berisi role dan dikirim tepat sebelumnya. Jadi, anggap nilai tersebut sebagai TTFT dengan toleransi sekitar satu event. Nilai ini cukup akurat untuk membandingkan dua proses pada server yang sama.

Angka single-stream membuat kemampuan server terlihat lebih tinggi dalam dua hal. TTFT berada pada nilai terbaiknya karena tidak ada request lain yang mengantre di depan Anda. Laju per stream juga berada pada nilai terbaiknya karena seluruh card melayani satu request. Keduanya tidak menunjukkan beban yang dapat ditangani server.

Bagaimana cara menjalankan sweep konkurensi?

Sweep menjalankan satu workload tetap dengan tingkat konkurensi yang meningkat, lalu mencatat hasil pada setiap langkah. vLLM menyediakan client untuk keperluan ini. Client tersebut menggunakan OpenAI API, sehingga juga dapat digunakan dengan Ollama dan layanan lain yang kompatibel dengan OpenAI.

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/chat/completions \
  --model Qwen/Qwen3-8B \
  --dataset-name random \
  --random-input-len 1024 \
  --random-output-len 1024 \
  --ignore-eos \
  --num-prompts 160 \
  --max-concurrency 16 \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,99

--max-concurrency membatasi jumlah request yang sedang diproses, dan nilainya yang Anda sweep. --num-prompts adalah jumlah total request yang dikirim. Pertahankan nilainya sekitar sepuluh kali tingkat konkurensi untuk mendapatkan rata-rata yang stabil. Ringkasan menampilkan Output token throughput (tok/s): dan Total token throughput (tok/s):, lalu Mean TTFT (ms):, Median TTFT (ms):, dan P99 TTFT (ms): di bawah heading Time to First Token.

Output tersebut tidak mencantumkan laju per stream, tetapi nilainya dapat dihitung dengan satu pembagian. Mean TPOT (ms): adalah waktu rata-rata per token output setelah token pertama. Jadi, 25 ms per token setara dengan 40 token per detik per stream. Membagi throughput output dengan tingkat konkurensi menghasilkan nilai yang sama.

Selanjutnya, lakukan perulangan dan simpan setiap hasilnya.

for C in 1 4 16 32 64 128; do
  vllm bench serve \
    --backend openai-chat \
    --base-url http://127.0.0.1:8000 \
    --endpoint /v1/chat/completions \
    --model Qwen/Qwen3-8B \
    --dataset-name random \
    --random-input-len 1024 \
    --random-output-len 1024 \
    --ignore-eos \
    --num-prompts $(( C * 10 )) \
    --max-concurrency "$C" \
    --percentile-metrics ttft,tpot,itl,e2el \
    --metric-percentiles 50,99 \
    --save-result --result-filename "sweep-c$C.json"
done
Membaca file JSON yang disimpan

Setiap proses menghasilkan satu file. Karena itu, ambil field yang diperlukan dari semua file sekaligus.

for f in sweep-c*.json; do
  jq -r --arg f "$f" \
    '[$f, .output_throughput, .total_token_throughput,
      .median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
done

output_throughput adalah jumlah token output per detik. total_token_throughput menambahkan kembali token input, sehingga pada rasio 1:1 nilainya hampir dua kali lipat. p99_ttft_ms tetap tersedia meskipun tanpa --metric-percentiles, karena flag tersebut secara default bernilai 99. Angka 50 dalam command menambahkan p50_ttft_ms di samping median_ttft_ms yang diterima oleh setiap metrik yang disebutkan dalam --percentile-metrics. Jika Anda meminta persentil yang tidak diminta sebelumnya, seperti .p90_ttft_ms, jq akan menampilkan null.

Apa yang sebenarnya ditunjukkan oleh sweep konkurensi?

GrafikIllustrative sweep shape: 8B model, one 24 GB GPU, 1024 in / 1024 out
Data di balik grafik ini
[
  {
    "label": "1 stream",
    "per_stream_tok_s": 92,
    "total_tok_s": 92,
    "ttft_p50_ms": 48,
    "ttft_p99_ms": 61
  },
  {
    "label": "4 streams",
    "per_stream_tok_s": 88,
    "total_tok_s": 352,
    "ttft_p50_ms": 71,
    "ttft_p99_ms": 96
  },
  {
    "label": "16 streams",
    "per_stream_tok_s": 71,
    "total_tok_s": 1136,
    "ttft_p50_ms": 152,
    "ttft_p99_ms": 244
  },
  {
    "label": "32 streams",
    "per_stream_tok_s": 54,
    "total_tok_s": 1728,
    "ttft_p50_ms": 287,
    "ttft_p99_ms": 498
  },
  {
    "label": "64 streams",
    "per_stream_tok_s": 34,
    "total_tok_s": 2176,
    "ttft_p50_ms": 611,
    "ttft_p99_ms": 1240
  },
  {
    "label": "128 streams",
    "per_stream_tok_s": 18,
    "total_tok_s": 2304,
    "ttft_p50_ms": 1490,
    "ttft_p99_ms": 3820
  }
]

6 baris tersebut menggambarkan bentuk sweep pada GPU box sewaan berukuran kecil, dengan orde besaran yang masuk akal. Data tersebut bukan pengukuran dari server Anda dan bukan angka dari vendor. Jalankan loop di atas, lalu ganti data tersebut dengan hasil Anda.

Perhatikan bentuknya, karena bentuk inilah yang dapat digeneralisasi. Dengan satu stream, seluruh box menghasilkan 92 token per detik dengan TTFT p99 sebesar 61 ms. Pada 128 streams, totalnya mencapai 2304 token per detik, 25 kali lebih tinggi, sedangkan kecepatan setiap stream turun menjadi 18 token per detik dan TTFT p99 mencapai 3820 ms. Throughput total meningkat karena batching mengubah waktu tunggu memori yang sebelumnya tidak digunakan menjadi pekerjaan yang bermanfaat. Kecepatan per stream menurun karena komputasi yang sama kini digunakan bersama.

Pelipatan ganda terakhir menjadi penanda penting. Perubahan dari 64 menjadi 128 stream menambah total kurang dari 6 persen, sedangkan TTFT p99 naik sekitar tiga kali lipat. Ini berarti request masuk ke antrean, bukan diproses, baik karena KV cache penuh maupun karena server mencapai batas penjadwalan seperti max_num_seqs milik vLLM. Titik operasi yang berguna berada lebih awal. Pada 32 stream, box masih menghasilkan 1728 token per detik, yaitu 75 persen dari puncaknya, dengan kecepatan 54 token per detik per stream dan TTFT p99 sebesar 498 ms. Laporkan titik tersebut sebagai kapasitas Anda. Nilai puncak kurva bukan kapasitas yang dapat Anda gunakan untuk melayani pengguna.

Ollama dan vLLM tidak mengukur hal yang sama

Jalankan pengujian tersebut pada server Ollama dengan konfigurasi default. Totalnya hampir tidak berubah. OLLAMA_NUM_PARALLEL secara default bernilai 1, sehingga satu permintaan berjalan sementara permintaan lainnya menunggu. Antrean inilah yang membuat p99 TTFT meningkat, sementara total output tetap. Tingkatkan nilainya sebelum melakukan pengukuran apa pun.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=8"

Mulai ulang dengan sudo systemctl restart ollama, lalu pastikan model masih muat. Setiap slot paralel mendapatkan bagiannya sendiri dari context window, sehingga dokumentasi Ollama mencatat bahwa context 2K dengan 4 permintaan paralel mengalokasikan 8K. Jika jumlah slot dinaikkan terlalu tinggi, model akan melampaui kapasitas VRAM. Periksa ollama ps: kolom PROCESSOR yang berisi nilai seperti 48%/52% CPU/GPU berarti sebagian model berada di CPU, sehingga throughput akan menurun saat konkurensi ditambah, bukan meningkat. Setelah seluruh slot paralel terpakai, permintaan akan mengantre hingga mencapai OLLAMA_MAX_QUEUE, yang secara default bernilai 512. Setelah itu, server mengembalikan 503.

vLLM menggunakan continuous batching. Karena itu, vLLM memasukkan permintaan baru ke dalam batch yang sedang berjalan saat slot tersedia. Kurvanya terus meningkat hingga salah satu sumber daya habis, biasanya KV cache. Namun, batas yang dikonfigurasi seperti max_num_seqs atau overhead penjadwalan CPU dapat membuat kurva mendatar lebih awal. Ollama dioptimalkan untuk satu model, satu mesin, dan biaya penyiapan yang rendah. Karena itu, kedua engine menghasilkan jawaban yang berbeda pada pengujian yang sama. Inilah pokok bahasan Ollama dan vLLM dibandingkan sebagai engine serving. Catat engine dan versi yang menghasilkan setiap angka.

Lima cara mengukur hal yang salah

  • Client berada jauh. Benchmark dari laptop melalui Internet menambahkan waktu pulang-pergi koneksi Anda ke setiap TTFT, sehingga yang diukur adalah koneksi rumah Anda. Jalankan client di region yang sama dengan server.
  • Model masih cold. Request pertama memerlukan waktu untuk memuat bobot. Pada vLLM, request tersebut juga dapat memerlukan waktu untuk melakukan graph capture. Kirim batch warmup, lalu abaikan hasilnya.
  • Prefix caching memberikan hasil untuk Anda. vLLM mengaktifkan prefix caching otomatis secara default. Karena itu, pengiriman prompt yang sama berulang kali mengukur cache, bukan prefill, dan TTFT turun menjadi sebagian kecil dari nilai sebenarnya. --dataset-name random menghindari masalah ini karena setiap prompt berbeda. Untuk memastikannya, jalankan server dengan --no-enable-prefix-caching.
  • Output terlalu pendek. Dengan jawaban sepanjang 32 token, TTFT mendominasi setiap request dan nilai token per detik Anda sebenarnya lebih menggambarkan prefill. Gunakan --ignore-eos dengan panjang output yang realistis.
  • Anda hanya melaporkan concurrency 1. Nilai ini menghasilkan TTFT paling rendah pada tabel. Nilai ini juga hanya tepat sebagai input biaya jika request aktual Anda tidak pernah tumpang tindih. Jika request saling tumpang tindih, biaya bergantung pada throughput yang dapat dipertahankan pada concurrency yang benar-benar dihasilkan oleh trafik Anda. Karena itu, ukur juga pada tingkat tersebut.

Ubah hasil pengukuran menjadi keputusan

Ambil throughput output yang ditunjukkan oleh sweep pada tingkat konkurensi yang dicapai trafik aktual Anda, lalu bandingkan dengan harga per token. Angka tersebut hanya merupakan hasil pada kondisi jenuh jika cukup banyak request berjalan bersamaan untuk menjaga batch tetap penuh. Workload yang mengirim satu request pada satu waktu harus menggunakan laju single-stream. Setelah harga token input yang menyertai setiap token output diperhitungkan, titik impas dapat dihitung dengan satu pembagian:

cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600

Mari gunakan harga DigitalOcean pada Juli 2026. Endpoint inferensi dedicated H200 mereka berharga $4.47 per jam. Llama 3.3 70B serverless berharga $0.65 per juta token input dan $0.65 per juta token output. Pada rasio 1:1 yang digunakan di atas, setiap satu juta token output disertai satu juta token input. Jadi, harga efektifnya adalah $1.30 per juta token output. Dengan demikian, 4.47 dibagi 1.30 menghasilkan sekitar 3.44 juta token output per jam. Jika dibagi dengan 3,600 detik, hasilnya sekitar 955 token output per detik, atau sekitar 1,910 token per detik jika token input dan output dihitung bersama. Harga tersebut berasal dari DigitalOcean. Perhitungannya berasal dari kita. Saat kami memeriksanya pada 25 October 2026, harga endpoint H200 masih $4.47 per jam. Namun, DigitalOcean menghentikan dukungan untuk Llama 3.3 70B serverless pada 18 August 2026 dan mengarahkan pengguna ke Llama 4 Maverick, yang tercantum dengan harga $0.25 per juta token input dan $0.87 per juta token output. Model tersebut berbeda, sehingga perlu menjalankan sweep tersendiri sebelum perbandingan ini dapat digunakan.

Kata yang menentukan keputusan ini adalah berkelanjutan. Mencapai 955 token output per detik dalam kondisi jenuh selama dua jam per hari bukan berarti mencapai 955 token output per detik secara berkelanjutan, karena Anda tetap membayar 22 jam lainnya. Menyewa kartu tersebut sebagai GPU Droplet juga tidak menurunkan ambang ini. Pada 25 October 2026, harga Droplet DigitalOcean mencantumkan H200 sebesar $4.47 per jam untuk penggunaan on-demand, sama seperti endpoint. NVIDIA Droplet termurah mereka, yaitu RTX 4000 seharga $0.76 per jam serta L40S atau RTX 6000 seharga $1.57 per jam, terlalu kecil untuk menjalankan model 70B dalam FP8. Jadi, berdasarkan angka di atas, H200 yang mencapai kondisi jenuh pada 2,036 token output per detik harus menghasilkan rata-rata sekitar 47 persen dari puncak tersebut selama setiap jam yang dibayar hanya untuk menyamai harga $0.65 per juta token input dan output. Di bawah tingkat tersebut, harga per token lebih menguntungkan. Jam GPU yang menganggur, bukan token yang diproses dengan lambat, biasanya menjadi penyebab utama self-hosting tidak ekonomis.

Jadi, keputusan Anda memiliki dua masukan. Sweep memberikan batas atas. Pola trafik Anda memberikan proporsi batas atas yang benar-benar dapat dimanfaatkan. Kalikan keduanya, lalu gunakan hasilnya pada perbandingan titik impas GPU VPS dan API per token untuk menentukan hasil sesuai volume Anda.

FAQ

Berapa tokens per second yang baik untuk LLM yang di-host sendiri?

Ada dua jawabannya karena metrik ini memiliki dua kegunaan. Bagi satu orang yang membaca output, apa pun yang melebihi sekitar 20 output tokens per second per stream sudah lebih cepat daripada kecepatan membaca, sehingga angka yang lebih tinggi tidak banyak membantu. Untuk biaya, angka yang penting adalah total throughput output yang dapat Anda pertahankan sesuai beban nyata, dan angka yang baik adalah angka yang mencapai titik impas. Dengan tarif $0.65 per million tokens, baik input maupun output, pada server seharga $4.47 per jam, batas tersebut berada di sekitar 955 output tokens per second secara berkelanjutan pada rasio 1:1 dan harga Juli 2026. Satu stream pada model besar tidak pernah mencapainya. Itulah alasan batching digunakan.

Mengapa throughput Ollama saya tetap ketika saya menambahkan request bersamaan?

OLLAMA_NUM_PARALLEL secara default bernilai 1, sehingga server memproses satu request pada satu waktu untuk setiap model dan mengantrekan sisanya, hingga OLLAMA_MAX_QUEUE (default 512), sebelum mengembalikan 503. Total output tetap, sedangkan p99 TTFT meningkat. Ini merupakan ciri antrean, bukan GPU yang sibuk. Tetapkan variabel tersebut dalam systemd drop-in lalu restart. Setelah itu, periksa ollama ps karena setiap slot paralel menggandakan context yang dialokasikan dan dapat memindahkan sebagian model ke CPU.

Sebaiknya saya mengukur time to first token atau tokens per second?

Keduanya, karena nilainya bergerak berlawanan ketika beban meningkat. TTFT adalah hal yang dirasakan pengguna, sedangkan throughput output saat jenuh menentukan nilai pada invoice Anda. Catat p50 dan p99 TTFT pada setiap tingkat concurrency. Kemudian, pilih concurrency tertinggi saat p99 TTFT masih dapat Anda terima. Laporkan throughput pada titik tersebut sebagai kapasitas Anda, bukan nilai maksimum di bagian atas kurva.

Apakah angka tokens per second yang lebih tinggi selalu berarti biaya per token yang lebih rendah?

Tidak. Biaya per token adalah harga per jam dibagi jumlah token yang benar-benar dihasilkan server dalam satu jam. Jadi, server cepat yang sebagian besar waktunya idle tetap memiliki biaya per token yang tinggi. Utilisasi yang menentukan, bukan kecepatan puncak. Perhatikan juga satuannya. Quoted total token throughput mencakup input tokens, sehingga pada rasio input terhadap output 1:1 nilainya hampir dua kali output rate. Jika API yang Anda bandingkan menagih input tokens dan output tokens, hitung harga kedua bagian tersebut sebelum membandingkannya.

Apakah artikel ini bermanfaat?

#benchmarking#tokens-per-second#vllm#ollama#gpu-vps