SSD Nodes Learn Hosting plans →
Rehberler Matt ConnorYazan Matt Connor · Güncellendi 2026-10-26

Yerel LLM saniye başına token ölçümü nasıl yapılır

Kiralık GPU maliyetinin API ile yarışması için belirli bir eşiği aşmanız gerekir. Eşzamanlılık taraması yaparak gerçek token hızınızı hesaplayın ve verimliliği belirleyin.

Saniye başına token değeri bir GPU'nun maliyet etkinliğini neden belirler

Saniye başına token değeri, sunucunuzun çıktı metnini üretme hızıdır ve bir GPU kiralamanın, token başına ücretlendirilen bir API kullanmaktan daha ucuz olup olmadığına karar vermenizi sağlayan temel ölçüttür. Bir GPU sunucusu, boşta kalsa dahi saatlik olarak ücretlendirilir. Barındırılan bir API ise token başına faturalandırılır. Bu nedenle GPU kullanımı, yalnızca ödeme yaptığınız saatlerin büyük çoğunluğunda yeterince yüksek bir çıktı hızı sağladığınızda maliyet avantajı sağlar.

Bu durum, bir yerlerde okuduğunuz teorik bir rakama değil, kendi ölçümünüze ihtiyaç duyduğunuz anlamına gelir. Bu sayfa, kaydedilmesi gereken dört temel değeri tanımlar, ardından bu değerleri üreten komutları ve bu verileri bir karara dönüştüren hesaplama yöntemini açıklar.

Yayınlanan saniye başına token değeri neden sizin değeriniz değildir

DigitalOcean, Temmuz 2026'da vLLM altında FP8 (8-bit kayan nokta) formatında llama3.3-70b-instruct çalıştıran tek bir NVIDIA H200 için iş hacmi verileri yayınladı. Bu veriler faydalıdır ancak sizin verileriniz değildir.

GrafikPublished DigitalOcean H200 figures, llama3.3-70b-instruct FP8, July 2026
Bu grafiğin arkasındaki veriler
[
  {
    "config": "H200, one stream",
    "tok_s": "47"
  },
  {
    "config": "H100, saturated",
    "tok_s": "236"
  },
  {
    "config": "H200, saturated",
    "tok_s": "2,036"
  },
  {
    "config": "H200, saturated, in+out",
    "tok_s": "4,071.6"
  }
]

Yukarıdaki her satır ilgili sayfadan alıntılanmıştır ve bunlardan ikisi verilen aralığın alt sınırıdır; bu nedenle bu iki değeri bir taban olarak okuyun. Bu tablodaki hiçbir şey tarafımızca ölçülmemiştir.

Son iki satırla başlayın. Manşet değeri 4,071.6 tok/s iken, yalnızca çıktı hızı 2,036 tok/s'dir. Manşet, girdi ve çıktı token'larını birlikte sayar. Bu testte 1.024 girdi token'ına karşılık 1.024 çıktı token'ı kullanılmıştır, yani manşetin neredeyse tam olarak yarısı çıktıdır. Bu ayrım önemlidir çünkü çıktı, yavaş olan yarıdır. Prefill (istemi okuma), tüm girdi token'larını tek geçişte işler. Decode (cevabı yazma) ise her seferinde bir token üretir. Toplam iş hacmi manşeti, ucuz bir sayı ile pahalı bir sayının ortalamasını alır.

Şimdi ilk satıra bakın. Aynı H200, tek seferde bir istek sunarken 47 tok/s üretir; dolayısıyla doygunluk değeri, aynı donanımda kırk katından daha fazladır. Bu fark, tek bir decode adımının GPU'yu zamanının çoğunda bellek üzerinde bekletmesinden kaynaklanır ve eşzamanlı istekler bu boş zamanı doldurur. İkinci satır olan 236 tok/s, aynı model üzerinde tek bir H100'dür ve KV cache (anahtar ve değer önbelleği; sunulan bir konuşmanın kartta tuttuğu istek başına bellek) tarafından kısıtlanmaktadır. 80 GB'lık bir kart, 70B'lik bir model için daha az eşzamanlı istek tutar, bu nedenle doygunluk noktası daha düşüktür.

Modeli değiştirin veya girdi-çıktı oranını değiştirin; yukarıdaki her sayı değişecektir. Yayınlanan rakamlar beklentilerinizi belirler, bütçenizi değil; bu, bir VPS'i dürüstçe kıyaslama konusunda disk ve ağ için geçerli olan kuralla aynıdır.

Önemli olan dört metrik

  • İlk token süresi, TTFT. Bir istek gönderilmesi ile ilk çıktı token'ının ulaşması arasındaki gecikmedir. Bu süre, ön doldurma (prefill) ve kuyruk süresinin toplamıdır. Kullanıcı bu gecikmeyi doğrudan hisseder.
  • Akış başına saniyedeki çıktı token sayısı. Bir yanıt yazılmaya başlandıktan sonra ne kadar hızlı üretildiğini gösterir. Yaklaşık 20 tok/s üzerindeki hızlar çoğu insanın okuma hızından daha yüksek olduğu için, bu noktadan sonraki hız artışının kullanıcı deneyimine katkısı azdır.
  • Doygun toplam çıktı verimi. Sunucu tam yük altındayken tüm eşzamanlı akışların toplamıdır. Bu, kapasiteyi belirleyen metriktir ve GPU maliyetini karşılayan değerdir.
  • Eşzamanlılık altında p50 ve p99 TTFT. p50, ortadaki isteği temsil eder. p99 ise 100 isteğin 99'unun altında kaldığı değerdir. Kuyruklanma sorunları her zaman ilk olarak p99 değerinde ortaya çıkar.

İlk iki metrik sunucu boşta olduğunda iyileşir. Üçüncü metrik ise sunucu yoğun olduğunda iyileşir. Bu metrikler birbirine zıt yönlerde hareket eder; bu nedenle tek bir sayı, bir sunucu kutusunun performansını tam olarak tanımlayamaz.

Ölçüm yapmadan önce girdi ve çıktı uzunluklarını sabitleyin

İş hacmi (throughput), trafiğin yapısına bağlıdır. 4.000 token'lık bir istem ve 50 token'lık bir yanıt, prefill (ön dolum) ağırlıklı bir işlemdir. 200 token'lık bir istem ve 2.000 token'lık bir yanıt ise decode (kod çözme) ağırlıklı bir işlemdir. Aynı sunucu bu iki senaryo için birbirinden çok farklı saniye başına token değerleri raporlar; bu nedenle tek bir oran belirleyin, kaydettiğiniz her sayının yanına bu oranı yazın ve farklı oranlar arasında asla karşılaştırma yapmayın. Birçok tedarikçi bu oranda yayın yaptığı için 1.024 girdi ve 1.024 çıktı varsayılan olarak makul bir tercihtir. Gerçek trafiğinizi biliyorsanız, kendi gerçek trafiğinizi kullanın.

Çıktı uzunluğunu da zorunlu tutun. 60 token'dan sonra durma belirtecine (stop token) ulaşan bir model, tam bir çalıştırma ile karşılaştırılamayacak kadar kısa bir süre üretir: TTFT (ilk token'a kadar geçen süre), bu kısa sürenin daha büyük bir kısmını oluşturur ve her istek daha erken bitse bile benchmark bunu saydığı için çıktı iş hacmini aşağı çeker. vLLM benchmark istemcisindeki --ignore-eos bayrağı, her isteğin tam olarak talep edilen sayıda token üretmesini sağlar; böylece iki çalıştırma birbiriyle kıyaslanabilir kalır. Model seçimi, bu sayıları herhangi bir bayraktan daha fazla etkiler: Qwen 3 modelini tek bir VPS GPU'suna sığdırmak konusu, bu seçimin bellek tarafındaki gereksinimlerini ele almaktadır.

Önce tek bir akışı ölçün

En basit durumla başlayın. Bu bir doğrulama testidir ve bir üst sınırdır. Ollama kendi zamanlama verilerini yazdırır.

ollama run llama3.1:8b --verbose "Write 200 words about disk scheduling."

Okunması gereken satır, saniye başına üretilen token sayısını gösteren eval rate satırıdır. prompt eval rate prefill hızını, load duration ise modelin VRAM'e yüklenmesi için harcanan süreyi belirtir. Soğuk başlatma sonrası ilk çağrıda load duration değeri büyük olduğundan total duration yanıltıcıdır. Komutu iki kez çalıştırın ve ikinci sonucu dikkate alın. Ollama, boşta kalan bir modeli varsayılan olarak beş dakika sonra bellekten boşaltır; bu nedenle çalıştırmalar arasında uzun bir duraklama olması sizi tekrar soğuk başlatma durumuna döndürür.

Aynı alanlar, betik yazmayı kolaylaştıran API üzerinden de alınabilir.

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Write 200 words about disk scheduling.",
  "stream": false
}' | jq '{eval_count, eval_duration,
         tok_s: (.eval_count / (.eval_duration / 1000000000))}'

eval_duration nanosaniye cinsindendir, bu yüzden 1.000.000.000 değerine bölmek saniyeyi verir. Bu bölme işlemi, Ollama'nın kendi API dokümantasyonunda saniye başına token sayısı için öngördüğü yöntemdir. Sunucu henüz ayakta değilse, Ollama ile bir VPS üzerinde LLM barındırma rehberi kurulumu ve systemd birimini kapsar.

TTFT (ilk token'a kadar geçen süre) için bir streaming isteği gerekir ve curl bunu sizin için zamanlayabilir.

curl -s -o /dev/null -N \
  -w 'ttfb=%{time_starttransfer}s  total=%{time_total}s\n' \
  http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-8B",
       "messages":[{"role":"user","content":"Write 200 words about disk scheduling."}],
       "stream":true,"max_tokens":256}'

time_starttransfer, yanıt gövdesinin ilk baytının ulaştığı andır. Streaming bir sohbet tamamlamasında bu bayt, ilk sunucu gönderimli olaya (server-sent event) aittir; bu olay ya ilk içerik token'ıdır ya da hemen öncesinde gönderilen sadece rol bilgisini içeren deltadır. Bu nedenle değeri, bir olaylık sapma payıyla TTFT olarak kabul edin. Aynı sunucudaki iki çalıştırmayı karşılaştırmak için yeterince doğrudur.

Tek akışlı sayılar, sunucuyu olduğundan daha iyi gösterir. TTFT, önünüzde kuyrukta bekleyen hiçbir şey olmadığı için alabileceğiniz en iyi değerdir. Akış başına hız ise tüm kart tek bir isteğe hizmet ettiği için alabileceğiniz en iyi değerdir. Bunların hiçbiri, sunucunun gerçek kapasitesini yansıtmaz.

Eşzamanlılık taraması nasıl yapılır?

Tarama, sabit bir iş yükünü artan eşzamanlılık seviyelerinde çalıştırır ve her adımda ne olduğunu kaydeder. vLLM, bunun için gerekli istemciyi içerir ve OpenAI API ile konuştuğu için Ollama ve OpenAI uyumlu diğer tüm servislerle de çalışır.

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/chat/completions \
  --model Qwen/Qwen3-8B \
  --dataset-name random \
  --random-input-len 1024 \
  --random-output-len 1024 \
  --ignore-eos \
  --num-prompts 160 \
  --max-concurrency 16 \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,99

--max-concurrency, uçuş halindeki istekleri sınırlar ve taradığınız değişken budur. --num-prompts gönderilen toplam miktardır; kararlı bir ortalama elde etmek için bunu eşzamanlılığın yaklaşık on katı seviyesinde tutun. Özet, Output token throughput (tok/s): ve Total token throughput (tok/s): değerlerini, ardından Time to First Token başlığı altında Mean TTFT (ms):, Median TTFT (ms): ve P99 TTFT (ms): verilerini yazdırır.

Çıktıda akış başına hız bilgisi yoktur ancak bu, basit bir bölme işlemiyle elde edilebilir. Mean TPOT (ms):, ilk tokendan sonraki ortalama token süresidir; yani token başına 25 ms, akış başına saniyede 40 token demektir. Çıktı verimini eşzamanlılığa bölmek de aynı sonucu verir.

Ardından her çalıştırmayı kaydederek bir döngü oluşturun.

for C in 1 4 16 32 64 128; do
  vllm bench serve \
    --backend openai-chat \
    --base-url http://127.0.0.1:8000 \
    --endpoint /v1/chat/completions \
    --model Qwen/Qwen3-8B \
    --dataset-name random \
    --random-input-len 1024 \
    --random-output-len 1024 \
    --ignore-eos \
    --num-prompts $(( C * 10 )) \
    --max-concurrency "$C" \
    --percentile-metrics ttft,tpot,itl,e2el \
    --metric-percentiles 50,99 \
    --save-result --result-filename "sweep-c$C.json"
done
Kaydedilen JSON dosyalarını okuma

Her çalıştırma bir dosya yazar, bu nedenle ilgilendiğiniz alanları hepsinden aynı anda çekin.

for f in sweep-c*.json; do
  jq -r --arg f "$f" \
    '[$f, .output_throughput, .total_token_throughput,
      .median_ttft_ms, .p99_ttft_ms] | @tsv' "$f"
done

output_throughput, saniyedeki çıktı token sayısıdır. total_token_throughput, girdi tokenlarını da ekler; 1:1 oranında bu değer neredeyse iki katına çıkar. p99_ttft_ms, --metric-percentiles bayrağı olmasa bile orada olacaktır çünkü bu bayrak varsayılan olarak 99 değerini alır. Komuttaki 50 değeri, --percentile-metrics içinde adlandırılan her metriğin yanında median_ttft_ms ile birlikte p50_ttft_ms değerini ekler. .p90_ttft_ms gibi talep etmediğiniz bir yüzdelik dilim isterseniz, jq null çıktısını verir.

Eşzamanlılık taraması gerçekte neyi gösterir?

GrafikIllustrative sweep shape: 8B model, one 24 GB GPU, 1024 in / 1024 out
Bu grafiğin arkasındaki veriler
[
  {
    "label": "1 stream",
    "per_stream_tok_s": 92,
    "total_tok_s": 92,
    "ttft_p50_ms": 48,
    "ttft_p99_ms": 61
  },
  {
    "label": "4 streams",
    "per_stream_tok_s": 88,
    "total_tok_s": 352,
    "ttft_p50_ms": 71,
    "ttft_p99_ms": 96
  },
  {
    "label": "16 streams",
    "per_stream_tok_s": 71,
    "total_tok_s": 1136,
    "ttft_p50_ms": 152,
    "ttft_p99_ms": 244
  },
  {
    "label": "32 streams",
    "per_stream_tok_s": 54,
    "total_tok_s": 1728,
    "ttft_p50_ms": 287,
    "ttft_p99_ms": 498
  },
  {
    "label": "64 streams",
    "per_stream_tok_s": 34,
    "total_tok_s": 2176,
    "ttft_p50_ms": 611,
    "ttft_p99_ms": 1240
  },
  {
    "label": "128 streams",
    "per_stream_tok_s": 18,
    "total_tok_s": 2304,
    "ttft_p50_ms": 1490,
    "ttft_p99_ms": 3820
  }
]

6 satırlık veri, küçük ve kiralanabilir bir GPU sunucusunda, makul büyüklük mertebelerinde bir taramanın oluşturduğu şekli temsil eder. Bunlar sunucunuza ait bir ölçüm veya bir üretici verisi değildir. Yukarıdaki döngüyü çalıştırın ve değerleri kendi sonuçlarınızla değiştirin.

Şekli okuyun, çünkü genellenebilir olan şey şekildir. Tek bir akışta sunucunun tamamı saniyede 92 token üretir ve p99 TTFT değeri 61 ms olur. 128 streams seviyesinde toplam verim saniyede 2304 token ile yirmi beş katına çıkar; ancak her bir akışın hızı saniyede 18 token değerine düşer ve p99 TTFT süresi 3820 ms değerine ulaşır. Toplam verim artar çünkü toplu işleme (batching), boşta geçen bellek bekleme sürelerini faydalı işe dönüştürür. Akış başına hız düşer çünkü aynı hesaplama gücü artık paylaşılmaktadır.

Son ikiye katlama aşaması belirleyicidir. 64 akıştan 128 akışa geçiş, toplam verime yüzde altıdan daha az katkı sağlarken p99 TTFT süresi yaklaşık üç katına çıkar. Bu durum, isteklerin çalışmak yerine kuyrukta beklediğini gösterir; bunun nedeni ya KV cache alanının dolması ya da sunucunun vLLM'in max_num_seqs gibi bir zamanlama sınırına ulaşmış olmasıdır. Faydalı çalışma noktası daha erkendir: 32 akışta sunucu, zirve noktasının yüzde 75'i olan saniyede 1728 token üretir; akış başına hız 54 token/saniye ve p99 TTFT süresi 498 ms olur. Kapasiteniz olarak bu noktayı raporlayın. Eğrinin zirve noktası, kullanıcılara hizmet verilebilecek bir değer değildir.

Ollama ve vLLM aynı metrikleri ölçmez

Bu taramayı varsayılan bir Ollama sunucusunda çalıştırırsanız toplam değer neredeyse hiç değişmez. OLLAMA_NUM_PARALLEL varsayılan olarak 1 değerindedir; bu nedenle bir istek çalışırken diğerleri bekler. p99 TTFT süresinin artmasına neden olan şey bu kuyruktur, toplam çıktı ise sabit kalır. Herhangi bir ölçüm yapmadan önce bu değeri artırın.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=8"

sudo systemctl restart ollama ile yeniden başlatın ve ardından modelin hala sığıp sığmadığını doğrulayın. Her paralel yuva, bağlam penceresinden kendi payını alır; bu nedenle Ollama belgeleri, 4 paralel istek içeren 2K bağlamın 8K alan ayırdığını belirtir. Yuva sayısını çok fazla artırırsanız model VRAM dışına taşar. ollama ps değerini kontrol edin: PROCESSOR sütununda 48%/52% CPU/GPU gibi bir değer görmeniz, modelin bir kısmının CPU üzerinde olduğu anlamına gelir. Bu durumda eşzamanlılığı artırdıkça verim artmak yerine düşecektir. Paralel yuvaların ötesinde istekler, varsayılan olarak 512 olan OLLAMA_MAX_QUEUE değerine kadar kuyruğa alınır; bu sınırdan sonra sunucu 503 hatası döndürür.

vLLM sürekli toplu işleme (continuous batching) kullanır; bu sayede yuvalar boşaldıkça çalışan toplu işe yeni istekler dahil edilir. Eğrisi, bir kaynak tükenene kadar yükselmeye devam eder: genellikle KV önbelleği sınırlayıcıdır, ancak max_num_seqs gibi yapılandırılmış bir üst sınır veya CPU zamanlama yükü eğriyi daha erken düzleştirebilir. Ollama; tek model, tek makine ve düşük kurulum maliyeti için optimize edilmiştir. Bu nedenle iki motor, aynı taramaya farklı yanıtlar verir; bu durum sunum motorları olarak Ollama ve vLLM karşılaştırması konusunun asıl odağıdır. Her bir sayıyı hangi motorun ve hangi sürümün ürettiğini mutlaka kaydedin.

Yanlış metrikleri ölçmenin beş yolu

  • İstemci çok uzakta. İnternet üzerinden dizüstü bilgisayarınızla kıyaslama yapmak, her TTFT değerine gidiş-dönüş sürenizi ekler; bu durumda kendi ev bağlantınızı ölçmüş olursunuz. İstemciyi sunucuyla aynı bölgede çalıştırın.
  • Model soğuktu. İlk istek ağırlıkların yüklenmesine neden olur, vLLM üzerinde ayrıca grafik yakalama (graph capture) süresi de eklenebilir. Bir ısınma (warmup) grubu gönderin ve sonucu dikkate almayın.
  • Önek önbelleği (prefix caching) sizin yerinize yanıt verdi. vLLM, önek önbelleğini varsayılan olarak etkinleştirir; bu nedenle aynı istemi tekrar tekrar göndermek, prefill (ön doldurma) yerine önbelleği ölçmenize neden olur ve TTFT gerçek değerinin çok altına düşer. --dataset-name random her istem farklı olduğu için bu durumu engeller. Emin olmak için sunucuyu --no-enable-prefix-caching ile başlatın.
  • Çıktılar kısaydı. 32-token'lık yanıtlarla TTFT her isteğe hakim olur ve saniyedeki token değeriniz aslında sadece prefill hızını tanımlar. Gerçekçi bir çıktı uzunluğu için --ignore-eos kullanın.
  • Yalnızca 1 eşzamanlılık (concurrency) raporladınız. Bu, tablodaki en iyi TTFT değerini verir ve yalnızca gerçek istekleriniz asla çakışmıyorsa doğru maliyet girdisidir. Eğer istekler çakışıyorsa, maliyet trafiğinizin gerçekte oluşturduğu eşzamanlılıkta sürdürdüğünüz iş hacmine (throughput) bağlıdır, bu yüzden ölçümü orada da yapın.

Ölçülen sayıyı bir karara dönüştürme

Taramanızın gösterdiği çıktı verimini, gerçek trafiğinizin ulaştığı eşzamanlılık seviyesinde alın ve token başına fiyatlandırma ile karşılaştırın. Bu, yalnızca yeterli sayıda istek çakışıp grubu dolu tuttuğunda doygunluk değeridir; tek seferde tek istek gönderen bir iş yükü, kendi tek akışlı hızını kullanmak zorundadır. Her çıktı tokenı ile gelen girdi tokenlarını fiyatlandırdığınızda, başa baş noktası tek bir bölme işlemidir:

cost_per_million_output = price_out + price_in * (input_tokens / output_tokens)
break_even_tok_s = (price_per_hour / cost_per_million_output) * 1000000 / 3600

Bunu DigitalOcean'ın Temmuz 2026 fiyatlarıyla hesaplayalım. H200 özel çıkarım uç noktası saatlik 4.47 dolardı ve sunucusuz Llama 3.3 70B modeli, girdi için milyon token başına 0.65 dolar, çıktı için ise milyon token başına 0.65 dolardı. Yukarıda kullanılan 1:1 oranında, her bir milyon çıktı tokenı beraberinde bir milyon girdi tokenı getirir, bu nedenle efektif fiyat milyon çıktı tokenı başına 1.30 dolardır. Dolayısıyla 4.47 bölü 1.30, saatte yaklaşık 3.44 milyon çıktı tokenı eder ve 3,600 saniyeye bölündüğünde saniyede yaklaşık 955 çıktı tokenı veya girdi-çıktı toplamıyla saniyede yaklaşık 1,910 token elde edilir. Fiyatlar onlara aittir. Bölme işlemi ise bize. 25 Ekim 2026 tarihinde kontrol ettiğimizde H200 uç noktası hala saatlik 4.47 dolardı, ancak DigitalOcean 18 Ağustos 2026'da sunucusuz Llama 3.3 70B'yi kullanımdan kaldırdı ve kullanıcıları, girdi için milyon token başına 0.25 dolar ve çıktı için milyon token başına 0.87 dolar olarak listelenen Llama 4 Maverick modeline yönlendirdi. Bu farklı bir modeldir, dolayısıyla karşılaştırmanın bir anlam ifade etmesi için kendi taramasının yapılması gerekir.

Buna karar veren kelime sürdürülebilirliktir. Doygunluk noktasında günde iki saat boyunca saniyede 955 çıktı tokenına ulaşmak, saniyede 955 sürdürülebilir çıktı tokenı demek değildir; çünkü diğer yirmi iki saatin de ödemesini yaparsınız. Kartı bir GPU Droplet olarak kiralamak çıtayı düşürmez: 25 Ekim 2026'da DigitalOcean'ın Droplet fiyatlandırması, H200'ü uç nokta ile aynı şekilde isteğe bağlı olarak saatlik 4.47 dolardan listeliyordu. En ucuz NVIDIA Droplet'leri olan saatlik 0.76 dolarlık RTX 4000 ve saatlik 1.57 dolarlık L40S veya RTX 6000 ise 70B modelini FP8 formatında tutmak için çok küçüktür. Yukarıdaki rakamlara göre, saniyede 2,036 çıktı tokenında doygunluğa ulaşan bir H200'ün, sadece milyon token başına 0.65 dolarlık maliyeti yakalamak için bile ödeme yaptığınız her saat boyunca bu zirvenin yaklaşık yüzde 47'sini ortalaması gerekir; bunun altındaki değerlerde token başına fiyatlandırma daha avantajlıdır. Self-hosting'i genellikle batıran şey yavaş tokenlar değil, boşta geçen GPU saatleridir.

Dolayısıyla kararınızın iki girdisi vardır. Tarama size tavanı verir. Trafik düzeniniz ise bu tavanın ne kadarını fiilen kullandığınızı belirler. Bunları çarpın, ardından sonucu GPU VPS ile token başına API başa baş noktası kısmına götürün ve hacminiz için cevabı okuyun.

FAQ

Kendi sunucumda barındırdığım bir LLM için saniyedeki iyi token değeri nedir?

Bu sorunun iki cevabı vardır, çünkü metrik iki farklı işlevi yerine getirir. Çıktıyı okuyan tek bir kullanıcı için, akış başına saniyede yaklaşık 20 token üzerindeki herhangi bir değer, okuma hızından daha hızlıdır; dolayısıyla daha yüksek değerlerin bir faydası olmaz. Maliyet açısından önemli olan sayı, gerçek yükünüz altında sürdürebileceğiniz toplam çıktı verimidir ve "iyi" kavramı, başabaş noktanızı kurtaran değerdir. Saati 4.47 dolar olan bir sunucuda, hem girdi hem de çıktı için milyon token başına 0.65 dolar maliyetle, bu alt sınır 1:1 oranında ve Temmuz 2026 fiyatlarıyla saniyede yaklaşık 955 çıktı tokeni seviyesindedir. Büyük bir modeldeki tek bir akış bu seviyeye asla ulaşamaz; batching (toplu işleme) yönteminin var olma sebebi budur.

Eşzamanlı istek eklediğimde Ollama verimim neden sabit kalıyor?

OLLAMA_NUM_PARALLEL varsayılan olarak 1 değerindedir, bu nedenle sunucu model başına aynı anda tek bir istek çalıştırır ve 503 hatası döndürmeden önce geri kalanını OLLAMA_MAX_QUEUE (varsayılan olarak 512) değerine kadar kuyruğa alır. Toplam çıktı sabit kalırken p99 TTFT değerinin yükselmesi, GPU'nun meşgul olmasından ziyade bir kuyruğun oluştuğunun işaretidir. Değişkeni bir systemd drop-in dosyası içinde ayarlayıp servisi yeniden başlatın, ardından ollama ps değerini kontrol edin; çünkü her bir paralel yuva, ayrılan bağlamı (context) çoğaltır ve modelin bir kısmının CPU'ya taşınmasına neden olabilir.

İlk token süresini mi yoksa saniyedeki token değerini mi ölçmeliyim?

İkisini de ölçmelisiniz, çünkü yük arttıkça bu değerler zıt yönlerde hareket eder. TTFT kullanıcının hissettiği değerdir, doygunluğa ulaşmış çıktı verimi ise faturanıza yansıyan değerdir. Her eşzamanlılık adımında p50 ve p99 TTFT değerlerini kaydedin, ardından p99 TTFT değerinin sizin için hala kabul edilebilir olduğu en yüksek eşzamanlılık seviyesini seçin. Kapasiteniz olarak, eğrinin en tepesindeki maksimum değeri değil, o noktadaki verimi raporlayın.

Saniyedeki token sayısının daha yüksek olması her zaman token başına maliyetin daha düşük olduğu anlamına mı gelir?

Hayır. Token başına maliyet, saatlik fiyatın o saat içinde sunucunun gerçekten ürettiği token sayısına bölünmesiyle hesaplanır; bu nedenle günün büyük kısmında boşta kalan hızlı bir sunucunun token başına maliyeti yine de yüksektir. Bunu belirleyen şey tepe hızı değil, kullanım oranıdır. Birimlere de dikkat edin: belirtilen toplam token verimi girdi tokenlerini de sayar, bu nedenle 1:1 girdi-çıktı oranında bu değer, çıktı hızının neredeyse iki katıdır. Karşılaştırma yaptığınız API hem girdi hem de çıktı tokenlerini faturalandırıyorsa, karşılaştırma yapmadan önce her iki tarafın da fiyatını hesaplayın.

Bu yazı işinize yaradı mı?

#benchmarking#tokens-per-second#vllm#ollama#gpu-vps