VPS üzerinde self-hosted Whisper ve Piper kurulumu
Kendi sunucunuzda Whisper ve Piper ile ses işleme süreçlerini yönetin. CPU tabanlı VPS maliyetleri, disk gereksinimleri ve OpenAI uyumlu API uç noktası kurulumunu öğrenin.
Self-hosted speech-to-text ve TTS kısaca
Self-hosted speech-to-text ve TTS (text-to-speech), size ait bir sunucuda çalışır. Transkripsiyon işlemi, faster-whisper runtime üzerinden Whisper kullanılarak yapılır. Sentez işlemi Piper tarafından gerçekleştirilir. Her ikisi de GPU olmadan sıradan bir CPU VPS üzerinde çalışır. Küçük Whisper modeli yaklaşık 484 MB disk alanı gerektirir. Bir Piper sesi, bir ONNX modeli ve küçük bir JSON yapılandırma dosyasından oluşan iki dosyadır. Bu dosyaların toplam boyutu 150 MB'ın oldukça altındadır.
Bu nedenle başlangıç noktası olarak ses tercih edilmelidir. Self-hosted görüntü oluşturma ve self-hosted video oluşturma, kullanılabilir hale gelmeden önce GPU gerektirir. Ses için bu gerekmez.
Bu kılavuzda her iki yön ve bunları birleştiren katman ele alınır. Whisper, sesi metne dönüştürür. Piper, metni sese dönüştürür. Her ikisinin önünde çalışan OpenAI uyumlu bir HTTP sunucusu, mevcut bir istemcinin yalnızca base URL değiştirilerek sunucunuza yönlendirilmesini sağlar.
Buradaki komutlarda sabitlenen tüm sürümler, 11 Ekim 2026 tarihinde ilgili projelerin release sayfalarıyla karşılaştırılarak doğrulanmıştır. Hata senaryoları altında belirtilen CTranslate2 sürümleri güncel release sürümleri değil, uyumluluk göstergeleridir.
Neden faster-whisper, referans Whisper paketi değil?
OpenAI'ın whisper paketi modeli PyTorch üzerinde çalıştırır. faster-whisper ise aynı model ağırlıklarını, transformer modelleri için özel olarak yazılmış bir çıkarım motoru olan CTranslate2 üzerinde çalıştırır. Model aynıdır, ancak quantization ve decoding ayarları transkripti etkiler. Aşağıda ölçülen hız farkının nedeni çalışma zamanıdır.
CTranslate2, ağırlıkları yüklerken quantization uygular. Bu nedenle compute_type="int8" tek bir argümandır; ayrı bir dönüştürme adımı gerekmez. Ayrıca PyTorch bağımlılığı yoktur. pip install faster-whisper, CTranslate2, bir tokenizer ve ses kod çözme için PyAV paketlerini yükler. Böylece sanal ortamın boyutu birkaç gigabayt yerine yüzlerce megabayt olur. 40 GB diskli bir VPS üzerinde bu fark, rahat bir kullanım ile disk alanının sıkışması arasındaki farktır.
Aşağıda, projenin small modeli için CPU üzerinde yayımladığı kendi ölçümleri yer alır. Benchmark, Intel Core i7-12700K üzerinde 8 thread kullanarak 13 dakikalık sesi transkribe eder. x_realtime sütunu, 13 dakikanın ölçülen süreye bölünmesiyle elde edilir: 7.6, 13 dakikalık bir kaydın 1 dakika 40 saniyeden biraz uzun sürede tamamlandığı anlamına gelir.
Bu grafiğin arkasındaki veriler
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]İkinci satırı doğru yorumlamak gerekir. Bu CPU üzerinde fp32 kullanıldığında whisper.cpp, faster-whisper'dan daha hızlıdır: 6.2x değerine karşı 5.0x. Üstelik bunu belleğin yarısından daha azını kullanarak yapar. Bu, yerel LLM yığınının llama.cpp tarafının temelinde bulunan aynı ggml ailesidir. int8 ve batching etkinleştirildiğinde faster-whisper öne geçer ve 15.3x değerine ulaşır; bunun karşılığında 3,608 MB RAM kullanır. Sonuç olarak Python API'si ve batching için faster-whisper tercih edilmelidir. RAM'in artırılamadığı durumlarda whisper.cpp tercih edilmelidir.
İlk satır, bu bölümün asıl noktasıdır. Aynı makinede referans paket gerçek zamanın 1.9x hızında çalışır. Bu, 1 saatlik sesin CPU üzerinde yarım saatte işlendiği anlamına gelir.
Whisper model ağırlıkları ne kadar disk alanı gerektirir?
Bu grafiğin arkasındaki veriler
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Bunlar, float16 formatındaki yayınlanmış CTranslate2 dönüştürmeleridir. compute_type="int8" aracının ne yapmadığına dikkat edin: indirme boyutunu küçültmez. Ağırlıklar float16 olarak gelir ve CTranslate2 bunları yükleme sırasında bellekte niceler (quantize eder); bu nedenle large-v3, float16 veya int8 modunda çalıştırılsa da diskte 3,090 MB yer kaplar. int8 kullanımı size diskten değil, RAM ve hızdan tasarruf sağlar.
Modeller ilk kullanımda ~/.cache/huggingface/hub dizinine indirilir. Küçük bir root bölümüne sahip bir VPS üzerinde çalışıyorsanız, download_root argümanını veya HF_HOME ortam değişkenini kullanarak bu dizini yeterli alanı olan bir yere yönlendirin; aksi takdirde ilk çalıştırmada disk dolar ve işlem indirme sırasında yarıda kesilir.
Sistem Python'ını bozmadan faster-whisper kurulumu
Ubuntu 24.04 ve Debian 13, sistem Python'ını harici olarak yönetilen (externally managed) şeklinde işaretler. Sanal bir ortam dışında pip install faster-whisper çalıştırmak şu hata ile derhal durur:
error: externally-managed-environmentBu, apt tarafından yönetilen dosyaları koruyan paketleme sistemidir. Bir sanal ortam kullanın.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1Sürüm 1.2.1, Ekim 2025'te yayınlanan güncel sürümdür. faster-whisper, ses çözümleme işlemini kendi ffmpeg kütüphanelerini içeren PyAV aracılığıyla yapar; bu sayede ayrı bir ffmpeg ikili dosyasına ihtiyaç duymadan mp3 veya m4a dosyalarını okuyabilir. Yukarıdaki ffmpeg paketi, bu kılavuzun ilerleyen kısımlarındaki video işlemleri içindir.
Üç gigabaytlık ağırlık dosyalarını indirmeden önce kurulumu doğrulayın:
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"ok ifadesini içeren bir satır, paketlerin başarıyla kurulduğu anlamına gelir. ctranslate2 adını veren bir ImportError hatası, çalışma zamanının eksik olduğu veya derlenmiş kütüphanesinin yüklenemediği anlamına gelir; mesajın geri kalanı hatanın nedenini belirtir. 32-bit ARM imajlarında CTranslate2 için bir wheel paketi bulunmadığından, pip kurulum aşamasında hata verir.
Toplantı kaydını veya sesli notu metne dökme
Bunu transcribe.py olarak kaydedin:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Bunu ~/stt/bin/python transcribe.py ile çalıştırın. İlk çalıştırmada ağırlıklar indirildiği için bir süre çıktı alınmaz. Daha sonra model önbellekten birkaç saniye içinde yüklenir.
segments bir üreticidir (generator), bu nedenle metne dökme işlemi siz üzerinde yineleme yapana kadar başlamaz. Kullanıcılar transcribe() çağrısını zamanlayıp anında döndüğünü görünce bir şeylerin bozuk olduğunu düşünür. Hiçbir şey bozuk değildir. İşlem döngü içinde gerçekleşir.
vad_filter=True önce Silero VAD (ses etkinliği algılama) çalıştırır ve sessiz bölümleri Whisper görmeden önce eler. Uzun boşluklar içeren bir toplantı kaydında bu, elde edilebilecek en büyük hız kazancıdır; çünkü Whisper konuşma içermeyen ses üzerinde hiç zaman harcamaz. Ayrıca bu yöntem, Whisper'a sessizlik verildiğinde ve içinde kelime bulmaya çalıştığında oluşan tekrarlayan cümle döngülerini de engeller.
cpu_threads değerini sahip olduğunuz gerçek çekirdek sayısına ayarlayın. Bu değeri vCPU sayınızın üzerine çıkarmak metne dökme işlemini yavaşlatır; çünkü fazladan iş parçacıkları aynı çekirdek için rekabet eder ve zamanlayıcı her geçiş için bir maliyet öder.
Jellyfin kitaplığı için altyazılar
Jellyfin, videonun yanında bulunan ve video ile aynı adı taşıyan harici altyazı dosyalarını okur. Bu nedenle Movie (2019).en.srt dosyası Movie (2019).mkv dosyasının yanında bulunduğunda, kitaplık yeniden oluşturulmadan İngilizce bir parça olarak görünür. İlgili istemcinin bu dosyayı doğrudan oynatması, sunucunun videoyu yeniden paketlemesi veya altyazıyı videoya gömmesi, istemcinin desteklediği özelliklere bağlıdır.
Önce ses akışını çıkarın. Whisper, tüm girdileri dahili olarak 16 kHz mono biçimine yeniden örnekler. Girdiyi baştan 16 kHz mono olarak vermek, her iki taraftaki işlem yükünü azaltır:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"faster-whisper, SRT yazıcısı içermez. Bu nedenle segmentleri kendiniz biçimlendirin. Aşağıdaki içeriği srt.py olarak kaydedin:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Ardından kitaplıkta dolaşın:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
done-nostdin, ffmpeg'in klavye etkileşimini devre dışı bırakır. Ayrıca ffmpeg bir döngü içinde çalışırken ve dosya adlarını standart girdiden okurken dosya adlarını tüketmesini önler. Yukarıdaki glob tabanlı döngü, dosya listesini standart girdiden okumaz.
Başlamadan önce gereken süreyi hesaplayın. Yukarıdaki 7.6x değerine göre 100 dakikalık bir film için yaklaşık 13 dakika CPU süresi gerekir. Bu nedenle elli filmlik bir kitaplık gece boyunca çalışacak bir işlemdir. Paylaşımlı bir vCPU planında işlem daha da yavaşlar. nice bu durum için kullanılır: altyazı işlemi, sunucunun gerçek zamanlı olarak yürüttüğü diğer işlemlere öncelik tanır.
Piper ile metinden konuşmaya
Piper, bir ONNX ses modelini CPU üzerinde çalıştıran sinir ağı tabanlı bir metinden konuşmaya motorudur. Metni fonemlere dönüştürmek için espeak-ng kullanır. Bu nedenle ayrıca bir fonemleştirici yüklenmesi gerekmez. Güncel sürüm 1.8.0'dır ve Eylül 2026'da yayımlanmıştır.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'download_voices, çalışma dizinine iki dosya yazar: .onnx ağırlık dosyası ve örnekleme hızını ve konuşmacı listesini içeren .onnx.json yapılandırma dosyası. Bu dosyalar birlikte tutulmalıdır. Sesleri sabit bir konumda tutuyorsanız her iki komuta da --data-dir ile bu konumu belirtin. Aksi halde oynatıcı çalışma dizinine bakar ve orada bulunmayan bir sesi bulamaz.
Metinden önceki -- de önemlidir. Bu işaret, metni komut satırı seçeneklerinden ayırır. Aksi halde tireyle başlayan bir cümle, seçenek olarak yorumlanabilir.
Sesler birden fazla kalite düzeyinde sunulur. Orta kalitede bir İngilizce ses yaklaşık 60 MB, yüksek kalitede bir ses ise bunun yaklaşık iki katı büyüklüğündedir. Daha yüksek kalite, farklı bir konuşmacı anlamına gelmez. Daha büyük bir model ve konuşma saniyesi başına daha fazla CPU kullanımı anlamına gelir.
CLI'yi bir döngü içinde çalıştırmayın. Her çalıştırmada modeli yükler ve kısa bir cümlede maliyetin büyük bölümünü modelin yüklenmesi oluşturur. Bunun yerine HTTP sunucusunu çalıştırın:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeOynatabildiğiniz bir test.wav, yapılandırmanın çalıştığını gösterir. Bu uç noktanın biçimi Piper'a özgüdür; OpenAI biçiminde değildir. Bu nedenle /v1/audio/speech bekleyen bir istemci Piper ile iletişim kuramaz. Sonraki bölümde bu sorun giderilir.
Sunucuyu kapatacağınız bir terminal yerine bir unit dosyasıyla çalışır durumda tutun. Unit, Piper'ı oturum açamayan bir piper kullanıcısı olarak ve bu kullanıcının home dizininden çalıştırır. Böylece servis sizin hesabınıza bağlı olmaz. Kullanıcıyı oluşturun ve Piper ile sesi bu kullanıcı altında yükleyin:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumTerminalde başlattığınız sunucuyu durdurun ve ardından unit dosyasını yazın:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now piper servisi başlatır ve yeniden başlatma sonrasında tekrar çalıştırır. Yukarıdaki curl komutu hiçbir çıktı döndürmüyorsa nedeni journalctl -u piper -n 50 içinde bulunur. En yaygın neden, ses dosyasının eksik olmasıdır.
OpenAI uyumlu sunucu yapısı
Ses işleyen yazılımların çoğu OpenAI ses API'siyle zaten uyumludur: bir dosya için /v1/audio/transcriptions adresine multipart POST, bir cümle için /v1/audio/speech adresine JSON POST gönderilir. Bu iki yolu kendiniz sunun; istemcide yalnızca temel URL'yi değiştirmeniz gerekir.
Speaches, her iki yönde de çalışan sunuculardan biridir. Transkripsiyon için faster-whisper, konuşma üretimi için Piper veya Kokoro çalıştırır ve bunları OpenAI yollarının arkasında sunar. Aralık 2025 tarihli mevcut sürüm v0.9.0-rc.3'tür. Proje hâlâ 1.0 öncesindedir. Bu nedenle image etiketini sabitleyin ve yükseltme yapmadan önce sürüm notlarını okuyun.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachCompose dosyalarını tutmak istemiyorsanız tek container biçimi şöyledir:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuNamed volume, çoğu kişinin gözden kaçırdığı kısımdır. Bu volume olmadan model cache'i container içinde tutulur. Container kaldırılıp yeniden oluşturulduğunda indirilen ağırlıklar kaybolur. Aynı container yeniden başlatılırsa ağırlıklar korunur.
Konuşma üretiminin çalışması için /v1/audio/speech yanıt vermeden önce bir voice indirilmelidir:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXBundan sonra temel URL değiştirilerek herhangi bir OpenAI istemcisi kullanılabilir:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())api_key yer tutucusu gereklidir. OpenAI istemci kitaplığı bu değer olmadan istek göndermeyi reddeder. Gerçek bir key yapılandırılana kadar sunucu bu değeri yok sayar.
Burada adı anılmaya değer diğer proje vox-box'tır. Container yerine Python paketi olarak sunulur ve aynı yolları Whisper, FunASR, Bark, Dia veya CosyVoice ile sağlar. Aralık 2025 tarihli mevcut sürüm 0.0.21'dir. Python 3.10 veya daha yeni bir sürüm gerekir.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010Projenin kendi örneği 80 portuna bind eder. Bunun için root veya CAP_NET_BIND_SERVICE capability'si gerekir. Başka işler de yapan bir sunucuda yüksek numaralı bir portu reverse proxy arkasında kullanmak daha uygundur. vox-box start tek bir model alır. Bu nedenle her iki yönde çalışmak için ikinci bir portta, speech repo id'siyle ikinci bir instance çalıştırılmalıdır.
Sunucunun hangi modeli yüklediğini öğrenin, ardından bu id'yi model alanında kullanın:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"{"text": "..."} biçimindeki bir JSON gövdesi, yolun tamamının çalıştığını gösterir. 404 durumunda yanıt gövdesini okuyun ve model id'sini /v1/models ile karşılaştırın. Speaches, geçerli ancak yerel olarak kurulu olmayan bir model için de 404 döndürür. Hata bunu belirtiyorsa istenen modeli uvx speaches-cli model download MODEL_ID ile indirin ve ardından isteği yeniden gönderin. İndirme yolu POST /v1/models/{model_id} şeklindedir.
Bu sunucuların hiçbiri varsayılan olarak kimlik doğrulamayı etkinleştirmez. Sunucuları 127.0.0.1 adresine bind edin ve VPN veya kimlik bilgisi isteyen bir reverse proxy üzerinden erişin. Genel IP adresinde açık bırakılan bir /v1/audio/transcriptions, bunu bulan herkes için ücretsiz CPU kaynağıdır. Bu tür servisler mutlaka bulunur.
Self-hosted bir asistan için sesli ön yüz
Her iki yön de OpenAI yollarında yanıt vermeye başladığında, bir sohbet ön yüzü bunları yönetebilir. Open WebUI ve alternatifleri, ayarlarında ses için OpenAI uyumlu bir temel URL kabul eder; böylece tek bir sunucu Ollama ile yerel bir LLM çalıştırabilir ve ses döngüsünü her iki uçta da kapatabilir.
Gecikme süresini gerçekçi bir şekilde hesaplayın, çünkü bu üç adım aynı çekirdekler üzerinde sırayla çalışır. 10 saniyelik bir soru, yukarıdaki 7.6x değerinde yaklaşık 1,3 saniyede yazıya dökülür ve bu süre, model henüz tek bir token bile okumadan önce gerçekleşir. Buna CPU tabanlı token üretimini de eklediğinizde, gidiş-dönüş süresi test edenlerin sistemin çöktüğünü düşünmesine neden olacak kadar yavaşlar. Toplu transkripsiyon CPU üzerinde rahatlıkla çalışır. Ancak karşılıklı konuşma için bu durum geçerli değildir ve işte bu nokta, GPU destekli bir VPS'in maliyetini hak etmeye başladığı yerdir.
GPU ne zaman gerçekten kullanıma değer?
Bu grafiğin arkasındaki veriler
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]GPU üzerinde int8 kullanan large model, 2,926 MB VRAM içinde gerçek zamanın 13.2 katı hızında çalışır. Batching ile bu değer 48.8 kata çıkar. Ancak iki grafiğin ne göstermediğine dikkat edilmelidir. Farklı modeller kullanılır: GPU satırlarında large-v2, CPU satırlarında small modeli bulunur. GPU, small modelini altı kat hızlandırmaz. Doğru sonuç veren modeli kullanılabilir hale getirir.
Bu sayıların kaynağı
Her iki grafik de faster-whisper README dosyasında yayımlanan benchmark sonuçlarını yeniden sunar. Ses, 13 dakikalık tek bir dosyadır. CPU satırlarında Intel Core i7-12700K üzerinde 8 thread kullanılmıştır. GPU satırlarında ise 8 GB VRAM bulunan NVIDIA RTX 3070 Ti üzerinde CUDA 12.4 kullanılmıştır. Saniye ve bellek sütunları yayımlanan değerlerdir. x_realtime sütunu bu değerler üzerinden hesaplanmıştır: 780 saniyelik ses, ölçülen süreye bölünmüş ve sonuç tek ondalığa yuvarlanmıştır. CPU grafiğindeki bellek sütunu sistem RAM'ini, GPU grafiğindeki bellek sütunu ise VRAM'i gösterir.
Paylaşımlı bir vCPU planı CPU değerlerine ulaşamaz. Bu benchmark, hızlı bir masaüstü işlemcisinin 8 thread'ini yalnızca kendisi için kullanmıştır. 7.6 katını üst sınır olarak kabul edin. Ardından, planlama yapmadan önce gerçek bir kayıt üzerinde time kullanarak kendi sunucunuzda ölçüm gerçekleştirin.
Pratikte geçerli olan dört temel kural:
- Kendi kayıtlarınızın ara sıra transkripsiyonu: CPU, small, int8. İki dedicated vCPU ile başlayın ve transkripsiyon süresini ölçün.
- Altyazı oluşturma gibi gece boyunca çalışan batch işlemleri: CPU, small veya medium, int8;
niceiçine alın. - Etkileşimli kullanım veya tek akşamda bir arşivin tamamının işlenmesi: GPU.
- Piper: Her zaman CPU. Bu boyuttaki bir voice model GPU'dan neredeyse hiç fayda sağlamaz.
Aynı donanımın başka hangi iş yüklerini taşıyabileceğini değerlendiriyorsanız, hangi AI modellerini self-host edebileceğiniz konusundaki daha geniş değerlendirme, sığıp sığmayan model boyutlarını ele alır.
Hata türleri ve görülecek ifadeler
Kurulum sırasında error: externally-managed-environment. Sistem Python'u dağıtım tarafından korunur. Yukarıda gösterildiği gibi bir sanal ortam oluşturun.
GPU sunucusunda cuDNN uyumsuzluğu. Hata şu şekilde görünür:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorCTranslate2 4.5.0, CUDA 12 derlemelerini cuDNN 9'a taşıdı ve ana makinede cuDNN 8 bulunuyor. cuDNN 9 kurun veya eski çalışma zamanını pip install --force-reinstall ctranslate2==4.4.0 ile sabitleyin. Bu iki seçenekten yalnızca birini kullanın. İkisini birden kullanmak sorunu çözmez.
This CTranslate2 package was not compiled with CUDA support, benzer görünen farklı bir hatadır. Kurulu CTranslate2 derlemesinde CUDA desteği yoktur. Resmi Linux ve Windows wheel paketleri GPU ile çalışmayı destekler. Platformu ve paket kaynağını kontrol edin, ardından CUDA etkin bir derleme kurun. Aynı CPU-only derlemeyle aynı ortamı yeniden oluşturmak sorunu çözmez.
Transkriptte tekrarlanan ifadeler. Bir cümlenin on kez tekrarlanması, neredeyse her zaman sessizliğin veya müziğin konuşma olarak çözümlendiğini gösterir. Önce vad_filter=True seçeneğini etkinleştirin. Sorun devam ederse ilgili bölümü dinleyin. Sese yakın sessizlik Whisper'a başvurabileceği bir içerik vermez ve model son güvenilir tahminini tekrarlar.
Yanlış dil algılanıyor. faster-whisper, varsayılan olarak yalnızca ilk 30 saniyelik pencereye göre tahmin yapar. 1.0 değerinin oldukça altında bir info.language_probability, modelin kararsız kaldığını gösterir. Bu durum, kaydın müzikle veya üst üste binen konuşmalarla başlaması halinde görülür. Dili zaten biliyorsanız language="en" değerini geçin. Karar vermeden önce daha fazla pencereyi incelemesi için language_detection_segments değerini artırın.
Süreç Killed yazdırıyor ve duruyor. Çekirdeğin bellek yetersizliği nedeniyle süreci sonlandırdığını doğrulamak için dmesg içinde buna karşılık gelen bir oom-kill satırı arayın. large-v3, 3 GB'tan fazla float16 ağırlığı indirir. Ancak int8, yükleme sırasında bellek kullanımını azaltır. Yayımlanan small-model int8 karşılaştırmasında 1,477 MB RAM kullanıldığı belirtilir. Bu nedenle 2 GB RAM'e sahip bir VPS'te işletim sistemi ve diğer servisler için çok az alan kalır.
Piper sesi bulamıyor. Oyuncu, --data-dir geçirilmediği sürece çalışma dizininde arama yapar. Beklediğiniz dizinde ls komutunu çalıştırın ve .onnx ile .onnx.json öğelerinin ikisinin de mevcut olduğunu doğrulayın. Bunlardan yalnızca birinin bulunması, ikisinin de bulunmaması kadar kesin biçimde hataya neden olur.
FAQ
Yalnızca CPU kullanan bir VPS üzerinde speech-to-text çalıştırılabilir mi?
Evet. Toplu işler için bu makul bir seçimdir. int8 ile small modeli kullanan faster-whisper, projenin yayımlanmış benchmark sonuçlarına göre masaüstü i7 işlemcisinin 8 thread'inde 13 dakikalık sesi 102 saniyede, yani gerçek zamanın yaklaşık 7.6 katı hızında ve 1,477 MB RAM kullanarak metne dönüştürür. Paylaşımlı vCPU planı bundan daha yavaş çalışır. Bu nedenle kendi sunucunuzda ölçüm yapın. Piper ile text-to-speech işlemi daha da kolaydır ve hiçbir koşulda GPU gerektirmez.
Hangi Whisper model boyutunu kullanmalıyım?
int8 ile small modeli kullanarak başlayın. Diskte 484 MB yer kaplar ve net kaydedilmiş konuşmaları başarılı biçimde işler. Aksanlar veya arka plan gürültüsü kabul edilemeyecek hatalara neden oluyorsa medium modele geçin. Doğruluk diğer tüm ölçütlerden önemliyse large-v3 kullanın. Bu model diskte 3,090 MB yer ister. RAM kullanımı işlem türüne ve iş yüküne bağlıdır. VPS boyutunu seçmeden önce bu kullanımı ölçün. Diğer yandan, 75.5 MB boyutundaki tiny modeli dil algılama ve bir pipeline'ı test etme açısından kullanışlıdır. Bir kişinin okuyacağı transkriptler için uygun değildir.
faster-whisper, özgün Whisper paketinden neden daha hızlıdır?
Model aynıdır. Çalışma zamanı aynı değildir. Referans paket, Whisper'ı PyTorch üzerinde çalıştırır. faster-whisper ise aynı ağırlıkları, transformer inference için geliştirilmiş bir engine olan CTranslate2 üzerinde çalıştırır. Ağırlıklar yükleme sırasında quantize edilir ve PyTorch kurulumu gerekmez. Yayımlanmış CPU benchmark sonucunda referans paket gerçek zamanın 1.9 katı hızında çalışırken, int8 kullanan faster-whisper gerçek zamanın 7.6 katı hızına ulaşır ve daha az bellek kullanır.
Transkriptim neden aynı cümleyi tekrar tekrar yazıyor?
Whisper, sessizliği veya müziği konuşma olarak çözümlüyor ve son güvenilir tahminine geri dönüyor olabilir. vad_filter=True ayarını transcribe() çağrısında belirtin. Bu işlem önce Silero voice activity detection çalıştırır ve model görmeden önce sessiz bölümleri kaldırır. Tekrar devam ederse ses seviyesini kontrol edin. Baştan sona neredeyse sessiz olan bir kayıt, modelin kullanabileceği yeterli veri sağlamaz.
Kendi sunucumda OpenAI uyumlu bir ses endpoint'i nasıl sağlarım?
POST /v1/audio/transcriptions ve POST /v1/audio/speech uygulayan bir server çalıştırın. Ardından client'ı yeni bir base URL ile bu server'a yönlendirin. Speaches seçeneklerden biridir. CPU build içeren bir container image olarak yayımlanır; transcription için faster-whisper, speech için Piper veya Kokoro kullanır. vox-box başka bir seçenektir. pip install vox-box ile kurulur ve vox-box start --huggingface-repo-id ile başlatılır; her process için tek bir model sunar. Her ikisinde de authentication varsayılan olarak etkin değildir. Bu nedenle localhost'a bind edin ve önüne bir proxy veya VPN koyun.