Cara Bina Whisper dan Piper TTS Sendiri di VPS
Jalankan Whisper untuk transkripsi dan Piper untuk teks-ke-pertuturan pada VPS CPU biasa. Ketahui penggunaan sumber sistem serta cara menyediakan endpoint serasi OpenAI.
Self-hosted speech to text dan TTS secara ringkas
Speech to text dan TTS (text to speech) secara self-hosted dijalankan pada pelayan yang anda miliki. Transkripsi menjalankan Whisper melalui runtime faster-whisper. Sintesis menjalankan Piper. Kedua-duanya berfungsi pada VPS CPU biasa tanpa GPU langsung. Model Whisper kecil memerlukan kira-kira 484 MB ruang cakera, manakala suara Piper terdiri daripada dua fail, iaitu model ONNX dan konfigurasi JSON kecil, dengan jumlah keseluruhan jauh di bawah 150 MB.
Itulah sebabnya audio ialah pilihan yang sesuai untuk dimulakan. Penjana imej secara self-hosted dan penjanaan video secara self-hosted kedua-duanya memerlukan GPU sebelum boleh digunakan. Audio tidak memerlukannya.
Panduan ini merangkumi kedua-dua arah serta lapisan yang menghubungkannya. Whisper menukar audio kepada teks. Piper menukar teks kepada audio. Pelayan HTTP yang serasi dengan OpenAI di hadapan kedua-duanya membolehkan klien sedia ada disambungkan ke pelayan anda tanpa mengubah apa-apa selain base URL.
Setiap versi yang ditetapkan dalam command di sini telah disemak berdasarkan halaman release projek masing-masing pada October 11, 2026. Versi CTranslate2 yang dinyatakan di bawah bahagian kegagalan ialah penanda keserasian, bukan release semasa.
Mengapa faster-whisper, bukan pakej Whisper rujukan
Pakej whisper OpenAI menjalankan model dalam PyTorch. faster-whisper menjalankan pemberat model yang sama pada CTranslate2, iaitu enjin inferens yang dibangunkan khusus untuk model transformer. Modelnya sama, tetapi tetapan kuantisasi dan penyahkodan mempengaruhi transkrip. Runtime menyumbang kepada perbezaan kelajuan yang diukur di bawah.
CTranslate2 mengkuantisasikan pemberat semasa memuatkannya. Sebab itu compute_type="int8" ialah satu argumen, bukan langkah penukaran berasingan. CTranslate2 juga tidak mempunyai dependency PyTorch. pip install faster-whisper memasang CTranslate2, tokenizer dan PyAV untuk penyahkodan audio. Oleh itu, persekitaran maya menggunakan ruang dalam ratusan megabait, bukan beberapa gigabait. Pada VPS dengan cakera 40 GB, perbezaan ini menentukan sama ada ruang masih mencukupi atau menjadi sempit.
Berikut ialah angka yang diterbitkan sendiri oleh projek untuk model small pada CPU. Penanda aras ini mentranskripsikan audio selama 13 minit menggunakan 8 thread pada Intel Core i7-12700K. Lajur x_realtime ialah tempoh 13 minit dibahagikan dengan masa yang diukur: 7.6 bermaksud rakaman selama 13 minit selesai dalam masa lebih sedikit daripada 1 minit 40 saat.
Data di sebalik carta ini
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]Baca baris kedua dengan tepat. Pada fp32, whisper.cpp lebih pantas daripada faster-whisper pada CPU ini, iaitu 6.2x berbanding 5.0x, dan menggunakan kurang daripada separuh memori. Ia menggunakan keluarga ggml yang sama seperti yang mendasari bahagian llama.cpp dalam susunan LLM setempat. faster-whisper menjadi lebih pantas apabila int8 dan batching diaktifkan, lalu mencapai 15.3x, tetapi menggunakan 3,608 MB RAM untuk itu. Jadi, pilih faster-whisper untuk API Python dan batching. Pilih whisper.cpp apabila RAM ialah kekangan yang tidak boleh ditambah.
Baris pertama menunjukkan tujuan bahagian ini. Pakej rujukan mencapai 1.9x masa nyata pada mesin yang sama. Ini bermaksud audio selama 1 jam memerlukan setengah jam masa CPU.
Berapakah ruang cakera yang diperlukan oleh weight model Whisper?
Data di sebalik carta ini
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Ini adalah penukaran CTranslate2 yang diterbitkan, dalam float16. Perhatikan perkara yang tidak dilakukan oleh compute_type="int8": ia tidak mengecilkan saiz muat turun. Weight tiba dalam format float16 dan CTranslate2 melakukan kuantisasi dalam memori semasa proses muat turun, jadi large-v3 memerlukan 3,090 MB pada cakera sama ada anda menjalankannya dalam float16 atau int8. int8 memberikan penjimatan RAM dan kelajuan, bukan ruang cakera.
Model dimuat turun semasa penggunaan pertama ke dalam ~/.cache/huggingface/hub. Pada VPS dengan volum root yang kecil, halakan lokasi tersebut ke tempat yang mempunyai ruang mencukupi menggunakan argumen download_root atau pemboleh ubah persekitaran HF_HOME, atau percubaan pertama anda akan memenuhi cakera dan proses akan terhenti di tengah jalan semasa muat turun.
Memasang faster-whisper tanpa merosakkan Python sistem
Ubuntu 24.04 dan Debian 13 menandakan Python sistem sebagai diurus secara luaran. Menjalankan pip install faster-whisper di luar persekitaran maya akan terhenti serta-merta dengan ralat:
error: externally-managed-environmentIni adalah sistem pakej yang melindungi fail milik apt. Gunakan persekitaran maya.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1Versi 1.2.1 ialah keluaran semasa, diterbitkan pada Oktober 2025. faster-whisper menyahkod audio melalui PyAV, yang menggabungkan pustaka ffmpeg sendiri, jadi ia membaca fail mp3 atau m4a tanpa memerlukan binari ffmpeg yang berasingan. Pakej ffmpeg di atas adalah untuk kerja video dalam bahagian panduan ini yang seterusnya.
Semak pemasangan sebelum anda memuat turun tiga gigabait pemberat (weights):
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"Baris yang memaparkan ok bermakna pakej telah dipasang dengan berjaya. Ralat ImportError yang menamakan ctranslate2 bermakna runtime tiada atau pustaka yang dikompil tidak dapat dimuatkan, dan baki mesej tersebut menyatakan puncanya. Pada imej ARM 32-bit, tiada wheel CTranslate2 disediakan, jadi pip akan gagal semasa pemasangan.
Mentranskripsi rakaman mesyuarat atau nota suara
Simpan ini sebagai transcribe.py:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Jalankan ia dengan ~/stt/bin/python transcribe.py. Pelaksanaan pertama akan memuat turun pemberat (weights), jadi tiada apa-apa yang dipaparkan untuk seketika. Selepas itu, model akan dimuatkan daripada cache dalam beberapa saat.
segments ialah penjana (generator), jadi transkripsi tidak bermula sehingga anda melakukan lelaran (iterate) ke atasnya. Pengguna sering mengukur masa panggilan transcribe(), melihat ia kembali serta-merta, lalu menyangka ada sesuatu yang rosak. Tiada apa-apa yang rosak. Kerja sebenar berlaku di dalam gelung (loop).
vad_filter=True menjalankan Silero VAD (pengesanan aktiviti suara) terlebih dahulu dan membuang bahagian senyap sebelum Whisper memprosesnya. Bagi rakaman mesyuarat yang mempunyai jeda panjang, ini merupakan peningkatan kelajuan paling ketara kerana Whisper tidak membuang masa pada audio yang tidak mengandungi pertuturan. Ia juga menghalang gelung pengulangan ayat yang dihasilkan oleh Whisper apabila ia menerima audio senyap dan cuba mencari perkataan di dalamnya.
Tetapkan cpu_threads kepada bilangan teras (cores) yang anda miliki sebenarnya. Menetapkan nilai melebihi kiraan vCPU anda akan melambatkan transkripsi, kerana thread tambahan akan bersaing untuk teras yang sama dan penjadual (scheduler) akan menanggung kos bagi setiap pertukaran konteks.
Subtitel untuk pustaka Jellyfin
Jellyfin membaca fail sari kata luaran yang berada di sebelah video dan menggunakan nama yang sama. Oleh itu, Movie (2019).en.srt yang diletakkan di sebelah Movie (2019).mkv akan muncul sebagai trek bahasa Inggeris tanpa perlu membina semula pustaka. Sama ada klien tertentu memainkan fail itu secara terus, atau pelayan melakukan remux atau membenamkannya ke dalam video, bergantung pada sokongan klien tersebut.
Ekstrak audio terlebih dahulu. Whisper mengambil sampel semula semua audio kepada mono 16 kHz secara dalaman. Oleh itu, penggunaan audio mono 16 kHz mengurangkan kerja pada kedua-dua hujung:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"faster-whisper tidak mempunyai penulis SRT. Jadi, formatkan segmen itu sendiri. Simpan kandungan ini sebagai srt.py:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Kemudian, proses pustaka:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
done-nostdin melumpuhkan interaksi papan kekunci ffmpeg. Ia juga menghalang ffmpeg daripada membaca nama fail apabila dijalankan dalam gelung yang membaca nama tersebut daripada input standard. Gelung berasaskan glob di atas tidak membaca senarai failnya daripada input standard.
Anggarkan masa yang diperlukan sebelum bermula. Pada kadar 7.6x di atas, filem berdurasi 100 minit memerlukan kira-kira 13 minit masa CPU. Jadi, pustaka dengan lima puluh filem memerlukan proses semalaman. Pada pelan vCPU yang dikongsi, proses ini lebih perlahan. Itulah kegunaan nice: proses sari kata akan memberi laluan kepada tugas lain yang sedang dijalankan pada pelayan.
Teks kepada pertuturan dengan Piper
Piper ialah enjin teks kepada pertuturan neural yang menjalankan model suara ONNX pada CPU. Piper menyertakan espeak-ng untuk menukar teks kepada fonem, jadi anda tidak perlu memasang phonemizer berasingan. Keluaran semasa ialah 1.8.0, diterbitkan pada September 2026.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'download_voices menulis dua fail ke dalam direktori kerja: fail pemberat .onnx dan konfigurasi .onnx.json yang menyimpan kadar pensampelan serta senarai pembesar suara. Kedua-dua fail ini mesti kekal bersama. Jika anda menyimpan suara di lokasi tetap, berikan --data-dir kepada kedua-dua arahan kerana pemain sebaliknya mencari suara dalam direktori kerja dan tidak dapat menemukan suara yang tiada di situ.
-- sebelum teks juga penting. Penanda ini memisahkan teks daripada pilihan baris perintah, termasuk pilihan yang mungkin dicetuskan oleh ayat yang bermula dengan tanda sempang.
Suara tersedia pada beberapa tahap kualiti. Suara bahasa Inggeris berkualiti sederhana berukuran kira-kira 60 MB, manakala suara berkualiti tinggi berukuran kira-kira dua kali ganda. Kualiti lebih tinggi bermaksud model lebih besar dan penggunaan CPU lebih tinggi bagi setiap saat pertuturan, bukan pembesar suara yang berbeza.
Jangan panggil CLI dalam gelung. Piper memuatkan model pada setiap panggilan, dan pemuatan model menggunakan sebahagian besar kos bagi ayat pendek. Sebaliknya, jalankan pelayan HTTP:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeJika test.wav boleh dimainkan, ini bermakna Piper berfungsi. Endpoint tersebut menggunakan format Piper sendiri, bukan format OpenAI, jadi klien yang menjangkakan /v1/audio/speech tidak dapat berkomunikasi dengannya. Bahagian seterusnya membetulkan perkara ini.
Pastikan Piper terus berjalan dengan fail unit, bukan terminal yang akan anda tutup. Unit tersebut menjalankan Piper sebagai pengguna piper tanpa log masuk, dari direktori home pengguna itu. Oleh itu, servis tidak bergantung pada akaun anda. Cipta pengguna tersebut dan pasang Piper serta suara di situ:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumHentikan pelayan yang anda mulakan dalam terminal, kemudian tulis unit tersebut:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now piper memulakannya dan menjalankannya semula selepas reboot. Jika curl di atas tidak mengembalikan apa-apa, journalctl -u piper -n 50 menyimpan sebabnya. Fail suara yang tiada ialah punca yang lazim.
Bentuk pelayan yang serasi dengan OpenAI
Kebanyakan perisian yang mengendalikan audio sudah menyokong OpenAI audio API: POST multipart ke /v1/audio/transcriptions untuk fail, dan POST JSON ke /v1/audio/speech untuk ayat. Sediakan sendiri kedua-dua path itu supaya klien hanya perlu mengubah satu perkara, iaitu URL asas.
Speaches ialah salah satu pelayan yang menyokong kedua-dua arah. Ia menjalankan faster-whisper untuk transkripsi dan Piper atau Kokoro untuk pertuturan, melalui path OpenAI. Versi semasa ialah v0.9.0-rc.3 dari December 2025 dan masih belum mencapai 1.0. Oleh itu, tetapkan tag image dan baca nota keluaran sebelum menaik taraf.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachBentuk satu container, jika anda tidak mahu mengekalkan fail compose:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuNamed volume ialah bahagian yang sering terlepas pandang. Tanpanya, cache model disimpan di dalam container. Oleh itu, memadam dan mencipta semula container akan memadamkan weights yang telah dimuat turun. Memulakan semula container yang sama akan mengekalkannya.
Speech memerlukan voice dimuat turun sebelum /v1/audio/speech boleh memberikan respons:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXSelepas itu, mana-mana klien OpenAI boleh digunakan dengan mengubah URL asas:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())Placeholder api_key diperlukan kerana pustaka klien OpenAI enggan menghantar request tanpanya. Pelayan mengabaikan nilainya sehingga anda mengkonfigurasi key sebenar.
vox-box ialah satu lagi projek yang wajar disebut. Ia merupakan pakej Python dan bukannya container. Pakej ini menyediakan path yang sama dengan Whisper, FunASR, Bark, Dia atau CosyVoice di belakangnya. Versi semasa ialah 0.0.21 dari December 2025 dan memerlukan Python 3.10 atau lebih baharu.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010Contoh yang disediakan oleh projek itu mengikat port 80, yang memerlukan root atau capability CAP_NET_BIND_SERVICE. Pada server yang menjalankan tugas lain, port tinggi di belakang reverse proxy ialah susunan yang lebih baik. vox-box start hanya menerima satu model. Oleh itu, untuk menyokong kedua-dua arah, jalankan instance kedua pada port kedua dengan speech repo id.
Tanya pelayan model yang telah dimuatkan, kemudian gunakan id itu dalam medan model:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"Body JSON dalam bentuk {"text": "..."} menunjukkan bahawa seluruh path berfungsi. Untuk ralat 404, baca body respons dan semak model id terhadap /v1/models. Speaches juga mengembalikan 404 untuk model yang sah tetapi belum dipasang secara setempat. Jika mesej ralat menyatakan perkara itu, muat turun model yang diminta dengan uvx speaches-cli model download MODEL_ID, kemudian cuba lagi. Download route untuknya ialah POST /v1/models/{model_id}.
Tiada satu pun pelayan ini mengaktifkan authentication secara lalai. Bind pelayan kepada 127.0.0.1 dan aksesnya melalui VPN atau reverse proxy yang meminta credentials. /v1/audio/transcriptions yang terbuka pada IP awam menyediakan CPU percuma kepada sesiapa yang menemuinya, dan mereka pasti akan menemuinya.
Antaramuka suara untuk pembantu yang dihoskan sendiri
Apabila kedua-dua arah menjawab pada laluan OpenAI, antaramuka sembang boleh mengendalikannya. Open WebUI dan alternatifnya menerima URL asas yang serasi dengan OpenAI untuk audio dalam tetapan mereka, jadi satu kotak boleh menjalankan LLM tempatan dengan Ollama dan melengkapkan gelung suara pada kedua-dua hujung.
Anggarkan kependaman dengan jujur, kerana ketiga-tiga langkah tersebut berjalan satu demi satu pada teras yang sama. Soalan selama 10 saat mengambil masa kira-kira 1.3 saat untuk ditranskripsikan pada angka 7.6x di atas, dan itu adalah sebelum model membaca satu token pun. Tambahkan penjanaan token CPU dan perjalanan pergi-balik tersebut cukup perlahan sehingga penguji menganggap ia telah terhempas. Transkripsi kelompok selesa dijalankan pada CPU. Perbualan tidak, dan itulah titik di mana VPS dengan GPU mula berbaloi dengan harganya.
Bilakah GPU benar-benar berbaloi?
Data di sebalik carta ini
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]Pada GPU, model large dengan int8 berjalan pada 13.2x masa nyata dan menggunakan 2,926 MB VRAM. Dengan batching, kelajuannya meningkat kepada 48.8x. Perhatikan perkara yang tidak ditunjukkan oleh kedua-dua carta ini. Kedua-duanya menggunakan model yang berbeza: baris GPU menggunakan large-v2, manakala baris CPU menggunakan small. GPU tidak menjadikan model small enam kali lebih pantas. GPU menjadikan model yang lebih tepat itu praktikal untuk digunakan.
Dari manakah angka ini diperoleh
Kedua-dua carta ini mengulangi penanda aras yang diterbitkan dalam README faster-whisper. Audio yang digunakan ialah satu fail berdurasi 13 minit. Baris CPU menggunakan 8 thread pada Intel Core i7-12700K, manakala baris GPU menggunakan CUDA 12.4 pada NVIDIA RTX 3070 Ti dengan 8 GB VRAM. Lajur saat dan memori menggunakan angka yang diterbitkan. Lajur x_realtime dikira berdasarkan angka tersebut: 780 saat audio dibahagikan dengan masa yang diukur, kemudian dibundarkan kepada satu tempat perpuluhan. Lajur memori merujuk kepada RAM sistem dalam carta CPU dan VRAM dalam carta GPU.
Pelan vCPU dikongsi tidak akan mencapai angka CPU tersebut. Penanda aras itu menggunakan 8 thread daripada CPU desktop yang pantas secara eksklusif. Anggap 7.6x sebagai had atas, kemudian ukur mesin anda sendiri dengan time menggunakan rakaman sebenar sebelum membuat perancangan berdasarkan angka itu.
Empat panduan umum yang biasanya tepat dalam amalan:
- Transkripsi rakaman sendiri secara berkala: CPU, small, int8. Mulakan dengan dua vCPU khusus dan ukur masa transkripsi.
- Kerja batch semalaman seperti menghasilkan sari kata: CPU, small atau medium, int8, dibungkus dalam
nice. - Sebarang kerja interaktif atau pemprosesan seluruh pustaka dalam satu malam: GPU.
- Piper: CPU, sentiasa. Model suara sebesar ini hampir tidak mendapat manfaat daripada GPU.
Jika anda sedang menilai perkara lain yang boleh dijalankan pada perkakasan yang sama, soalan lebih luas tentang model AI yang boleh anda hos sendiri menerangkan saiz model yang boleh dan tidak boleh dimuatkan.
Mod kegagalan, dengan rentetan yang akan anda lihat
error: externally-managed-environment semasa pemasangan. Python sistem dilindungi oleh pengedaran. Cipta persekitaran maya seperti yang ditunjukkan di atas.
Ketidakpadanan cuDNN pada hos GPU. Kegagalan kelihatan seperti ini:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorCTranslate2 4.5.0 memindahkan binaan CUDA 12 kepada cuDNN 9, manakala hos menggunakan cuDNN 8. Pasang cuDNN 9 atau tetapkan runtime lama dengan pip install --force-reinstall ctranslate2==4.4.0. Pilih salah satu. Jika kedua-duanya dilakukan, masalah asal akan kembali.
This CTranslate2 package was not compiled with CUDA support ialah masalah yang berbeza tetapi kelihatan serupa. Binaan CTranslate2 yang dipasang tidak mempunyai sokongan CUDA. Wheel Linux dan Windows rasmi menyokong pelaksanaan GPU; semak platform serta sumber pakej, kemudian pasang binaan yang didayakan CUDA. Mencipta semula persekitaran yang sama dengan binaan CPU sahaja yang sama tidak menyelesaikan masalah.
Frasa berulang dalam transkrip. Ayat yang berulang sepuluh kali hampir selalu berpunca daripada kesenyapan atau muzik yang dinyahkod sebagai pertuturan. Hidupkan vad_filter=True dahulu. Jika masalah masih berlaku, dengar segmen tersebut: audio yang hampir senyap tidak memberikan Whisper titik rujukan, lalu Whisper mengulangi tekaan terakhirnya yang paling yakin.
Bahasa yang dikesan salah. Secara lalai, faster-whisper membuat tekaan berdasarkan tetingkap 30 saat pertama sahaja. Nilai info.language_probability yang jauh di bawah 1.0 menunjukkan bahawa sistem tidak pasti. Keadaan ini berlaku apabila rakaman bermula dengan muzik atau pertuturan bertindih. Hantar language="en" apabila anda sudah mengetahui jawapannya, atau naikkan language_detection_segments supaya sistem memeriksa lebih banyak tetingkap sebelum membuat keputusan.
Proses mencetak Killed lalu berhenti. Periksa dmesg untuk mencari baris oom-kill yang sepadan dan mengesahkan bahawa kernel mematikannya kerana kehabisan memori. large-v3 memuat turun lebih daripada 3 GB pemberat float16, tetapi int8 mengurangkan jejak memorinya semasa dimuatkan. Penanda aras int8 bagi model kecil yang diterbitkan menggunakan 1,477 MB RAM, jadi VPS 2 GB memberikan ruang yang kecil untuk sistem pengendalian dan servis lain.
Piper tidak dapat mencari suara. Pemain mencari fail dalam direktori kerja melainkan anda menghantar --data-dir. Jalankan ls pada direktori yang anda jangkakan dan sahkan bahawa .onnx serta .onnx.json kedua-duanya ada, kerana kewujudan salah satu sahaja tetap menyebabkan kegagalan, sama seperti jika kedua-duanya tiada.
FAQ
Bolehkah saya menjalankan penukaran pertuturan kepada teks pada VPS yang hanya menggunakan CPU?
Ya, dan untuk kerja kelompok, itu ialah pilihan yang munasabah. Dengan menggunakan faster-whisper bersama model small pada int8, penanda aras yang diterbitkan oleh projek tersebut menukar 13 minit audio dalam 102 saat menggunakan 8 thread pada i7 desktop, iaitu kira-kira 7.6x masa nyata, dengan penggunaan RAM sebanyak 1,477 MB. Pelan vCPU dikongsi berjalan lebih perlahan daripada itu, jadi ukur prestasi pada pelayan anda sendiri. Penukaran teks kepada pertuturan dengan Piper lebih mudah dan tidak memerlukan GPU dalam apa jua keadaan.
Saiz model Whisper yang manakah patut saya gunakan?
Mulakan dengan small pada int8. Saiznya ialah 484 MB pada cakera dan model ini mengendalikan pertuturan rakaman yang jelas dengan baik. Gunakan medium apabila loghat atau bunyi latar menyebabkan ralat yang tidak boleh diterima, dan gunakan large-v3 hanya apabila ketepatan lebih penting daripada perkara lain, kerana model itu memerlukan 3,090 MB ruang cakera. Penggunaan RAM bergantung pada jenis pengiraan dan beban kerja, jadi ukur penggunaan tersebut sebelum memilih saiz VPS. Sebaliknya, tiny pada 75.5 MB berguna untuk pengesanan bahasa dan pengujian saluran paip, tetapi bukan untuk transkrip yang akan dibaca oleh manusia.
Mengapakah faster-whisper lebih pantas daripada pakej Whisper asal?
Modelnya sama. Runtime-nya berbeza. Pakej rujukan menjalankan Whisper dalam PyTorch, manakala faster-whisper menjalankan weights yang sama pada CTranslate2, iaitu enjin yang dibina untuk inferens transformer, yang mengkuantumkan weights semasa dimuatkan dan tidak memerlukan pemasangan PyTorch. Dalam penanda aras CPU yang diterbitkan, pakej rujukan mencapai 1.9x masa nyata berbanding 7.6x untuk faster-whisper pada int8, dengan penggunaan memori yang lebih rendah.
Mengapakah transkrip saya mengulangi ayat yang sama berkali-kali?
Whisper mentafsir kesenyapan atau muzik sebagai pertuturan dan kembali kepada tekaan terakhirnya yang paling yakin. Tetapkan vad_filter=True dalam panggilan transcribe(), yang menjalankan pengesanan aktiviti suara Silero terlebih dahulu dan membuang bahagian senyap sebelum bahagian tersebut diproses oleh model. Jika pengulangan masih berlaku, periksa aras audio kerana rakaman yang hampir senyap sepanjang masa tidak memberikan maklumat yang boleh digunakan oleh model.
Bagaimanakah saya mendapatkan endpoint audio yang serasi dengan OpenAI pada pelayan sendiri?
Jalankan pelayan yang melaksanakan POST /v1/audio/transcriptions dan POST /v1/audio/speech, kemudian arahkan klien kepadanya menggunakan base URL baharu. Speaches ialah salah satu pilihan. Ia diterbitkan sebagai container image dengan binaan CPU, menggunakan faster-whisper untuk transkripsi dan Piper atau Kokoro untuk pertuturan. vox-box ialah pilihan lain, dipasang dengan pip install vox-box dan dimulakan dengan vox-box start --huggingface-repo-id, yang menyediakan satu model bagi setiap proses. Kedua-duanya tidak mengaktifkan pengesahan secara lalai. Oleh itu, bind pelayan pada localhost dan letakkan proxy atau VPN di hadapannya.