Self-hosted Whisper at Piper sa VPS: CPU at gastos
Patakbuhin ang Whisper transcription at Piper TTS sa sariling VPS. Alamin ang CPU time, disk space, at paraan para mag-expose ng OpenAI-compatible endpoint.
Self-hosted speech to text at TTS, sa maikling paliwanag
Ang self-hosted speech to text at TTS (text to speech) ay tumatakbo sa server na pagmamay-ari mo. Ginagamit ng transcription ang Whisper sa pamamagitan ng faster-whisper runtime. Ginagamit naman ng synthesis ang Piper. Pareho itong gumagana sa ordinaryong CPU VPS na walang GPU. Ang maliit na Whisper model ay nangangailangan ng humigit-kumulang 484 MB na disk space, at ang isang Piper voice ay binubuo ng dalawang file—isang ONNX model at isang maliit na JSON config—na magkakasamang mas mababa sa 150 MB.
Kaya audio ang magandang simulang gamitin. Ang self-hosted image generator at self-hosted video generation ay parehong nangangailangan ng GPU bago pa man maging usable. Hindi ito kailangan ng audio.
Sinasaklaw ng gabay na ito ang dalawang direksyon at ang layer na nag-uugnay sa mga ito. Ginagawang text ng Whisper ang audio. Ginagawang audio ng Piper ang text. Kapag may OpenAI-compatible HTTP server sa harap ng dalawang ito, maaaring ituro ng isang umiiral na client ang request sa server mo nang base URL lang ang babaguhin.
Na-verify ang bawat version na naka-pin sa command dito laban sa release page ng kaukulang project noong October 11, 2026. Ang mga CTranslate2 version na binanggit sa ilalim ng failure modes ay mga compatibility marker, hindi mga kasalukuyang release.
Bakit faster-whisper at hindi ang reference Whisper package
Pinapatakbo ng whisper package ng OpenAI ang model sa PyTorch. Pinapatakbo naman ng faster-whisper ang parehong model weights sa CTranslate2, isang inference engine na partikular na ginawa para sa mga transformer model. Pareho ang model, pero nakaaapekto sa transcript ang quantization at mga decoding setting. Ang runtime ang dahilan ng pagkakaiba sa bilis na sinusukat sa ibaba.
Nino-quantize ng CTranslate2 ang weights habang nilo-load ang mga ito. Kaya isang argument lamang ang compute_type="int8" at hindi ito hiwalay na conversion step. Wala rin itong dependency sa PyTorch. Kinukuha ng pip install faster-whisper ang CTranslate2, tokenizer, at PyAV para sa audio decoding. Dahil dito, nasa daan-daang megabytes ang virtual environment sa halip na ilang gigabytes. Sa isang VPS na may 40 GB na disk, ang diperensiyang ito ang maaaring magtakda kung sapat o kapos ang espasyo.
Narito ang sariling inilathalang figures ng proyekto para sa small model sa CPU. Nagta-transcribe ang benchmark ng 13 minuto ng audio gamit ang 8 thread sa isang Intel Core i7-12700K. Ang x_realtime column ay 13 minuto na hinati sa nasukat na oras. Ibig sabihin, natapos ang 13 minutong recording sa bahagyang mahigit 1 minuto 40 kung 7.6 ang value.
Ang datos sa likod ng tsart na ito
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]Basahin nang maingat ang ikalawang row. Sa fp32, mas mabilis ang whisper.cpp kaysa faster-whisper sa CPU na ito: 6.2x kumpara sa 5.0x, at wala pang kalahati ang memory na ginagamit nito. Ito ang parehong ggml family na ginagamit sa bahagi ng llama.cpp ng local LLM stack. Nauuna ang faster-whisper kapag naka-enable ang int8 at batching, at umaabot ito sa 15.3x. Gumagamit naman ito ng 3,608 MB ng RAM. Kaya piliin ang faster-whisper para sa Python API at batching. Piliin ang whisper.cpp kapag RAM ang limitasyon na hindi mo maaaring paluwagin.
Ang unang row ang pangunahing punto ng seksiyong ito. Ang reference package ay 1.9x real time sa parehong machine. Ibig sabihin, ang isang oras ng audio ay nangangailangan ng kalahating oras ng CPU time.
Gaano kalaking disk space ang kailangan ng Whisper model weights?
Ang datos sa likod ng tsart na ito
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Ito ang mga inilabas na CTranslate2 conversion, gamit ang float16. Tandaan ang hindi ginagawa ng compute_type="int8": hindi nito pinapaliit ang download. Dumarating ang weights bilang float16 at kino-convert ng CTranslate2 sa ibang quantization habang nilo-load sa memory, kaya 3,090 MB sa disk ang kailangan ng large-v3, tumakbo man ito sa float16 o int8. RAM at bilis ang napapabuti ng int8, hindi ang disk space.
Sa unang paggamit, dina-download ang mga model sa ~/.cache/huggingface/hub. Kung maliit ang root volume ng VPS, ituro ang mga download sa lokasyong may sapat na espasyo gamit ang download_root argument o HF_HOME environment variable. Kung hindi, mapupuno ang disk sa unang pag-run at mamamatay ang process habang dina-download ang file.
Mag-install ng faster-whisper nang hindi sinisira ang system Python
Minamarkahan ng Ubuntu 24.04 at Debian 13 ang system Python bilang externally managed. Kapag pinatakbo ang pip install faster-whisper sa labas ng virtual environment, agad itong humihinto at ipinapakita ang:
error: externally-managed-environmentPinoprotektahan ng packaging system ang mga file na pagmamay-ari ng apt. Gumamit ng virtual environment.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1Ang version 1.2.1 ang kasalukuyang release, na inilabas noong October 2025. Nagde-decode ang faster-whisper ng audio sa pamamagitan ng PyAV, na may sarili nitong mga ffmpeg library. Kaya nakakabasa ito ng mp3 o m4a nang walang hiwalay na ffmpeg binary. Ang ffmpeg package sa itaas ay para sa video processing sa mga susunod na bahagi ng guide na ito.
Suriin ang installation bago mag-download ng tatlong gigabyte na weights:
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"Ibig sabihin ng linyang may ok na maayos na na-install ang wheels. Ibig sabihin ng ImportError na may pangalang ctranslate2 na nawawala ang runtime o hindi ma-load ang compiled library nito. Ipinapaliwanag ng natitirang mensahe kung alin dito ang sanhi. Sa 32-bit ARM images, walang CTranslate2 wheel, kaya sa oras ng installation pa lang ay nagfa-fail na ang pip.
I-transcribe ang meeting recording o voice note
I-save ito bilang transcribe.py:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Patakbuhin ito gamit ang ~/stt/bin/python transcribe.py. Sa unang pag-run, ida-download ang weights, kaya walang lalabas na output sa loob ng ilang sandali. Pagkatapos nito, maglo-load ang model mula sa cache sa loob ng ilang segundo.
Ang segments ay isang generator, kaya hindi magsisimula ang transcription hangga’t hindi mo ito ini-iterate. Tina-timing ng ilang tao ang tawag sa transcribe(), nakikita nilang agad itong nagre-return, at iniisip nilang may sira. Walang sira. Sa loop ginagawa ang aktuwal na trabaho.
Pinapatakbo muna ng vad_filter=True ang Silero VAD (voice activity detection) at inaalis ang mahahabang silent stretch bago ito makita ng Whisper. Sa meeting recording na maraming mahahabang pagitan, ito ang pinakamalaking single speed improvement na available, dahil hindi kailanman nag-aaksaya ng oras ang Whisper sa audio na walang speech. Pinipigilan din nito ang paulit-ulit na sentence loop na ginagawa ng Whisper kapag pinapakain ito ng silence at sinusubukan nitong maghanap ng mga salita roon.
Itakda ang cpu_threads sa aktuwal na bilang ng mga core na mayroon ka. Kapag itinakda mo ito nang mas mataas kaysa sa bilang ng iyong vCPU, babagal ang transcription dahil nagko-contend ang mga dagdag na thread para sa iisang core at kailangang magbayad ang scheduler sa bawat context switch.
Mga subtitle para sa isang Jellyfin library
Binabasa ng Jellyfin ang mga external subtitle file na nasa tabi ng video at kapareho ng pangalan nito. Kaya ang Movie (2019).en.srt na nasa tabi ng Movie (2019).mkv ay lalabas bilang English track nang hindi kailangang i-rebuild ang library. Kung direktang ipe-play ito ng isang partikular na client, o kung ire-remux ito ng server o i-burn sa video, ay depende sa sinusuportahan ng client na iyon.
I-extract muna ang audio. Awtomatikong nire-resample ng Whisper ang lahat sa 16 kHz mono, kaya ang pagbibigay dito ng 16 kHz mono ay nag-aalis ng trabaho sa magkabilang panig:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"Walang SRT writer ang faster-whisper, kaya ikaw mismo ang mag-format ng mga segment. I-save ito bilang srt.py:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Pagkatapos, i-process ang library:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
doneHindi pinapagana ng -nostdin ang keyboard interaction ng ffmpeg. Pinipigilan din nito ang ffmpeg na basahin ang mga filename kapag tumatakbo ito sa loob ng loop na kumukuha ng mga ito mula sa standard input. Ang loop sa itaas na gumagamit ng glob ay hindi kumukuha ng file list mula sa standard input.
Tantiyahin muna ang oras bago magsimula. Sa 7.6x na figure sa itaas, nangangailangan ang isang 100 minutong pelikula ng humigit-kumulang 13 minuto ng CPU, kaya ang library na may limampung pelikula ay aabutin ng magdamag. Sa shared vCPU plan, mas mabagal pa ito. Para dito ang nice: magbibigay-daan ang subtitle run sa ibang aktibidad ng server habang tumatakbo ito.
Piper gamit ang text to speech
Ang Piper ay isang neural text-to-speech engine na nagpapatakbo ng ONNX voice model sa CPU. Kasama nito ang espeak-ng para i-convert ang text sa mga phoneme, kaya hindi na kailangang mag-install ng hiwalay na phonemizer. Ang kasalukuyang release ay 1.8.0, na inilabas noong September 2026.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'Nagsusulat ang download_voices ng dalawang file sa working directory: ang .onnx weights at isang .onnx.json config na naglalaman ng sample rate at listahan ng speaker. Dapat magkasama ang mga ito. Kung may permanenteng lokasyon ang mga voice, ipasa ang --data-dir sa dalawang command, dahil sa working directory naghahanap ang player kapag hindi ito itinakda at hindi nito mahahanap ang voice na wala roon.
Mahalaga rin ang -- bago ang text. Inihihiwalay nito ang text sa mga command-line option, kabilang ang mga option na maaaring ma-trigger kung magsisimula sa hyphen ang isang sentence.
May ilang antas ng kalidad ang mga voice. Humigit-kumulang 60 MB ang isang medium English voice, at halos doble nito ang high voice. Ang mas mataas na kalidad ay nangangahulugan ng mas malaking model at mas maraming CPU bawat segundo ng speech, hindi ng ibang speaker.
Huwag tawagin ang CLI sa loob ng loop. Nilo-load nito ang model sa bawat invocation, at mas malaking bahagi ng gastos para sa maikling sentence ang model loading. Sa halip, patakbuhin ang HTTP server:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeKung nakakapag-play ka ng test.wav, gumagana ito. Sariling format ng Piper ang endpoint na iyon, hindi format ng OpenAI, kaya hindi ito makakausap ng client na umaasa sa /v1/audio/speech. Itinatama ito ng susunod na section.
Panatilihing tumatakbo ito gamit ang unit file sa halip na terminal na isasara mo. Pinapatakbo ng unit ang Piper bilang piper user na walang login, mula sa home directory ng user na iyon, kaya hindi nakadepende ang service sa account mo. Gawin ang user at i-install doon ang Piper at ang voice:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumItigil ang server na sinimulan mo sa terminal, pagkatapos ay isulat ang unit:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetSinisimulan ito ng sudo systemctl enable --now piper at ibinabalik ang pagpapatakbo nito pagkatapos ng reboot. Kung walang ibinabalik ang curl sa itaas, nasa journalctl -u piper -n 50 ang dahilan; karaniwang sanhi ang nawawalang voice file.
Ang hugis ng OpenAI-compatible server
Karamihan ng software na humahawak ng audio ay gumagamit na ng OpenAI audio API: isang multipart POST sa /v1/audio/transcriptions para sa isang file, at isang JSON POST sa /v1/audio/speech para sa isang sentence. I-serve mo mismo ang dalawang path na ito, at isang pagbabago lang ang kailangan sa client: ang base URL nito.
Ang Speaches ay isang server na gumagawa ng parehong direksyon. Gumagamit ito ng faster-whisper para sa transcription at Piper o Kokoro para sa speech, sa likod ng OpenAI paths. Ang kasalukuyang release ay v0.9.0-rc.3 mula Disyembre 2025. Bago pa rin ito sa 1.0, kaya i-pin ang image tag at basahin ang release notes bago mag-upgrade.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachIto ang single-container form kung mas gusto mong hindi magpanatili ng compose files:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuAng named volume ang bahaging madalas nakakalimutan. Kung wala ito, nasa loob ng container ang model cache. Kapag inalis at ginawa muli ang container, mawawala ang mga na-download na weights. Mananatili ang mga ito kapag ni-restart ang parehong container.
Kailangang ma-download muna ang isang voice bago sumagot ang /v1/audio/speech:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXPagkatapos nito, gagana ang anumang OpenAI client kapag binago ang base URL:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())Kailangan ang placeholder na api_key dahil tumatangging magpadala ng request ang OpenAI client library kung wala nito. Hindi pinapansin ng server ang value nito hanggang sa mag-configure ka ng totoong key.
Ang vox-box ang isa pang proyektong dapat banggitin dito. Python package ito, hindi container, at sini-serve nito ang parehong paths gamit ang Whisper, FunASR, Bark, Dia, o CosyVoice sa likod ng mga ito. Ang kasalukuyang version ay 0.0.21 mula Disyembre 2025, at kailangan nito ng Python 3.10 o mas bago.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010Ang sariling example ng proyekto ay nagbi-bind sa port 80, na nangangailangan ng root o ng CAP_NET_BIND_SERVICE capability. Mas mainam ang high port sa likod ng reverse proxy para sa server na may iba pang ginagawa. Isang model lang ang tinatanggap ng vox-box start, kaya para masuportahan ang parehong direksyon, kailangan ng pangalawang instance sa ibang port na may speech repo id.
Tanungin ang server kung ano ang na-load nito, pagkatapos ay gamitin ang id na iyon sa model field:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"Ibig sabihin ng JSON body na nasa anyong {"text": "..."} ay gumagana ang buong path. Para sa 404, basahin ang response body at ikumpara ang model id sa /v1/models. Nagbabalik din ang Speaches ng 404 para sa valid na model na hindi lokal na naka-install. Kung iyon ang sinasabi ng error, i-download ang hinihinging model gamit ang uvx speaches-cli model download MODEL_ID, pagkatapos ay subukan muli. Ang download route nito ay POST /v1/models/{model_id}.
Wala sa mga server na ito ang nag-e-enable ng authentication bilang default. I-bind ang mga ito sa 127.0.0.1 at i-access sa pamamagitan ng VPN o reverse proxy na humihingi ng credentials. Ang bukas na /v1/audio/transcriptions sa isang public IP ay libreng CPU para sa sinumang makahanap nito, at mahahanap nila ito.
Isang voice front end para sa self-hosted assistant
Kapag parehong sumagot ang dalawang direksyon sa OpenAI paths, maaaring gamitin ang isang chat front end para patakbuhin ang mga ito. Tumatanggap ang Open WebUI at mga alternatibo nito ng OpenAI-compatible base URL para sa audio sa kanilang settings. Dahil dito, maaaring magpatakbo ng lokal na LLM gamit ang Ollama sa isang box at makumpleto ang voice loop sa magkabilang dulo.
Tantiyahin nang maayos ang latency dahil sunod-sunod na tumatakbo ang tatlong hakbang sa iisang cores. Ang isang 10 second na tanong ay tumatagal ng humigit-kumulang 1.3 segundo para ma-transcribe sa 7.6x na figure sa itaas. Nangyayari ito bago pa mabasa ng model ang kahit isang token. Idagdag ang CPU token generation at magiging sapat na kabagal ang round trip para isipin ng testers na nag-crash ito. Komportable sa CPU ang batch transcription. Hindi ganoon ang conversation. Sa puntong ito, nagsisimulang sulit ang presyo ng VPS na may GPU.
Kailan talaga sulit ang GPU?
Ang datos sa likod ng tsart na ito
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]Sa GPU, ang large model sa int8 ay tumatakbo nang 13.2x ng real time habang gumagamit ng 2,926 MB ng VRAM, at umaabot sa 48.8x kapag bina-batch. Pansinin kung ano ang hindi ipinapakita ng dalawang chart. Magkaiba ang model na ginagamit ng mga ito: large-v2 ang nasa mga GPU row, samantalang small ang nasa mga CPU row. Hindi ginagawang anim na beses na mas mabilis ng GPU ang small model. Ginagawa nitong praktikal gamitin ang mas tumpak na model.
Saan nagmula ang mga numerong ito
Parehong nagre-reproduce ang dalawang chart ng benchmark na inilathala sa faster-whisper README. Isang 13 minutong file ang audio. Gumamit ang mga CPU row ng 8 thread sa Intel Core i7-12700K, at gumamit ang mga GPU row ng CUDA 12.4 sa NVIDIA RTX 3070 Ti na may 8 GB na VRAM. Ang mga segundo at memory column ay ang mga inilathalang figure. Ang x_realtime column ay kalkulasyon batay sa mga ito: 780 segundo ng audio na hinati sa nasukat na oras, at ni-round sa isang decimal. Ang memory column ay system RAM para sa CPU chart at VRAM para sa GPU chart.
Hindi maaabot ng shared vCPU plan ang mga CPU figure. May sariling 8 thread na mabilis na desktop processor ang benchmark na iyon. Ituring ang 7.6x bilang pinakamataas na inaasahang halaga, pagkatapos ay sukatin ang sarili mong server gamit ang time sa isang aktuwal na recording bago ka magplano batay rito.
Apat na praktikal na tuntunin:
- Paminsan-minsang transcription ng sarili mong recording: CPU, small, int8. Magsimula sa dalawang dedicated vCPU at sukatin ang oras ng transcription.
- Overnight batch work gaya ng pagbuo ng subtitle: CPU, small o medium, int8, na pinapatakbo sa loob ng
nice. - Anumang interactive na gawain, o buong library sa loob ng isang gabi: GPU.
- Piper: CPU, palagi. Halos walang pakinabang ang ganitong kaliit na voice model mula sa GPU.
Kung sinusuri mo kung ano pa ang kayang patakbuhin ng parehong hardware, tinatalakay sa mas malawak na tanong kung aling mga AI model ang maaari mong i-self-host ang mga laki ng model na kasya at hindi kasya.
Mga failure mode at ang mga string na makikita mo
error: externally-managed-environment sa pag-install. Pinoprotektahan ng distribution ang system Python. Gumawa ng virtual environment gaya ng ipinakita sa itaas.
Hindi tugma ang cuDNN sa GPU box. Ganito ang itsura ng failure:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorInilipat ng CTranslate2 4.5.0 ang mga CUDA 12 build nito sa cuDNN 9, habang cuDNN 8 ang nasa host. Mag-install ng cuDNN 9, o i-pin ang mas lumang runtime gamit ang pip install --force-reinstall ctranslate2==4.4.0. Pumili ng isa sa dalawa. Kapag ginawa mo pareho, babalik ka sa dati mong problema.
This CTranslate2 package was not compiled with CUDA support ay ibang fault na halos katulad ang sintomas. Walang CUDA support ang naka-install na CTranslate2 build. May GPU execution support ang official Linux at Windows wheels; tingnan ang platform at package source, pagkatapos ay mag-install ng CUDA-enabled build. Hindi ito maaayos ng muling paggawa ng parehong environment gamit ang parehong CPU-only build.
Paulit-ulit na mga parirala sa transcript. Kapag umuulit nang sampung beses ang isang pangungusap, halos palaging silence o music ang nade-decode bilang speech. I-on muna ang vad_filter=True. Kung nagpapatuloy ito, pakinggan ang segment: walang sapat na anchor ang Whisper sa halos tahimik na audio kaya inuulit nito ang huli nitong confident guess.
Maling language ang natukoy. Bilang default, humuhula ang faster-whisper batay lamang sa unang 30 second window. Ang info.language_probability na mas mababa sa 1.0 ay nangangahulugang hindi ito sigurado. Nangyayari ito kapag music o cross-talk ang nasa simula ng recording. Ibigay ang language="en" kapag alam mo na ang tamang sagot, o taasan ang language_detection_segments upang suriin nito ang mas maraming window bago magpasya.
Nagpi-print ang process ng Killed at humihinto. Suriin ang dmesg para sa katugmang oom-kill line upang makumpirmang pinatay ito ng kernel dahil naubusan ng memory. Nagda-download ang large-v3 ng mahigit 3 GB na float16 weights, ngunit binabawasan ng int8 ang memory footprint ng mga ito kapag nilo-load. Gumagamit ang published small-model int8 benchmark ng 1,477 MB ng RAM, kaya kakaunti ang natitirang espasyo sa 2 GB VPS para sa operating system at iba pang serbisyo.
Hindi mahanap ng Piper ang voice. Hinahanap ng player ang voice sa working directory maliban kung ipasa mo ang --data-dir. Patakbuhin ang ls sa directory na inaasahan mo, at kumpirmahing parehong present ang .onnx at .onnx.json, dahil magfa-fail ang isa kung wala ang kapareha nito, gaya rin kapag parehong wala.
FAQ
Maaari ba akong magpatakbo ng speech-to-text sa CPU-only VPS?
Oo, at para sa batch work, ito ang praktikal na pagpipilian. Gamit ang faster-whisper na may small model sa int8, tina-transcribe ng inilathalang benchmark ng proyekto ang 13 minuto ng audio sa loob ng 102 segundo gamit ang 8 thread ng desktop i7, o humigit-kumulang 7.6x ng real time, at 1,477 MB ng RAM. Mas mabagal dito ang shared vCPU plan, kaya sukatin ang sarili mong server. Mas madali pa ang text-to-speech gamit ang Piper at hindi ito nangangailangan ng GPU sa anumang sitwasyon.
Aling laki ng Whisper model ang dapat kong gamitin?
Magsimula sa small sa int8. Gumagamit ito ng 484 MB na disk space at mahusay itong humawak ng malinaw na recorded speech. Lumipat sa medium kapag nagdudulot ng mga error ang accent o background noise na hindi mo matatanggap, at gamitin lamang ang large-v3 kapag mas mahalaga ang accuracy kaysa sa lahat ng iba pa, dahil nangangailangan ito ng 3,090 MB na disk space. Depende sa compute type at workload ang paggamit nito ng RAM, kaya sukatin muna ito bago pumili ng VPS size. Sa kabilang banda, kapaki-pakinabang ang tiny sa 75.5 MB para sa language detection at pagsubok ng pipeline, pero hindi para sa mga transcript na babasahin ng tao.
Bakit mas mabilis ang faster-whisper kaysa sa orihinal na Whisper package?
Pareho ang model. Magkaiba ang runtime. Pinapatakbo ng reference package ang Whisper sa PyTorch, samantalang pinapatakbo ng faster-whisper ang parehong weights sa CTranslate2, isang engine na ginawa para sa transformer inference. Kino-quantize nito ang weights kapag nilo-load at hindi nito kailangan ng PyTorch installation. Sa inilathalang CPU benchmark, nasa 1.9x ng real time ang reference package kumpara sa 7.6x para sa faster-whisper sa int8, at mas kaunti ang ginagamit na memory.
Bakit paulit-ulit na inuulit ng transcript ko ang parehong pangungusap?
Dina-decode ng Whisper ang silence o music bilang speech at bumabalik sa huli nitong confident na hula. Itakda ang vad_filter=True sa transcribe() call. Mauuna nitong patakbuhin ang Silero voice activity detection at aalisin ang mga silent stretch bago makita ng model ang mga ito. Kung paulit-ulit pa rin ito, tingnan ang audio level, dahil walang mapagkukunan ang model kapag halos tahimik ang recording sa buong panahon.
Paano ako magkakaroon ng OpenAI-compatible audio endpoint sa sarili kong server?
Magpatakbo ng server na nag-iimplement ng POST /v1/audio/transcriptions at POST /v1/audio/speech, pagkatapos ay ituro rito ang client gamit ang bagong base URL. Isang option ang Speaches. Inilalathala ito bilang container image na may CPU build, gamit ang faster-whisper para sa transcription at Piper o Kokoro para sa speech. Isa pa ang vox-box. Ini-install ito gamit ang pip install vox-box at sinisimulan gamit ang vox-box start --huggingface-repo-id, at nagsisilbi ito ng isang model bawat process. Hindi naka-enable ang authentication bilang default sa alinman sa mga ito, kaya mag-bind sa localhost at maglagay ng proxy o VPN sa harap nito.