SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor

Tự host Whisper và Piper trên VPS CPU

Chạy Whisper transcription và Piper TTS trên VPS của bạn, xem chi phí CPU, dung lượng model và cách mở endpoint tương thích OpenAI qua HTTP.

Tóm tắt về speech-to-text và TTS tự host

Speech-to-text và TTS (text-to-speech) tự host chạy trên server do bạn sở hữu. Whisper thực hiện việc chuyển giọng nói thành văn bản thông qua runtime faster-whisper. Piper thực hiện việc tổng hợp giọng nói. Cả hai đều chạy trên VPS CPU thông thường mà hoàn toàn không cần GPU. Model Whisper nhỏ cần khoảng 484 MB dung lượng đĩa, còn một voice của Piper gồm 2 file: model ONNX và một file cấu hình JSON nhỏ; tổng dung lượng thấp hơn nhiều so với 150 MB.

Đó là lý do audio là nơi nên bắt đầu. Trình tạo hình ảnh tự host và tạo video tự host đều cần GPU thì mới có thể sử dụng được. Audio thì không.

Hướng dẫn này bao quát cả hai chiều và lớp kết nối giữa chúng. Whisper chuyển audio thành văn bản. Piper chuyển văn bản thành audio. Một HTTP server tương thích với OpenAI đặt phía trước cả hai cho phép client hiện có kết nối đến máy của bạn mà không cần thay đổi gì ngoài base URL.

Mọi version được ghim trong các command ở đây đã được đối chiếu với trang release của project tương ứng vào ngày 11 tháng 10 năm 2026. Các version CTranslate2 được nêu trong phần xử lý lỗi là các mốc tương thích, không phải release hiện tại.

Vì sao dùng faster-whisper thay vì package Whisper tham chiếu

Package whisper của OpenAI chạy model bằng PyTorch. faster-whisper chạy cùng model weights trên CTranslate2, một inference engine được viết riêng cho các model transformer. Model là như nhau, nhưng các thiết lập quantization và decoding ảnh hưởng đến transcript. Runtime là nguyên nhân tạo ra chênh lệch tốc độ được đo bên dưới.

CTranslate2 quantize weights trong lúc load, vì vậy compute_type="int8" chỉ là một argument và không cần bước conversion riêng. CTranslate2 cũng không phụ thuộc PyTorch. pip install faster-whisper cài CTranslate2, tokenizer và PyAV để decode audio, nên virtual environment chỉ chiếm vài trăm megabyte thay vì vài gigabyte. Trên VPS có disk 40 GB, chênh lệch này quyết định việc hệ thống còn dư dả hay bị chật chội.

Dưới đây là các số liệu do chính project công bố cho model small trên CPU. Benchmark transcribe 13 phút audio bằng 8 threads trên Intel Core i7-12700K. Cột x_realtime là 13 phút chia cho thời gian đo được: 7.6 nghĩa là bản ghi dài 13 phút được xử lý xong trong hơn 1 phút 40 giây một chút.

Biểu đồWhisper small on CPU, 13 minutes of audio (published project figures)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

Hãy đọc hàng thứ hai một cách thực tế. Ở fp32, whisper.cpp nhanh hơn faster-whisper trên CPU này, 6.2x so với 5.0x, và chỉ dùng chưa đến một nửa memory. Đây là cùng họ ggml đứng phía sau phần llama.cpp của local LLM stack. faster-whisper vượt lên khi bật int8 và batching, đạt 15.3x, nhưng dùng 3,608 MB RAM. Vì vậy: chọn faster-whisper nếu cần Python API và batching; chọn whisper.cpp khi RAM là giới hạn không thể tăng thêm.

Hàng đầu tiên mới là điểm chính của section này. Package tham chiếu chỉ đạt 1.9x thời gian thực trên cùng máy, nghĩa là 1 giờ audio cần nửa giờ CPU.

Dung lượng ổ cứng cần thiết cho trọng số mô hình Whisper là bao nhiêu?

Biểu đồfaster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

Đây là các bản chuyển đổi CTranslate2 đã được công bố, ở định dạng float16. Lưu ý compute_type="int8" không làm điều này: nó không làm giảm dung lượng tải xuống. Các trọng số được tải về ở định dạng float16 và CTranslate2 sẽ thực hiện lượng tử hóa chúng trong bộ nhớ tại thời điểm load, vì vậy large-v3 tiêu tốn 3,090 MB trên ổ cứng bất kể bạn chạy ở chế độ float16 hay int8. int8 giúp bạn tiết kiệm RAM và tăng tốc độ, không phải dung lượng ổ cứng.

Các mô hình sẽ được tải xuống trong lần sử dụng đầu tiên vào ~/.cache/huggingface/hub. Trên một VPS có phân vùng root nhỏ, hãy trỏ đường dẫn đó đến nơi có đủ dung lượng bằng cách sử dụng tham số download_root hoặc biến môi trường HF_HOME, nếu không, lần chạy đầu tiên của bạn sẽ làm đầy ổ cứng và tiến trình sẽ bị ngắt giữa chừng trong quá trình tải xuống.

Cài faster-whisper mà không làm hỏng Python hệ thống

Ubuntu 24.04 và Debian 13 đánh dấu Python hệ thống là do hệ thống bên ngoài quản lý. Chạy pip install faster-whisper bên ngoài virtual environment sẽ dừng ngay với lỗi:

error: externally-managed-environment

Đó là hệ thống quản lý package đang bảo vệ các file do apt sở hữu. Hãy dùng virtual environment.

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

Version 1.2.1 là bản phát hành hiện tại, được phát hành vào tháng 10 năm 2025. faster-whisper giải mã audio thông qua PyAV. PyAV đóng gói sẵn các thư viện ffmpeg riêng, nên có thể đọc file mp3 hoặc m4a mà không cần binary ffmpeg riêng. Package ffmpeg ở trên dùng cho phần xử lý video về sau trong hướng dẫn này.

Kiểm tra quá trình cài đặt trước khi download 3 gigabyte weights:

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

Dòng có nội dung ok cho biết các wheel đã được cài thành công. Lỗi có tên ImportError và ctranslate2 cho biết runtime bị thiếu hoặc compiled library không thể load; phần còn lại của thông báo sẽ nêu nguyên nhân. Trên image ARM 32-bit không có CTranslate2 wheel, nên pip sẽ fail ngay trong lúc cài đặt.

Chuyển bản ghi cuộc họp hoặc ghi âm giọng nói thành văn bản

Lưu nội dung này vào transcribe.py:

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

Chạy bằng ~/stt/bin/python transcribe.py. Lần chạy đầu tiên sẽ tải weights, nên trong một lúc sẽ không có output. Sau đó, model sẽ được tải từ cache trong vài giây.

segments là một generator, vì vậy quá trình chuyển giọng nói thành văn bản chưa bắt đầu cho đến khi bạn iterate qua nó. Nhiều người đo thời gian gọi transcribe(), thấy hàm trả về ngay lập tức rồi nghĩ rằng có lỗi. Không có lỗi. Công việc diễn ra trong vòng lặp.

vad_filter=True chạy Silero VAD (voice activity detection) trước và loại bỏ các đoạn im lặng trước khi Whisper xử lý. Với bản ghi cuộc họp có nhiều khoảng ngắt dài, đây là cách tăng tốc hiệu quả nhất, vì Whisper hoàn toàn không phải xử lý các đoạn âm thanh không có giọng nói. Cách này cũng ngăn các vòng lặp lặp lại câu mà Whisper tạo ra khi nhận đầu vào là khoảng im lặng và cố tìm từ trong đó.

Đặt cpu_threads bằng số core thực tế bạn có. Đặt giá trị này cao hơn số vCPU sẽ làm quá trình chuyển giọng nói thành văn bản chậm hơn, vì các thread bổ sung phải tranh chấp cùng một core và scheduler phải trả chi phí cho mỗi lần chuyển đổi.

Phụ đề cho thư viện Jellyfin

Jellyfin đọc các file phụ đề bên ngoài nằm cùng thư mục với video và có cùng tên với video. Vì vậy, Movie (2019).en.srt nằm cạnh Movie (2019).mkv sẽ xuất hiện dưới dạng một track tiếng Anh mà không cần rebuild library. Việc client có phát trực tiếp track đó hay server remux hoặc burn phụ đề vào video còn tùy vào khả năng hỗ trợ của client đó.

Trước tiên, hãy tách audio. Whisper tự resample mọi nội dung về mono 16 kHz ở bên trong, nên chuyển đầu vào đã ở mono 16 kHz sẽ giảm phần xử lý ở cả hai phía:

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper không có SRT writer, nên bạn tự format các segment. Lưu nội dung sau thành srt.py:

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

Sau đó duyệt qua library:

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin tắt thao tác tương tác bằng bàn phím của ffmpeg. Nó cũng ngăn ffmpeg đọc các filename khi chạy bên trong một loop lấy chúng từ standard input. Loop dùng glob ở trên không lấy danh sách file từ standard input.

Hãy ước tính thời gian trước khi bắt đầu. Với tốc độ 7.6x nêu trên, một bộ phim dài 100 phút cần khoảng 13 phút CPU, nên library gồm 50 bộ phim sẽ cần chạy qua đêm. Trên gói dùng chung có vCPU, quá trình này còn chậm hơn. Đó là lý do dùng nice: khi đó tiến trình tạo phụ đề sẽ nhường CPU cho các tác vụ khác đang thực sự chạy trên máy.

Đọc văn bản thành giọng nói bằng Piper

Piper là engine chuyển văn bản thành giọng nói dạng neural, chạy model giọng nói ONNX trên CPU. Piper tích hợp espeak-ng để chuyển văn bản thành phoneme, nên không cần cài phonemizer riêng. Bản release hiện tại là 1.8.0, được phát hành vào September 2026.

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices ghi 2 file vào working directory: file weights .onnx và file config .onnx.json chứa sample rate cùng danh sách speaker. Hai file này phải nằm cùng nhau. Nếu lưu voice ở một vị trí cố định, hãy truyền --data-dir cho cả 2 command, vì player mặc định tìm trong working directory và sẽ không tìm thấy voice nếu voice không nằm ở đó.

-- trước phần văn bản cũng rất quan trọng. Nó tách phần văn bản khỏi các command-line option, bao gồm những option mà một câu bắt đầu bằng dấu hyphen có thể vô tình kích hoạt.

Voice được phát hành ở nhiều mức chất lượng. Một voice tiếng Anh mức medium có dung lượng khoảng 60 MB, còn mức high có dung lượng khoảng gấp đôi. Chất lượng cao hơn nghĩa là model lớn hơn và cần nhiều CPU hơn cho mỗi giây audio, không phải là một speaker khác.

Không gọi CLI trong loop. Piper load model ở mỗi lần chạy, và việc load model chiếm phần lớn chi phí khi xử lý một câu ngắn. Thay vào đó, hãy chạy HTTP server:

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

Nếu có thể phát test.wav, nghĩa là Piper hoạt động. Endpoint đó dùng format riêng của Piper, không phải của OpenAI, nên client đang chờ /v1/audio/speech sẽ không kết nối được. Phần tiếp theo sẽ xử lý việc này.

Hãy giữ Piper chạy bằng unit file thay vì một terminal mà bạn sẽ đóng. Unit chạy Piper bằng user piper không có quyền login, từ home directory của user đó, nên service không phụ thuộc vào account của bạn. Tạo user rồi cài Piper và voice bằng user đó:

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

Dừng server bạn đã chạy trong terminal, rồi tạo unit:

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper khởi động service và chạy lại service sau reboot. Nếu lệnh curl ở trên không trả về gì, journalctl -u piper -n 50 chứa nguyên nhân; trường hợp thường gặp nhất là thiếu voice file.

Cấu trúc server tương thích với OpenAI

Phần lớn phần mềm xử lý audio đã hỗ trợ OpenAI audio API: gửi POST multipart đến /v1/audio/transcriptions để tải file, hoặc gửi POST JSON đến /v1/audio/speech để xử lý một câu. Bạn chỉ cần tự phục vụ hai path này; phía client chỉ phải thay đổi một giá trị là base URL.

Speaches là một server hỗ trợ cả hai chiều. Nó chạy faster-whisper để transcription và Piper hoặc Kokoro để tổng hợp speech, thông qua các path của OpenAI. Bản release hiện tại là v0.9.0-rc.3 từ December 2025, vẫn chưa đạt 1.0. Vì vậy, hãy pin image tag và đọc release notes trước khi upgrade.

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

Dạng single-container, nếu bạn không muốn duy trì các file compose:

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

Named volume là phần mọi người thường bỏ qua. Nếu không có volume này, model cache nằm bên trong container. Khi xóa và tạo lại container, các weights đã tải xuống sẽ mất. Restart cùng container thì vẫn giữ được chúng.

Speech cần tải voice xuống trước khi /v1/audio/speech có thể phản hồi:

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

Sau đó, mọi OpenAI client đều hoạt động nếu thay đổi base URL:

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

Placeholder api_key là bắt buộc vì OpenAI client library từ chối gửi request nếu không có giá trị này. Server sẽ bỏ qua giá trị của nó cho đến khi bạn cấu hình một key thật.

vox-box là project còn lại đáng nhắc đến. Đây là Python package thay vì container, và nó phục vụ cùng các path với Whisper, FunASR, Bark, Dia hoặc CosyVoice ở phía sau. Version 0.0.21 là bản hiện tại, phát hành vào December 2025, và cần Python 3.10 trở lên.

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

Ví dụ của chính project bind vào port 80, cần root hoặc capability CAP_NET_BIND_SERVICE. Trên server còn chạy các dịch vụ khác, dùng một high port phía sau reverse proxy sẽ phù hợp hơn. vox-box start chỉ nhận một model, nên để hỗ trợ cả hai chiều, bạn cần chạy instance thứ hai trên port thứ hai với speech repo id.

Hãy hỏi server đã load những gì, rồi dùng id đó trong field model:

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

JSON body có dạng {"text": "..."} cho biết toàn bộ path hoạt động. Nếu nhận 404, hãy đọc response body và đối chiếu model id với /v1/models. Speaches cũng trả về 404 nếu model hợp lệ nhưng chưa được cài local. Nếu lỗi hiển thị như vậy, hãy tải model được yêu cầu bằng uvx speaches-cli model download MODEL_ID rồi thử lại. Download route của nó là POST /v1/models/{model_id}.

Không server nào trong số này bật authentication theo mặc định. Hãy bind chúng vào 127.0.0.1 và truy cập qua VPN hoặc reverse proxy có yêu cầu credentials. Một /v1/audio/transcriptions mở trên public IP là nguồn CPU miễn phí cho bất kỳ ai tìm thấy nó, và họ sẽ tìm thấy.

Một giao diện giọng nói cho trợ lý tự host

Khi cả hai chiều đều phản hồi qua các path của OpenAI, bạn có thể dùng một chat front end để điều khiển chúng. Open WebUI và các lựa chọn thay thế chấp nhận base URL tương thích với OpenAI cho audio trong phần settings, vì vậy một máy có thể chạy LLM cục bộ bằng Ollama và khép kín vòng xử lý giọng nói ở cả hai đầu.

Hãy dự trù latency thực tế, vì ba bước đó chạy tuần tự trên cùng các core. Một câu hỏi dài 10 giây mất khoảng 1.3 giây để chuyển thành văn bản theo mức 7.6x nêu trên, và đó là trước khi model đọc token đầu tiên. Khi cộng thêm việc tạo token bằng CPU, round trip đủ chậm để người kiểm thử tưởng rằng dịch vụ đã bị crash. Transcription theo lô hoạt động tốt trên CPU. Hội thoại thì không, và đó là lúc một VPS có GPU bắt đầu xứng đáng với chi phí.

Khi nào GPU thực sự đáng dùng?

Biểu đồWhisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

Trên GPU, model large chạy ở int8 đạt 13.2x thời gian thực và dùng 2,926 MB VRAM, còn khi chạy batch thì đạt 48.8x. Lưu ý kỹ điều mà hai biểu đồ không nói. Chúng chạy các model khác nhau: các dòng GPU dùng large-v2, còn các dòng CPU dùng small. GPU không làm model small nhanh hơn 6 lần. GPU giúp model có độ chính xác cao chạy được.

Các số liệu này lấy từ đâu

Cả hai biểu đồ đều tái hiện benchmark được công bố trong README của faster-whisper. Audio là một file dài 13 phút. Các dòng CPU dùng 8 thread trên Intel Core i7-12700K, còn các dòng GPU dùng CUDA 12.4 trên NVIDIA RTX 3070 Ti với 8 GB VRAM. Các cột seconds và memory là số liệu đã công bố. Cột x_realtime được tính từ các số liệu này: lấy 780 giây audio chia cho thời gian đo được, rồi làm tròn đến một chữ số thập phân. Cột memory là RAM hệ thống trong biểu đồ CPU và VRAM trong biểu đồ GPU.

Một gói vCPU dùng chung sẽ không đạt được các số liệu CPU đó. Benchmark này dành riêng 8 thread của một CPU desktop nhanh. Hãy xem 7.6x là mức trần, sau đó đo trên máy của bạn bằng time với một bản ghi thực tế trước khi lập kế hoạch dựa trên con số đó.

Bốn quy tắc kinh nghiệm thường đúng trong thực tế:

  • Thỉnh thoảng chuyển giọng nói thành văn bản từ bản ghi của bạn: CPU, small, int8. Bắt đầu với 2 vCPU dedicated và đo thời gian transcription.
  • Chạy batch qua đêm, chẳng hạn tạo subtitle: CPU, small hoặc medium, int8, chạy trong nice.
  • Cần tương tác hoặc muốn xử lý cả thư viện trong một buổi tối: GPU.
  • Piper: luôn dùng CPU. Voice model có kích thước này hầu như không được lợi gì từ GPU.

Nếu bạn đang tính xem cùng phần cứng đó còn có thể chạy thêm gì, câu hỏi rộng hơn về những AI model nào bạn có thể tự host sẽ đề cập đến các kích thước phù hợp và không phù hợp.

Các dạng lỗi và chuỗi bạn sẽ thấy

error: externally-managed-environment khi cài đặt. Python hệ thống được distribution bảo vệ. Hãy tạo một virtual environment như hướng dẫn ở trên.

Lỗi không tương thích cuDNN trên máy có GPU. Lỗi có dạng như sau:

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 đã chuyển các bản build CUDA 12 sang cuDNN 9, trong khi host đang dùng cuDNN 8. Hãy cài cuDNN 9 hoặc pin runtime cũ hơn bằng pip install --force-reinstall ctranslate2==4.4.0. Chỉ thực hiện một trong hai cách. Làm cả hai sẽ đưa bạn về đúng trạng thái ban đầu.

This CTranslate2 package was not compiled with CUDA support là một lỗi khác nhưng có biểu hiện tương tự. Bản build CTranslate2 đã cài không có hỗ trợ CUDA. Các wheel Linux và Windows chính thức hỗ trợ chạy bằng GPU; hãy kiểm tra platform và nguồn package, sau đó cài bản build có hỗ trợ CUDA. Tạo lại cùng một môi trường với cùng bản build chỉ hỗ trợ CPU sẽ không khắc phục được lỗi.

Các cụm từ lặp lại trong transcript. Một câu lặp lại mười lần gần như luôn có nghĩa là đoạn im lặng hoặc nhạc đang bị giải mã thành lời nói. Trước tiên hãy bật vad_filter=True. Nếu vẫn xảy ra, hãy nghe đoạn đó: âm thanh gần như im lặng không cung cấp điểm neo cho Whisper, nên nó lặp lại phán đoán cuối cùng có độ tin cậy cao.

Nhận diện sai ngôn ngữ. Theo mặc định, faster-whisper chỉ phỏng đoán từ cửa sổ 30 giây đầu tiên. info.language_probability thấp hơn nhiều so với 1.0 nghĩa là nó không chắc chắn. Điều này thường xảy ra khi bản ghi bắt đầu bằng nhạc hoặc có nhiều người nói chồng lên nhau. Hãy truyền language="en" khi bạn đã biết đáp án, hoặc tăng language_detection_segments để nó kiểm tra nhiều cửa sổ hơn trước khi quyết định.

Process in Killed rồi dừng. Kiểm tra dmesg để tìm dòng oom-kill tương ứng và xác nhận kernel đã kill process vì hết memory. large-v3 tải xuống hơn 3 GB weight float16, nhưng int8 giảm memory footprint khi load. Benchmark int8 của model small được công bố sử dụng 1,477 MB RAM, vì vậy VPS 2 GB còn rất ít tài nguyên cho operating system và các service khác.

Piper không tìm thấy voice. Player tìm trong working directory, trừ khi bạn truyền --data-dir. Chạy ls trên directory bạn dự kiến sử dụng và xác nhận .onnx cùng .onnx.json đều tồn tại, vì thiếu một trong hai cũng chắc chắn khiến lệnh fail như khi thiếu cả hai.

FAQ

Tôi có thể chạy speech to text trên VPS chỉ có CPU không?

Có. Với các tác vụ xử lý theo lô, đây là lựa chọn hợp lý. Khi dùng faster-whisper với model small ở int8, benchmark do dự án công bố cho thấy hệ thống chuyển 13 phút audio trong 102 giây trên 8 thread của desktop i7, nhanh khoảng 7.6x so với thời gian thực, với 1,477 MB RAM. Gói shared vCPU chạy chậm hơn mức đó, nên hãy đo trên máy của bạn. Text to speech với Piper còn đơn giản hơn và không cần GPU trong bất kỳ trường hợp nào.

Tôi nên dùng kích thước model Whisper nào?

Hãy bắt đầu với small ở int8. Model này chiếm 484 MB trên disk và xử lý tốt speech được ghi âm rõ ràng. Chuyển lên medium khi accent hoặc tiếng ồn nền gây ra các lỗi không thể chấp nhận, và chỉ dùng large-v3 khi độ chính xác quan trọng hơn mọi yếu tố khác, vì model này cần 3,090 MB disk. Mức dùng RAM phụ thuộc vào loại compute và workload, nên hãy đo trước khi chọn kích thước VPS. Ở chiều ngược lại, tiny với 75.5 MB phù hợp để phát hiện ngôn ngữ và kiểm thử pipeline, không phù hợp với transcript mà người dùng sẽ đọc.

Vì sao faster-whisper nhanh hơn package Whisper gốc?

Model là như nhau. Runtime thì không. Package tham chiếu chạy Whisper trên PyTorch, còn faster-whisper chạy cùng các weights trên CTranslate2, một engine được xây dựng cho transformer inference, quantize weights khi load và không cần cài PyTorch. Trong benchmark CPU đã công bố, package tham chiếu đạt 1.9x so với thời gian thực, còn faster-whisper ở int8 đạt 7.6x và dùng ít memory hơn.

Vì sao transcript của tôi lặp đi lặp lại cùng một câu?

Whisper đang giải mã silence hoặc music thành speech và lặp lại phán đoán cuối cùng có độ tin cậy cao. Đặt vad_filter=True trong lời gọi transcribe(). Tùy chọn này chạy phát hiện hoạt động của giọng nói bằng Silero trước, rồi loại bỏ các đoạn silence trước khi model xử lý. Nếu vẫn lặp, hãy kiểm tra mức audio, vì bản ghi gần như im lặng trong toàn bộ thời lượng sẽ không cung cấp đủ dữ liệu cho model.

Làm thế nào để có audio endpoint tương thích với OpenAI trên server của riêng tôi?

Chạy một server triển khai POST /v1/audio/transcriptions và POST /v1/audio/speech, rồi trỏ client tới đó bằng base URL mới. Speaches là một lựa chọn, được phát hành dưới dạng container image có bản build cho CPU, dùng faster-whisper để transcription và Piper hoặc Kokoro cho speech. vox-box là một lựa chọn khác, được cài bằng pip install vox-box và khởi động bằng vox-box start --huggingface-repo-id, phục vụ một model cho mỗi process. Cả hai đều không bật authentication mặc định, nên hãy bind vào localhost và đặt một proxy hoặc VPN ở phía trước.

Bài viết này có hữu ích không?

#whisper#tts#piper#speech-to-text#self-hosted-ai