SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

VPS 自架 Whisper 語音轉文字與 Piper TTS

在沒有 GPU 的 VPS 上執行 Whisper 與 Piper,了解 CPU 時間、磁碟需求,以及如何建立相容 OpenAI API 的 endpoint,讓現有 client 只需更換 base URL。

簡述自架語音轉文字與 TTS

自架語音轉文字與 TTS(文字轉語音)會在您擁有的伺服器上執行。轉錄使用 Whisper 搭配 faster-whisper runtime。語音合成使用 Piper。兩者都能在完全沒有 GPU 的一般 CPU VPS 上運作。小型 Whisper 模型約需 484 MB 磁碟空間,而 Piper 語音由 2 個檔案組成:ONNX 模型與小型 JSON 設定檔,合計遠低於 150 MB。

因此,音訊是適合開始的項目。自架影像產生器與自架影片產生在能夠使用前都需要 GPU。音訊則不需要。

本指南涵蓋兩個方向,以及連接兩者的層。Whisper 將音訊轉換為文字。Piper 將文字轉換為音訊。在兩者前方加入相容於 OpenAI 的 HTTP server,現有的 client 只需變更 base URL,即可連線至您的伺服器。

本指南命令中固定的每個版本,均已於 October 11, 2026 對照其專案的 release page 進行確認。故障排除章節列出的 CTranslate2 版本是相容性標記,不代表目前的 release。

為什麼選 faster-whisper,而不是參考版 Whisper 套件

OpenAI 的 whisper 套件在 PyTorch 中執行模型。faster-whisper 則在專為 transformer 模型撰寫的推論引擎 CTranslate2 上執行相同的模型權重。模型本身相同,但量化與解碼設定會影響轉錄結果。執行階段本身造成了下方測得的速度差異。

CTranslate2 載入權重時會進行量化,因此 compute_type="int8" 是單一引數,不需要另外執行轉換步驟。它也不相依於 PyTorch。pip install faster-whisper 會安裝 CTranslate2、tokenizer 與用於音訊解碼的 PyAV,因此虛擬環境的大小是數百 MB,而不是數 GB。在磁碟容量為 40 GB 的 VPS 上,這項差距會決定空間是否充裕。

以下是該專案針對 CPU 上 small 模型公布的實測數據。此基準測試使用 Intel Core i7-12700K 的 8 個執行緒轉錄 13 分鐘的音訊。x_realtime 欄位是 13 分鐘除以測得的執行時間:7.6 表示 13 分鐘的錄音在稍微超過 1 分 40 秒內完成。

圖表Whisper small on CPU, 13 minutes of audio (published project figures)
此圖表背後的資料
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

請如實解讀第二列。在此 CPU 上,fp32 下的 whisper.cpp 比 faster-whisper 更快,分別為 6.2x 與 5.0x,而且使用的記憶體不到後者的一半。它採用的也是支援 本機 LLM 堆疊中 llama.cpp 部分的同一個 ggml 系列。啟用 int8 與批次處理後,faster-whisper 便領先,達到 15.3x,但需使用 3,608 MB RAM。因此,如果需要 Python API 與批次處理,請選擇 faster-whisper;如果 RAM 是無法增加的限制,請選擇 whisper.cpp。

第一列就是本節的重點。在同一台機器上,參考套件的速度是即時速度的 1.9x,這表示 1 小時的音訊需要使用 CPU 處理半小時。

Whisper 模型權重需要多少磁碟空間?

圖表faster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
此圖表背後的資料
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

以下是已發布的 CTranslate2 float16 轉換版本。請注意,compute_type="int8"不會縮小下載檔案。權重會以 float16 形式下載,CTranslate2 在載入時於記憶體中進行量化。因此,無論以 float16 或 int8 執行,large-v3 在磁碟上都需要 3,090 MB。int8 可節省 RAM 並提升速度,但不會節省磁碟空間。

模型會在首次使用時下載至 ~/.cache/huggingface/hub。如果 VPS 的根磁碟區容量較小,請使用 download_root 引數或 HF_HOME 環境變數,將下載位置指定到有足夠空間的路徑。否則首次執行時可能會填滿磁碟,導致程序在下載途中終止。

在不破壞系統 Python 的情況下安裝 faster-whisper

Ubuntu 24.04 和 Debian 13 會將系統 Python 標記為由外部管理。在虛擬環境外執行 pip install faster-whisper 會立即停止,並顯示:

error: externally-managed-environment

這是封裝系統保護由 apt 管理之檔案的機制。請使用虛擬環境。

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

1.2.1 是目前版本,於 2025 年 10 月發布。faster-whisper 透過 PyAV 解碼音訊,而 PyAV 已內含自己的 ffmpeg 程式庫,因此無須另外安裝 ffmpeg 二進位檔即可讀取 mp3 或 m4a。上述的 ffmpeg 套件供本指南後續的影片處理使用。

下載 3 GB 的權重前,先確認安裝是否正常:

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

若出現 ok 這一行,表示 wheel 已成功安裝。若出現 ImportError,且其名稱包含 ctranslate2,表示執行環境遺失,或其編譯程式庫無法載入;訊息的其餘部分會說明具體原因。在 32 位元 ARM 映像檔上完全沒有 CTranslate2 wheel,因此 pip 會在安裝時直接失敗。

轉錄會議錄音或語音備忘錄

將以下內容儲存為 transcribe.py:

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

使用 ~/stt/bin/python transcribe.py 執行。第一次執行會下載權重,因此一段時間內不會輸出任何內容。之後模型會從快取載入,幾秒內即可完成。

segments 是產生器,因此必須對其進行迭代,轉錄才會開始。有些人計算 transcribe() 呼叫所需的時間,看到它立即返回,就以為發生問題。實際上沒有問題。工作是在迴圈中執行。

vad_filter=True 會先執行 Silero VAD(語音活動偵測),在 Whisper 處理音訊前移除無聲片段。對於有長時間停頓的會議錄音,這是可用的最大單項加速方式,因為 Whisper 完全不必處理沒有語音的音訊。這也能抑制 Whisper 在收到無聲音訊後,試圖從中辨識文字而產生的重複句迴圈。

將 cpu_threads 設為實際擁有的核心數。若設定值高於 vCPU 數量,轉錄速度會變慢,因為額外執行緒會爭用相同的核心,而排程器也必須承擔每次執行緒切換的成本。

Jellyfin 媒體庫的字幕

Jellyfin 會讀取放在影片旁邊、且檔名相同的外掛字幕檔,因此將 Movie (2019).en.srt 放在 Movie (2019).mkv 旁邊後,便會顯示為英文字幕軌,無須重新建立媒體庫。之後用戶端是否能直接播放,或由伺服器重新封裝字幕,或將字幕燒錄到影片中,取決於該用戶端支援的功能。

先擷取音訊。Whisper 會在內部將所有音訊重新取樣為 16 kHz 單聲道,因此直接提供 16 kHz 單聲道音訊,可減少兩端的處理工作:

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper 沒有 SRT 寫入器,因此請自行格式化區段。將以下內容儲存為 srt.py:

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

接著處理整個媒體庫:

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin 會停用 ffmpeg 的鍵盤互動功能。當 ffmpeg 在從標準輸入讀取檔名的迴圈中執行時,這也能避免 ffmpeg 讀取檔名。上面的 glob 迴圈不會從標準輸入讀取檔案清單。

開始前先估算所需時間。以上述 7.6x 速度計算,一部 100 分鐘的電影約需 13 分鐘的 CPU 時間,因此 50 部電影的媒體庫需要執行一整晚。在共用 vCPU 方案上,速度會更慢;nice 的用途就是處理這種情況:字幕工作會讓出資源,讓伺服器能優先處理其他實際工作。

使用 Piper 進行文字轉語音

Piper 是在 CPU 上執行 ONNX 語音模型的神經網路文字轉語音引擎。它內嵌 espeak-ng,可將文字轉換為音素,因此不需要另外安裝音素化工具。目前版本為 1.8.0,於 September 2026 發布。

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices 會在工作目錄中寫入兩個檔案:.onnx 權重檔案,以及包含取樣率和說話者清單的 .onnx.json 設定檔。這兩個檔案必須放在一起。如果將語音檔案存放在固定位置,請在兩個命令中都傳入 --data-dir,否則播放器會在工作目錄中尋找,因而找不到不在該目錄的語音檔案。

文字前的 -- 也很重要。它會將文字與命令列選項分隔開來,包括原本可能被以連字號開頭的句子觸發的選項。

語音有數個品質等級。中等品質的英文語音約為 60 MB,高品質語音約為其兩倍。較高的品質代表模型較大,且每秒語音需要較多 CPU 資源,不代表使用不同的說話者。

不要在迴圈中呼叫 CLI。每次呼叫都會載入模型,而對短句而言,模型載入的成本通常最高。請改用 HTTP 伺服器:

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

只要能播放 test.wav,就表示運作正常。該端點採用 Piper 自有的格式,不是 OpenAI 的格式,因此預期使用 /v1/audio/speech 的用戶端無法與它通訊。下一節會處理這個問題。

請使用 unit file 讓它持續執行,不要依賴即將關閉的終端機。該 unit 會以沒有登入權限的 piper 使用者執行 Piper,並從該使用者的家目錄啟動,因此服務不依賴你的帳號。請建立該使用者,並在其帳號下安裝 Piper 和語音檔案:

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

停止你在終端機中啟動的伺服器,然後建立 unit:

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper 會啟動服務,並在重新開機後重新啟動。若上方的 curl 沒有回傳內容,journalctl -u piper -n 50 會提供原因;最常見的原因是缺少語音檔案。

OpenAI 相容伺服器形式

大多數處理音訊的軟體已支援 OpenAI audio API:對 /v1/audio/transcriptions 發送 multipart POST 以上傳檔案,對 /v1/audio/speech 發送 JSON POST 以合成句子。自行提供這兩個路徑後,客戶端只需修改 base URL。

Speaches 是一套可處理雙向轉換的伺服器。它使用 faster-whisper 進行轉錄,並在 OpenAI 路徑後方使用 Piper 或 Kokoro 產生語音。目前版本是 2025 年 12 月發布的 v0.9.0-rc.3,仍未達到 1.0,因此請固定 image tag,並在升級前閱讀 release notes。

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

如果不想維護 compose 檔案,也可以使用單一容器形式:

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

named volume 是最容易被省略的部分。沒有它時,model cache 會存放在容器內,移除並重新建立容器後,已下載的 weights 也會遺失。重新啟動同一個容器則會保留這些檔案。

語音服務必須先下載 voice,/v1/audio/speech 才會回應:

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

完成後,任何 OpenAI client 都能使用,只需修改 base URL:

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

api_key 這個 placeholder 是必要的,因為 OpenAI client library 沒有它就拒絕發送請求。在設定真正的 key 前,伺服器會忽略其值。

vox-box 是另一個值得介紹的專案。它是 Python package,而不是容器,並使用 Whisper、FunASR、Bark、Dia 或 CosyVoice 提供相同路徑。當前版本是 2025 年 12 月發布的 0.0.21,需要 Python 3.10 或更新版本。

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

專案自己的範例會繫結 port 80,這需要 root 或 CAP_NET_BIND_SERVICE capability。在還執行其他服務的伺服器上,讓 reverse proxy 轉送到高位埠是較好的架構。vox-box start 一次只能使用一個 model,因此若要涵蓋雙向轉換,必須在第二個 port 上啟動第二個 instance,並指定 speech repo id。

先詢問伺服器已載入哪些內容,再將該 id 填入 model 欄位:

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

格式為 {"text": "..."} 的 JSON body 表示整條路徑均可正常運作。若收到 404,請讀取 response body,並將 model id 與 /v1/models 比對。對於本機尚未安裝但有效的 model,Speaches 也會回傳 404。若錯誤訊息指出此情況,請使用 uvx speaches-cli model download MODEL_ID 下載要求的 model,再重新嘗試。它的 download route 是 POST /v1/models/{model_id}。

這些伺服器預設都不會啟用 authentication。請將它們繫結至 127.0.0.1,並透過 VPN 或要求輸入 credentials 的 reverse proxy 存取。公開 IP 上開放的 /v1/audio/transcriptions 等於免費提供 CPU 給任何找到它的人,而他們一定找得到。

自行託管助理的語音前端

當雙向都能透過 OpenAI 路徑回應後,聊天前端就能驅動這兩個方向。Open WebUI 及其替代方案可在設定中接受與 OpenAI 相容的音訊 base URL,因此單一主機即可使用 Ollama 執行本機 LLM,在兩端完成語音迴路。

請如實估算延遲,因為這 3 個步驟會在相同的 CPU core 上依序執行。以上述 7.6x 的速度計算,10 秒的問題約需 1.3 秒才能完成轉錄,而且這還是在模型讀取第一個 token 之前。再加上 CPU token 生成時間後,整個往返速度會慢到讓測試人員以為服務已當機。批次轉錄在 CPU 上尚可接受,但對話則不然。此時,使用配備 GPU 的 VPS才開始值得其價格。

GPU 何時才真正值得使用?

圖表Whisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
此圖表背後的資料
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

在 GPU 上,使用 int8 執行 large 模型時,速度可達即時的 13.2 倍,並使用 2,926 MB VRAM;啟用批次處理後,速度可達 48.8 倍。請特別注意兩張圖表沒有說明的內容。兩者使用的是不同模型:GPU 列使用 large-v2,CPU 列使用 small。GPU 並不會讓 small 模型快 6 倍,而是讓高準確度模型變得可用。

這些數字的來源

兩張圖表都重現 faster-whisper README 中發布的基準測試結果。音訊是單一個 13 分鐘的檔案。CPU 列在 Intel Core i7-12700K 上使用 8 個執行緒,GPU 列則在配備 8 GB VRAM 的 NVIDIA RTX 3070 Ti 上使用 CUDA 12.4。秒數與記憶體欄位採用已發布的數值。x_realtime 欄位是根據這些數值計算而得:以 780 秒的音訊長度除以測得的處理時間,並四捨五入至小數點後 1 位。CPU 圖表中的記憶體欄位代表系統 RAM,GPU 圖表中的記憶體欄位則代表 VRAM。

共享 vCPU 方案無法達到 CPU 圖表中的數值。該基準測試獨占一台高效能桌上型處理器的 8 個執行緒。請將 7.6 倍視為上限,並先使用 time 在實際錄音上測量自己的主機,再據此規劃。

以下 4 項經驗法則在實務上通常適用:

  • 偶爾轉錄自己的錄音:使用 CPU、small、int8。先配置 2 個專用 vCPU,再測量轉錄時間。
  • 需要在夜間批次處理,例如產生字幕:使用 CPU、small 或 medium、int8,並以 nice 包裝執行。
  • 需要互動式處理,或想在一個晚上處理完整個人資料庫:使用 GPU。
  • Piper:一律使用 CPU。這種大小的語音模型幾乎無法從 GPU 獲得效能提升。

如果你正在評估同一套硬體還能執行哪些工作,深入探討可自行託管哪些 AI 模型會說明哪些模型大小適合或不適合你的硬體。

錯誤情況與實際顯示的字串

安裝時出現 error: externally-managed-environment。發行版會保護系統 Python。請依照上文建立虛擬環境。

GPU 主機上的 cuDNN 不相容。 錯誤訊息如下:

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 將 CUDA 12 組建改用 cuDNN 9,但主機仍使用 cuDNN 8。請安裝 cuDNN 9,或使用 pip install --force-reinstall ctranslate2==4.4.0 固定較舊的執行階段。兩者擇一即可。兩者同時使用會回到原本的問題。

This CTranslate2 package was not compiled with CUDA support 是另一種外觀相似的錯誤。已安裝的 CTranslate2 組建不含 CUDA 支援。官方 Linux 與 Windows wheel 支援 GPU 執行;請檢查平台與套件來源,然後安裝支援 CUDA 的組建。使用相同的僅支援 CPU 組建重新建立相同環境,無法解決問題。

轉錄內容反覆出現相同句子。 一句話重複 10 次,幾乎總是因為系統將無聲片段或音樂解碼為語音。請先啟用 vad_filter=True。若問題仍存在,請聆聽該片段:接近無聲的音訊沒有足夠內容讓 Whisper 建立判斷依據,因此會重複上一個最有把握的猜測。

偵測到錯誤的語言。 faster-whisper 預設只會根據前 30 秒的片段進行推測。info.language_probability 明顯低於 1.0,表示判斷不確定;錄音開頭是音樂或多人交談時,就可能發生這種情況。如果已知語言,請傳入 language="en";或調高 language_detection_segments,讓系統在判定前檢查更多片段。

程序輸出 Killed 後停止。 請檢查 dmesg 是否有相符的 oom-kill 訊息,以確認 kernel 是因記憶體不足而終止程序。large-v3 下載超過 3 GB 的 float16 權重,但 int8 可在載入時降低記憶體用量。已發布的小型模型 int8 基準測試使用 1,477 MB RAM,因此 2 GB VPS 幾乎沒有空間留給作業系統與其他服務。

Piper 找不到語音。 player 預設會在工作目錄中搜尋,除非傳入 --data-dir。請對預期的目錄執行 ls,並確認 .onnx 與 .onnx.json 都存在;只存在其中一個會失敗,兩者都不存在也一樣。

FAQ

我可以在僅使用 CPU 的 VPS 上執行語音轉文字嗎?

可以。對批次工作而言,這是合理的選擇。使用 int8 的 faster-whisper small model 時,該專案公布的基準測試顯示,在桌上型 i7 的 8 個執行緒上,轉錄 13 分鐘音訊需要 102 秒,約為即時速度的 7.6 倍,使用 1,477 MB RAM。共享 vCPU 方案的速度會比這慢,因此請測量自己的主機。Piper 的文字轉語音更容易執行,無論任何情況都不需要 GPU。

我應該使用哪種 Whisper 模型大小?

先從 int8 的 small model 開始。它在磁碟上佔用 484 MB,處理清晰的錄音效果良好。若口音或背景噪音造成無法接受的錯誤,再升級至 medium。只有在準確度比其他條件都重要時,才使用 large-v3,因為它需要 3,090 MB 磁碟空間。RAM 用量取決於運算類型與工作負載,因此請先測量,再決定 VPS 規格。反過來,僅佔用 75.5 MB 的 tiny 適合語言偵測與測試處理流程,但不適合產生供人閱讀的逐字稿。

為什麼 faster-whisper 比原始的 Whisper 套件更快?

模型相同,但執行環境不同。參考套件在 PyTorch 中執行 Whisper,而 faster-whisper 會在 CTranslate2 上使用相同的權重。CTranslate2 是專為 transformer 推論設計的引擎,會在載入時量化權重,也不需要安裝 PyTorch。在公布的 CPU 基準測試中,參考套件的速度為即時速度的 1.9 倍,而 faster-whisper 使用 int8 時為 7.6 倍,且記憶體用量較低。

為什麼我的逐字稿會一再重複相同句子?

Whisper 可能把靜音或音樂解碼為語音,並回退到上一次最有信心的猜測。請在 transcribe() 呼叫中設定 vad_filter=True。此設定會先執行 Silero voice activity detection,並在模型處理前移除靜音片段。如果仍然重複,請檢查音訊音量,因為幾乎全程無聲的錄音無法提供模型可用的資訊。

如何在自己的伺服器上取得與 OpenAI 相容的音訊端點?

執行實作 POST /v1/audio/transcriptions 與 POST /v1/audio/speech 的伺服器,然後使用新的 base URL 將用戶端指向該伺服器。Speaches 是其中一個選項。它以容器映像檔發布,提供 CPU build,並使用 faster-whisper 進行語音轉文字,使用 Piper 或 Kokoro 進行文字轉語音。vox-box 是另一個選項,可使用 pip install vox-box 安裝,並以 vox-box start --huggingface-repo-id 啟動;每個程序提供一個模型。兩者預設都不啟用驗證,因此請繫結至 localhost,並在前方配置代理伺服器或 VPN。

這篇文章對您有幫助嗎?

#whisper#tts#piper#speech-to-text#self-hosted-ai