SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

VPS自托管Whisper语音转文字和Piper TTS

在无GPU的普通CPU VPS上运行 faster-whisper 和 Piper,了解模型磁盘占用、CPU转录速度及如何部署兼容 OpenAI 的 HTTP 接口。

简述自托管语音转文字和文本转语音

自托管语音转文字和文本转语音(TTS)运行在您自己的服务器上。转录通过 faster-whisper 运行时执行 Whisper。语音合成使用 Piper。两者都可在完全没有 GPU 的普通 CPU VPS 上运行。小型 Whisper 模型需要约 484 MB 磁盘空间,Piper 语音包含两个文件:一个 ONNX 模型和一个较小的 JSON 配置文件,合计远低于 150 MB。

因此,音频适合作为起点。自托管图像生成 和 自托管视频生成 在真正可用前都需要 GPU。音频不需要。

本指南涵盖这两个方向,以及连接两者的中间层。Whisper 将音频转换为文本。Piper 将文本转换为音频。在两者前面运行一个兼容 OpenAI API 的 HTTP 服务器后,现有客户端只需将基础 URL 指向您的服务器,无需其他修改。

本指南中命令固定的每个版本都已于 2026 年 10 月 11 日与其项目的发布页面进行核对。故障排查部分列出的 CTranslate2 版本是兼容性标记,不是当前版本。

为什么选择 faster-whisper,而不是参考 Whisper 软件包

OpenAI 的 whisper 软件包在 PyTorch 中运行模型。faster-whisper 使用 CTranslate2 在相同的模型权重上运行。CTranslate2 是专为 transformer 模型编写的推理引擎。模型本身相同,但量化和解码设置会影响转写结果。下面测得的速度差异由运行时造成。

CTranslate2 会在加载权重时进行量化,因此 compute_type="int8" 是一个参数,而不是单独的转换步骤。它也不依赖 PyTorch。pip install faster-whisper 会安装 CTranslate2、分词器和用于音频解码的 PyAV,因此虚拟环境的大小是几百 MB,而不是几 GB。在只有 40 GB 磁盘的 VPS 上,这一差异决定了磁盘空间是充足还是紧张。

以下是项目针对 small 模型在 CPU 上发布的测试数据。基准测试使用 Intel Core i7-12700K 的 8 个线程转写 13 分钟的音频。x_realtime 列表示 13 分钟除以实测耗时:7.6 表示一段 13 分钟的录音在略多于 1 分 40 秒内完成。

图表Whisper small on CPU, 13 minutes of audio (published project figures)
此图表背后的数据
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

应如实解读第二行。在 fp32 下,whisper.cpp 在这台 CPU 上比 faster-whisper 更快,分别为 6.2x 和 5.0x,而且内存占用不到后者的一半。它使用的就是本地 LLM 技术栈中 llama.cpp 部分所基于的同一 ggml 系列。启用 int8 和批处理后,faster-whisper 的速度会领先,达到 15.3x,但需要占用 3,608 MB RAM。因此,如果需要 Python API 和批处理,应选择 faster-whisper;如果 RAM 是无法增加的限制,应选择 whisper.cpp。

第一行是本节的重点。参考软件包在同一台机器上的速度是实时速度的 1.9x,也就是说,1 小时音频需要半小时 CPU 时间。

Whisper 模型权重需要多少磁盘空间?

图表faster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
此图表背后的数据
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

以下是已发布的 CTranslate2 float16 转换版本。请注意 compute_type="int8" 不会做什么:它不会缩小下载文件。权重以 float16 格式下载,CTranslate2 在加载时于内存中对其进行量化。因此,无论以 float16 还是 int8 运行,large-v3 在磁盘上都需要 3,090 MB。int8 可以减少 RAM 占用并提升速度,但不会减少磁盘占用。

模型首次使用时会下载到 ~/.cache/huggingface/hub。如果 VPS 的根卷空间较小,请使用 download_root 参数或 HF_HOME 环境变量,将其指向有足够空间的位置。否则,首次运行会耗尽磁盘空间,进程会在下载过程中途退出。

安装 faster-whisper,避免破坏系统 Python

Ubuntu 24.04 和 Debian 13 将系统 Python 标记为由外部管理。在虚拟环境之外运行 pip install faster-whisper 会立即停止,并显示:

error: externally-managed-environment

这是打包系统在保护由 apt 管理的文件。请使用虚拟环境。

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

版本 1.2.1 是当前版本,于 2025 年 10 月发布。faster-whisper 通过 PyAV 解码音频,而 PyAV 自带 ffmpeg 库,因此无需单独的 ffmpeg 二进制文件即可读取 mp3 或 m4a。上面的 ffmpeg 软件包用于本指南后续的视频处理。

下载 3 gigabytes 的模型权重前,先检查安装结果:

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

如果输出中有一行显示 ok,说明 wheel 已成功安装。出现 ImportError 并命名为 ctranslate2,表示运行时缺失,或其已编译库无法加载;后续消息会说明具体原因。对于 32-bit ARM 镜像,根本没有 CTranslate2 wheel,因此 pip 会直接在安装时失败。

转录会议录音或语音备忘录

将以下内容保存为 transcribe.py:

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

使用 ~/stt/bin/python transcribe.py 运行。首次运行会下载模型权重,因此一段时间内不会输出任何内容。之后,模型会在几秒内从缓存加载。

segments 是一个生成器,因此必须对其进行迭代后才会开始转录。有人会统计 transcribe() 调用的耗时,看到它立即返回,就以为程序出错了。实际上没有出错。处理过程发生在循环中。

vad_filter=True 会先运行 Silero VAD(语音活动检测),在 Whisper 处理音频前删除静音片段。对于存在较长间隔的会议录音,这是最大的单项提速方法,因为 Whisper 完全不会处理不含语音的音频。这样还可以抑制 Whisper 在接收到静音并尝试从中识别词语时产生的重复句循环。

将 cpu_threads 设置为实际拥有的 CPU 核心数。将其设置为高于 vCPU 数量会使转录变慢,因为额外线程会争用同一个核心,调度器还要为每次线程切换付出开销。

Jellyfin 媒体库的字幕

Jellyfin 会读取放在视频文件旁边且与视频同名的外部字幕文件,因此将 Movie (2019).en.srt 放在 Movie (2019).mkv 旁边后,它就会作为英文字幕轨道显示,无需重建媒体库。客户端是直接播放该字幕,还是由服务器重新封装字幕或将字幕烧录到视频中,取决于客户端支持的功能。

先提取音频。Whisper 会在内部将所有音频重采样为 16 kHz 单声道,因此直接提供 16 kHz 单声道音频,可以减少两端的处理开销:

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper 不提供 SRT 写入器,因此需要自行格式化片段。将以下内容保存为 srt.py:

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

然后遍历媒体库:

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin 会禁用 ffmpeg 的键盘交互。它还会防止 ffmpeg 在从标准输入读取文件名的循环中消耗这些文件名。上面的基于 glob 的循环不会从标准输入读取文件列表。

开始前先估算所需时间。按照上面的 7.6x 速度,一部 100 分钟的电影大约需要 13 分钟 CPU 时间,因此处理 50 部电影需要运行一整夜。在共享 vCPU 方案上,速度会更慢;这正是 nice 的作用:字幕处理会让出 CPU,使服务器能够优先处理其他任务。

使用 Piper 进行文本转语音

Piper 是一个神经网络文本转语音引擎,可在 CPU 上运行 ONNX 语音模型。它内置 espeak-ng,可将文本转换为音素,因此无需单独安装音素化器。当前版本为 1.8.0,于 September 2026 发布。

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices 会在工作目录中写入两个文件:.onnx 权重文件,以及包含采样率和说话人列表的 .onnx.json 配置文件。两个文件必须放在一起。如果将语音文件存放在固定位置,请在两个命令中都传入 --data-dir,否则播放器会在工作目录中查找,找不到不在该目录中的语音文件。

文本前面的 -- 也很重要。它将文本与命令行选项分隔开,避免以连字符开头的句子被误解析为选项。

语音模型提供多个质量级别。中等质量的英语语音模型约为 60 MB,高质量模型约为其两倍。更高的质量意味着模型更大、每秒语音所需的 CPU 更多,并不意味着使用了不同的说话人。

不要在循环中调用 CLI。每次调用都会加载模型,而对于短句,模型加载的开销占主要部分。请改为运行 HTTP 服务器:

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

如果可以播放 test.wav,就说明运行正常。该端点使用的是 Piper 自己的接口格式,而不是 OpenAI 的格式,因此需要 /v1/audio/speech 的客户端无法与其通信。下一节将解决这个问题。

请使用单元文件保持服务运行,不要依赖即将关闭的终端。该单元以没有登录权限的 piper 用户运行 Piper,并从该用户的主目录启动,因此服务不依赖您的账户。创建该用户,并在其账户下安装 Piper 和语音文件:

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

停止在终端中启动的服务器,然后写入单元文件:

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper 会启动服务,并在重启后将其恢复运行。如果上面的 curl 没有返回内容,journalctl -u piper -n 50 会记录原因;最常见的原因是缺少语音文件。

兼容 OpenAI 的服务器形式

大多数处理音频的软件已经支持 OpenAI 音频 API:对 /v1/audio/transcriptions 发送 multipart POST 请求上传文件,对 /v1/audio/speech 发送 JSON POST 请求提交句子。自行提供这两个路径后,客户端只需修改一处,即基础 URL。

Speaches 是一个同时支持这两个方向的服务器。它使用 faster-whisper 进行转录,使用 Piper 或 Kokoro 生成语音,并通过 OpenAI 路径提供服务。当前版本是 2025 年 12 月发布的 v0.9.0-rc.3,仍未达到 1.0。因此应固定镜像标签,并在升级前阅读发行说明。

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

如果不想维护 compose 文件,可以使用单容器形式:

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

命名卷是最容易遗漏的部分。没有命名卷时,模型缓存位于容器内部;删除并重新创建容器会丢失已下载的权重。重启同一个容器则会保留这些权重。

语音服务需要先下载一个声音,/v1/audio/speech 才能响应:

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

完成后,任何 OpenAI 客户端都可以使用,只需修改基础 URL:

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

必须填写占位符 api_key,因为 OpenAI 客户端库拒绝发送缺少该字段的请求。在配置真实密钥之前,服务器会忽略该值。

这里还值得介绍另一个项目 vox-box。它是 Python 包,而不是容器,并通过相同的路径提供 Whisper、FunASR、Bark、Dia 或 CosyVoice。当前版本是 2025 年 12 月发布的 0.0.21,需要 Python 3.10 或更高版本。

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

项目自带示例绑定到端口 80,需要 root 或 CAP_NET_BIND_SERVICE capability。在还运行其他服务的服务器上,最好让反向代理转发到高位端口。vox-box start 一次只能使用一个模型,因此要同时支持两个方向,需要在第二个端口上运行第二个实例,并为其指定语音模型仓库 ID。

先询问服务器已加载的模型,然后将该 ID 填入 model 字段:

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

形如 {"text": "..."} 的 JSON 请求体表示整个路径可用。如果返回 404,请读取响应正文,并将模型 ID 与 /v1/models 进行核对。对于本地尚未安装但有效的模型,Speaches 也会返回 404。如果错误信息这样说明,请使用 uvx speaches-cli model download MODEL_ID 下载所请求的模型,然后重试。其下载路径是 POST /v1/models/{model_id}。

这些服务器默认都不会启用身份验证。应将它们绑定到 127.0.0.1,并通过 VPN 或要求凭据的反向代理访问。将开放的 /v1/audio/transcriptions 暴露在公网 IP 上,相当于为任何发现它的人提供免费的 CPU;而且他们一定会发现它。

自托管助手的语音前端

当两个方向都能通过 OpenAI 路径正常响应后,就可以使用聊天前端驱动它们。Open WebUI 及其替代方案可在设置中接受兼容 OpenAI 的音频基础 URL,因此一台服务器即可使用 Ollama 运行本地 LLM,在两端完成语音闭环。

请如实评估延迟,因为这 3 个步骤会在同一组 CPU 核心上依次运行。一个 10 秒的问题,按上文 7.6x 的实时性能计算,转录大约需要 1.3 秒,而且这还没开始让模型读取任何 token。再加上 CPU 生成 token 的时间,整个往返过程会慢到让测试人员以为服务已经崩溃。批量转录在 CPU 上运行没有问题,但实时对话不行。这时,配备 GPU 的 VPS才开始体现其价格价值。

GPU 什么时候真正值得使用?

图表Whisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
此图表背后的数据
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

在 GPU 上,int8 格式的大型模型以 13.2 倍实时速度运行,仅占用 2,926 MB VRAM;启用批处理后可达到 48.8 倍。请特别注意两张图表没有说明什么。它们使用的是不同模型:GPU 行使用 large-v2,CPU 行使用 small。GPU 并不会让 small 模型快 6 倍,而是让高准确率模型变得可用。

这些数字的来源

两张图表都复现了 faster-whisper README 中发布的基准测试。音频是一个时长为 13 分钟的文件。CPU 测试在 Intel Core i7-12700K 上独占使用 8 个线程,GPU 测试使用配备 8 GB VRAM 的 NVIDIA RTX 3070 Ti 和 CUDA 12.4。秒数和内存列采用已发布的数据。x_realtime 列是在此基础上的计算结果:用 780 秒音频时长除以实测时间,并四舍五入到 1 位小数。CPU 图表中的内存列表示系统 RAM,GPU 图表中的内存列表示 VRAM。

共享 vCPU 方案达不到 CPU 图表中的性能。该基准测试为一颗高性能桌面处理器独占分配了 8 个线程。应将 7.6 倍视为上限,并先使用 time 在真实录音上测试自己的服务器,再据此规划。

以下 4 条经验规则在实际使用中较为可靠:

  • 偶尔转写自己的录音:使用 CPU、small 和 int8。先分配 2 个专用 vCPU,再测量转写耗时。
  • 运行字幕生成等隔夜批处理任务:使用 CPU、small 或 medium、int8,并封装在 nice 中。
  • 需要交互式处理,或希望在一个晚上处理完整个音频库:使用 GPU。
  • Piper:始终使用 CPU。此规模的语音模型几乎无法从 GPU 中获得收益。

如果你正在评估同一套硬件还能运行哪些任务,请参阅哪些 AI 模型适合自行托管这一更广泛的问题,其中介绍了哪些模型规模适合或不适合你的硬件。

故障模式及其对应提示

error: externally-managed-environment 安装时出现。系统 Python 受发行版保护。按照上文创建虚拟环境。

GPU 主机上的 cuDNN 不匹配。 故障表现如下:

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 将 CUDA 12 构建版本切换为 cuDNN 9,而主机上安装的是 cuDNN 8。请安装 cuDNN 9,或使用 pip install --force-reinstall ctranslate2==4.4.0 固定到旧版运行时。二选一即可。两者同时执行会回到原来的状态。

This CTranslate2 package was not compiled with CUDA support 是另一种故障,但表现相似。已安装的 CTranslate2 构建版本不包含 CUDA 支持。官方 Linux 和 Windows wheel 支持 GPU 执行;请检查平台和软件包来源,然后安装支持 CUDA 的构建版本。使用相同的 CPU-only 构建版本重新创建相同环境无法解决问题。

转录中反复出现相同短语。 一句话循环出现十次,几乎总是因为静音或音乐被解码成语音。先启用 vad_filter=True。如果问题仍然存在,请试听该片段:接近静音的音频无法为 Whisper 提供足够的锚点,因此它会重复上一次有足够置信度的猜测。

检测到错误的语言。 默认情况下,faster-whisper 只根据开头的 30 秒窗口进行猜测。info.language_probability 明显低于 1.0,表示模型无法确定语言;录音以音乐或多人串音开头时就会出现这种情况。如果已知语言,请传入 language="en";也可以提高 language_detection_segments,让它在确定语言前检查更多窗口。

进程输出 Killed 后停止。 检查 dmesg 中是否有对应的 oom-kill 日志行,以确认内核因内存耗尽而终止了进程。large-v3 下载的 float16 权重超过 3 GB,但 int8 会在加载时减小其内存占用。已发布的小模型 int8 基准测试使用 1,477 MB RAM,因此 2 GB VPS 为操作系统和其他服务留下的空间很少。

Piper 找不到语音。 除非传入 --data-dir,否则播放器会在工作目录中查找。对预期目录运行 ls,并确认 .onnx 和 .onnx.json 均存在;只存在其中一个会失败,两者都不存在也一样。

FAQ

我可以在仅配备 CPU 的 VPS 上运行语音转文本吗?

可以。对于批处理任务,这是合理的选择。使用 int8 的 small 模型时,项目公布的基准测试显示,在桌面级 i7 的 8 个线程上,转录 13 分钟音频需要 102 秒,约为实时速度的 7.6 倍,并使用 1,477 MB 内存。共享 vCPU 方案的速度会更慢,因此请在自己的服务器上进行测试。Piper 的文本转语音更简单,在任何情况下都不需要 GPU。

应该使用哪个 Whisper 模型大小?

从 int8 的 small 模型开始。它占用 484 MB 磁盘空间,处理清晰的录音效果良好。如果口音或背景噪声导致的错误无法接受,请升级到 medium。只有在准确率比其他因素都重要时,才使用 large-v3,因为它需要 3,090 MB 磁盘空间。内存占用取决于计算类型和工作负载,因此请在选择 VPS 配置前进行测试。另一种选择是使用 75.5 MB 的 tiny 模型。它适合语言检测和测试处理流程,但不适合生成供人阅读的转录文本。

为什么 faster-whisper 比原始 Whisper 软件包更快?

模型相同,但运行时不同。参考软件包通过 PyTorch 运行 Whisper,而 faster-whisper 使用 CTranslate2 运行相同的权重。CTranslate2 是专为 transformer 推理构建的引擎,会在加载时对权重进行量化,并且不需要安装 PyTorch。在公布的 CPU 基准测试中,参考软件包的速度为实时速度的 1.9 倍,而使用 int8 的 faster-whisper 为 7.6 倍,同时内存占用更低。

为什么我的转录文本会反复重复同一句话?

Whisper 将静音或音乐误识别为语音,并回退到上一次有把握的猜测。请在 transcribe() 调用中设置 vad_filter=True。该设置会先运行 Silero 语音活动检测,并在模型处理音频前移除静音片段。如果仍然重复,请检查音频电平。录音如果几乎全程无声,模型就没有可供处理的信息。

如何在自己的服务器上提供兼容 OpenAI 的音频端点?

运行实现 POST /v1/audio/transcriptions 和 POST /v1/audio/speech 的服务器,然后使用新的基础 URL 指向该服务器。Speaches 是一种选择。它以容器镜像形式发布,提供 CPU 构建,并使用 faster-whisper 进行转录,使用 Piper 或 Kokoro 进行语音处理。vox-box 是另一种选择,可通过 pip install vox-box 安装,并使用 vox-box start --huggingface-repo-id 启动;它为每个进程提供一个模型。两者默认都不启用身份验证,因此请绑定到 localhost,并在前面配置代理或 VPN。

这篇文章对您有帮助吗?

#whisper#tts#piper#speech-to-text#self-hosted-ai