Whisper und Piper auf einem VPS selbst hosten
Betreiben Sie Whisper und Piper ohne GPU auf Ihrem VPS. Erfahren Sie, wie viel CPU-Zeit und Speicher benötigt werden und wie Sie eine OpenAI-kompatible API bereitstellen.
Self-hosted Speech-to-Text und TTS, kurz zusammengefasst
Self-hosted Speech-to-Text und TTS (Text-to-Speech) werden auf einem Server ausgeführt, den Sie selbst betreiben. Die Transkription verwendet Whisper über die Laufzeitumgebung faster-whisper. Die Sprachsynthese verwendet Piper. Beide Anwendungen laufen auf einem gewöhnlichen CPU-VPS vollständig ohne GPU. Das kleine Whisper-Modell benötigt etwa 484 MB Speicherplatz. Eine Piper-Stimme besteht aus zwei Dateien: einem ONNX-Modell und einer kleinen JSON-Konfiguration. Zusammen benötigen sie deutlich weniger als 150 MB.
Deshalb eignet sich Audio als Einstieg. Ein selbst gehosteter Bildgenerator und die selbst gehostete Videogenerierung benötigen bereits eine GPU, bevor sie überhaupt nutzbar sind. Audio nicht.
Dieser Leitfaden behandelt beide Richtungen sowie die Verbindungsschicht dazwischen. Whisper wandelt Audio in Text um. Piper wandelt Text in Audio um. Ein OpenAI-kompatibler HTTP-Server vor beiden Diensten ermöglicht es, einen vorhandenen Client mit unverändertem Verhalten auf Ihren Server zu richten. Dazu muss lediglich die Base-URL geändert werden.
Jede in einem Befehl festgelegte Version wurde am 11. Oktober 2026 anhand der Release-Seite des jeweiligen Projekts geprüft. Die unter den Fehlerursachen genannten CTranslate2-Versionen dienen als Kompatibilitätsmarker und sind keine aktuellen Releases.
Warum faster-whisper und nicht das Referenzpaket Whisper
Das Paket whisper von OpenAI führt das Modell in PyTorch aus. faster-whisper verwendet dieselben Modellgewichte mit CTranslate2, einer speziell für Transformer-Modelle entwickelten Inference-Engine. Das Modell ist identisch, aber Quantisierung und Decoding-Einstellungen beeinflussen das Transkript. Die Laufzeit erklärt den weiter unten gemessenen Geschwindigkeitsunterschied.
CTranslate2 quantisiert die Gewichte beim Laden. Deshalb ist compute_type="int8" ein Argument und kein separater Konvertierungsschritt. Außerdem besteht keine Abhängigkeit von PyTorch. pip install faster-whisper installiert CTranslate2, einen Tokenizer und PyAV für die Audiodekodierung. Dadurch belegt die virtuelle Umgebung einige hundert Megabyte statt mehrerer Gigabyte. Auf einem VPS mit 40 GB Speicherplatz macht dieser Unterschied aus, ob ausreichend Platz vorhanden ist oder ob es eng wird.
Hier sehen Sie die vom Projekt selbst veröffentlichten Werte für das Modell small auf der CPU. Der Benchmark transkribiert 13 Minuten Audio mit 8 Threads auf einem Intel Core i7-12700K. Die Spalte x_realtime entspricht 13 Minuten geteilt durch die gemessene Zeit: 7.6 bedeutet, dass eine 13-minütige Aufnahme in etwas mehr als 1 Minute 40 Sekunden verarbeitet wurde.
Die Daten hinter diesem Diagramm
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]Lesen Sie die zweite Zeile sorgfältig. Bei fp32 ist whisper.cpp auf dieser CPU schneller als faster-whisper: 6.2x gegenüber 5.0x. Außerdem benötigt es weniger als die Hälfte des Speichers. Es gehört zur selben ggml-Familie wie die llama.cpp-Seite des lokalen LLM-Stacks. Sobald int8 und Batching aktiviert sind, ist faster-whisper schneller und erreicht 15.3x. Dafür benötigt es 3,608 MB RAM. Wählen Sie faster-whisper daher für die Python-API und das Batching. Wählen Sie whisper.cpp, wenn RAM die Ressource ist, die Sie nicht erweitern können.
Die erste Zeile ist der entscheidende Punkt dieses Abschnitts. Das Referenzpaket erreicht auf derselben Maschine 1.9x Echtzeit. Eine Stunde Audio benötigt daher eine halbe Stunde CPU-Zeit.
Wie viel Speicherplatz benötigen die Whisper-Modellgewichte?
Die Daten hinter diesem Diagramm
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Dies sind die veröffentlichten CTranslate2-Konvertierungen im Format float16. Beachten Sie, was compute_type="int8" nicht tut: Der Download wird dadurch nicht kleiner. Die Gewichte werden im Format float16 heruntergeladen, und CTranslate2 quantisiert sie beim Laden im Arbeitsspeicher. Daher belegt large-v3 auf dem Datenträger 3,090 MB, unabhängig davon, ob Sie es mit float16 oder int8 ausführen. int8 spart RAM und erhöht die Geschwindigkeit, aber nicht den Speicherplatz auf dem Datenträger.
Die Modelle werden bei der ersten Verwendung nach ~/.cache/huggingface/hub heruntergeladen. Wenn das Root-Volume einer VPS klein ist, geben Sie mit dem Argument download_root oder der Umgebungsvariablen HF_HOME einen Pfad mit ausreichend Speicherplatz an. Andernfalls ist der Datenträger beim ersten Start voll, und der Prozess bricht während des Downloads ab.
faster-whisper installieren, ohne das System-Python zu beschädigen
Ubuntu 24.04 und Debian 13 markieren das System-Python als extern verwaltet. Wenn Sie pip install faster-whisper außerhalb einer virtuellen Umgebung ausführen, wird der Vorgang sofort mit folgender Meldung beendet:
error: externally-managed-environmentDamit schützt das Paketsystem die Dateien, die apt verwaltet. Verwenden Sie eine virtuelle Umgebung.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1Version 1.2.1 ist die aktuelle Veröffentlichung vom Oktober 2025. faster-whisper dekodiert Audiodateien über PyAV. PyAV enthält eigene ffmpeg-Bibliotheken. Daher kann es mp3- oder m4a-Dateien ohne eine separate ffmpeg-Binärdatei lesen. Das oben genannte ffmpeg-Paket wird später in dieser Anleitung für die Videoverarbeitung verwendet.
Prüfen Sie die Installation, bevor Sie drei Gigabyte Modelle herunterladen:
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"Eine Zeile mit ok bedeutet, dass die Wheels installiert wurden. Eine ImportError-Meldung mit der Bezeichnung ctranslate2 bedeutet, dass die Laufzeitumgebung fehlt oder die kompilierte Bibliothek nicht geladen werden konnte. Der restliche Meldungstext nennt die genaue Ursache. Für 32-Bit-ARM-Images gibt es überhaupt kein CTranslate2-Wheel. In diesem Fall schlägt pip bereits bei der Installation fehl.
Eine Besprechungsaufzeichnung oder Sprachnotiz transkribieren
Speichern Sie dies als transcribe.py:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Führen Sie es mit ~/stt/bin/python transcribe.py aus. Beim ersten Lauf werden die Gewichte heruntergeladen. Daher wird eine Weile nichts ausgegeben. Danach lädt das Modell innerhalb weniger Sekunden aus dem Cache.
segments ist ein Generator. Die Transkription beginnt daher erst, wenn Sie darüber iterieren. Manche messen den Aufruf von transcribe(), sehen, dass er sofort zurückkehrt, und halten das für einen Fehler. Es liegt kein Fehler vor. Die Verarbeitung erfolgt in der Schleife.
vad_filter=True führt zuerst Silero VAD (Voice Activity Detection) aus und entfernt stille Abschnitte, bevor Whisper sie verarbeitet. Bei einer Besprechungsaufzeichnung mit langen Pausen ist dies der größte einzelne Geschwindigkeitsvorteil, weil Whisper keinerlei Zeit für Audiomaterial ohne Sprache aufwendet. Außerdem werden die Schleifen mit wiederholten Sätzen unterdrückt, die Whisper erzeugt, wenn es Stille erhält und darin nach Wörtern sucht.
Setzen Sie cpu_threads auf die tatsächliche Anzahl Ihrer Kerne. Wenn Sie den Wert über die Anzahl Ihrer vCPUs setzen, wird die Transkription langsamer, weil die zusätzlichen Threads um denselben Kern konkurrieren und der Scheduler für jeden Wechsel Aufwand verursacht.
Untertitel für eine Jellyfin-Bibliothek
Jellyfin liest externe Untertiteldateien ein, die neben dem Video liegen und denselben Namen tragen. Dadurch erscheint Movie (2019).en.srt neben Movie (2019).mkv ohne erneuten Bibliotheksaufbau als englische Tonspur. Ob ein bestimmter Client die Datei direkt wiedergibt oder der Server sie remuxt beziehungsweise in das Video einbrennt, hängt von den Funktionen des Clients ab.
Extrahieren Sie zuerst die Audiospur. Whisper führt intern für alle Eingaben ein Resampling auf 16 kHz Mono durch. Wenn Sie Whisper direkt 16 kHz Mono übergeben, vermeiden Sie daher auf beiden Seiten zusätzliche Verarbeitung:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"faster-whisper kann keine SRT-Dateien schreiben. Formatieren Sie die Segmente daher selbst. Speichern Sie Folgendes als srt.py:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Durchlaufen Sie anschließend die Bibliothek:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
done-nostdin deaktiviert die Tastatureingabe von ffmpeg. Dadurch verhindert es außerdem, dass ffmpeg Dateinamen einliest, wenn es innerhalb einer Schleife ausgeführt wird, die Dateinamen aus der Standardeingabe liest. Die obige Schleife auf Basis von Glob-Mustern liest ihre Dateiliste nicht aus der Standardeingabe.
Planen Sie den Zeitaufwand, bevor Sie beginnen. Bei dem oben genannten Wert von 7.6x benötigt ein 100-minütiger Film ungefähr 13 Minuten CPU-Zeit. Eine Bibliothek mit fünfzig Filmen wird daher über Nacht verarbeitet. Bei einem gemeinsam genutzten vCPU-Tarif dauert es länger. Dafür ist nice vorgesehen: Die Untertitelverarbeitung gibt dann CPU-Zeit an andere Aufgaben auf dem Server ab.
Text-to-Speech mit Piper
Piper ist eine neuronale Text-to-Speech-Engine, die ein ONNX-Sprachmodell auf der CPU ausführt. Sie enthält espeak-ng, um Text in Phoneme umzuwandeln. Daher muss kein separater Phonemizer installiert werden. Die aktuelle Version ist 1.8.0 und wurde im September 2026 veröffentlicht.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'download_voices schreibt zwei Dateien in das Arbeitsverzeichnis: die .onnx-Gewichte und eine .onnx.json-Konfigurationsdatei mit der Abtastrate und der Sprecherliste. Diese Dateien müssen zusammenbleiben. Wenn Sie die Stimmen an einem festen Ort speichern, übergeben Sie --data-dir an beide Befehle. Andernfalls sucht der Player im Arbeitsverzeichnis und findet eine dort nicht vorhandene Stimme nicht.
Auch das -- vor dem Text ist wichtig. Es trennt den Text von den Befehlszeilenoptionen. Dazu gehören auch Optionen, die ein mit einem Bindestrich beginnender Satz andernfalls auslösen könnte.
Stimmen werden in mehreren Qualitätsstufen veröffentlicht. Eine englische Stimme mittlerer Qualität benötigt ungefähr 60 MB. Eine Stimme hoher Qualität benötigt etwa doppelt so viel. Höhere Qualität bedeutet ein größeres Modell und mehr CPU-Zeit pro Sekunde Sprache, nicht einen anderen Sprecher.
Rufen Sie die CLI nicht in einer Schleife auf. Bei jedem Aufruf wird das Modell geladen. Bei einem kurzen Satz verursacht das Laden des Modells den größten Teil der Kosten. Starten Sie stattdessen den HTTP-Server:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeWenn Sie eine test.wav abspielen können, funktioniert die Einrichtung. Dieser Endpunkt verwendet Pipers eigenes Format, nicht das von OpenAI. Daher kann ein Client, der /v1/audio/speech erwartet, keine Verbindung herstellen. Der nächste Abschnitt behebt dieses Problem.
Lassen Sie den Dienst mit einer Unit-Datei laufen und nicht in einem Terminal, das Sie später schließen. Die Unit führt Piper als Benutzer piper ohne Login und aus dem Home-Verzeichnis dieses Benutzers aus. Dadurch hängt der Dienst nicht von Ihrem Benutzerkonto ab. Legen Sie den Benutzer an und installieren Sie Piper sowie die Stimme dort:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumBeenden Sie den Server, den Sie in Ihrem Terminal gestartet haben, und schreiben Sie anschließend die Unit:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now piper startet den Dienst und startet ihn nach einem Reboot erneut. Wenn der obige curl-Aufruf keine Ausgabe liefert, enthält journalctl -u piper -n 50 den Grund. Eine fehlende Sprachdatei ist die häufigste Ursache.
Die OpenAI-kompatible Serverstruktur
Die meisten Programme für Audio unterstützen bereits die OpenAI Audio API: einen Multipart-POST an /v1/audio/transcriptions für eine Datei und einen JSON-POST an /v1/audio/speech für einen Satz. Stellen Sie diese beiden Pfade selbst bereit. Im Client muss dann nur die Basis-URL geändert werden.
Speaches ist ein Server, der beide Richtungen unterstützt. Für die Transkription verwendet er faster-whisper und für die Sprachausgabe Piper oder Kokoro. Diese Komponenten werden über die OpenAI-Pfade bereitgestellt. Die aktuelle Version ist v0.9.0-rc.3 vom Dezember 2025. Das Projekt ist weiterhin vor 1.0. Fixieren Sie daher den Image-Tag und lesen Sie vor einem Upgrade die Release-Hinweise.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachDie Variante mit einem einzelnen Container, falls Sie Compose-Dateien nicht verwalten möchten:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuDas benannte Volume wird häufig vergessen. Ohne dieses Volume liegt der Modell-Cache im Container. Beim Löschen und Neuerstellen des Containers gehen die heruntergeladenen Gewichte verloren. Ein Neustart desselben Containers erhält sie.
Für die Sprachausgabe muss zunächst eine Stimme heruntergeladen werden, bevor /v1/audio/speech antwortet:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXDanach funktioniert jeder OpenAI-Client, wenn Sie die Basis-URL ändern:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())Der Platzhalter api_key ist erforderlich, weil die OpenAI-Clientbibliothek eine Anfrage ohne diesen Wert nicht sendet. Der Server ignoriert den Wert, bis Sie einen echten Schlüssel konfigurieren.
vox-box ist das andere Projekt, das hier genannt werden sollte. Es handelt sich um ein Python-Paket und nicht um einen Container. Es stellt dieselben Pfade bereit und verwendet dafür Whisper, FunASR, Bark, Dia oder CosyVoice. Die aktuelle Version ist 0.0.21 vom Dezember 2025. Sie benötigt Python 3.10 oder höher.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010Das eigene Beispiel des Projekts bindet Port 80. Dafür sind root oder die Fähigkeit CAP_NET_BIND_SERVICE erforderlich. Auf einem Server, der weitere Aufgaben übernimmt, ist ein hoher Port hinter einem Reverse Proxy die bessere Variante. vox-box start akzeptiert ein einzelnes Modell. Für beide Richtungen benötigen Sie daher eine zweite Instanz auf einem zweiten Port mit einer Speech-Repository-ID.
Fragen Sie den Server ab, welches Modell er geladen hat, und verwenden Sie diese ID im Feld model:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"Ein JSON-Body der Form {"text": "..."} zeigt, dass der gesamte Pfad funktioniert. Bei einem 404 lesen Sie den Response-Body und vergleichen Sie die Modell-ID mit /v1/models. Speaches gibt auch dann 404 zurück, wenn ein gültiges Modell lokal nicht installiert ist. Wenn die Fehlermeldung darauf hinweist, laden Sie das angeforderte Modell mit uvx speaches-cli model download MODEL_ID herunter und wiederholen Sie die Anfrage. Der Download-Pfad lautet POST /v1/models/{model_id}.
Keiner dieser Server aktiviert standardmäßig eine Authentifizierung. Binden Sie sie an 127.0.0.1 und greifen Sie über ein VPN oder einen Reverse Proxy mit Zugangsdaten darauf zu. Ein offener /v1/audio/transcriptions auf einer öffentlichen IP-Adresse stellt jedem, der ihn findet, kostenlose CPU-Ressourcen bereit. Und solche Dienste werden gefunden.
Ein Sprach-Frontend für einen selbst gehosteten Assistenten
Sobald beide Richtungen über OpenAI-Pfade antworten, kann ein Chat-Frontend sie steuern. Open WebUI und seine Alternativen akzeptieren in ihren Einstellungen eine OpenAI-kompatible Basis-URL für Audio. Dadurch kann ein einzelner Server ein lokales LLM mit Ollama ausführen und die Sprachverarbeitung in beide Richtungen schließen.
Planen Sie die Latenz realistisch ein, da diese drei Schritte auf denselben CPU-Kernen nacheinander ausgeführt werden. Die Transkription einer 10 Sekunden langen Frage dauert bei dem oben genannten Faktor von 7.6x etwa 1.3 Sekunden. Das Modell hat zu diesem Zeitpunkt noch kein einziges Token gelesen. Zusammen mit der Token-Generierung auf der CPU ist die gesamte Anfrage so langsam, dass Tester annehmen, der Dienst sei abgestürzt. Stapelverarbeitung bei der Transkription ist auf der CPU problemlos möglich. Für Gespräche gilt das nicht. An diesem Punkt beginnt sich ein VPS mit einer GPU zu rechnen.
Wann lohnt sich die GPU tatsächlich?
Die Daten hinter diesem Diagramm
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]Auf der GPU läuft das große Modell mit int8 mit 13.2x Echtzeit und belegt 2,926 MB VRAM. Mit Batching steigt der Wert auf 48.8x. Beachten Sie genau, was die beiden Diagramme nicht aussagen. Sie verwenden unterschiedliche Modelle: Die GPU-Zeilen beziehen sich auf large-v2, die CPU-Zeilen auf small. Eine GPU macht das kleine Modell nicht sechsmal schneller. Sie macht das genaue Modell nutzbar.
Woher diese Zahlen stammen
Beide Diagramme reproduzieren den im faster-whisper README veröffentlichten Benchmark. Als Audiodatei wurde eine einzelne 13-minütige Datei verwendet. Für die CPU-Zeilen wurden 8 Threads eines Intel Core i7-12700K genutzt. Die GPU-Zeilen liefen mit CUDA 12.4 auf einer NVIDIA RTX 3070 Ti mit 8 GB VRAM. Die Spalten für Sekunden und Speicher enthalten die veröffentlichten Werte. Die Spalte x_realtime wird daraus berechnet: 780 Sekunden Audio geteilt durch die gemessene Zeit, auf eine Dezimalstelle gerundet. Die Speicherspalte gibt im CPU-Diagramm den Arbeitsspeicher und im GPU-Diagramm den VRAM an.
Ein gemeinsam genutzter vCPU-Plan wird die CPU-Werte nicht erreichen. Im Benchmark standen 8 Threads eines schnellen Desktop-Prozessors exklusiv zur Verfügung. Betrachten Sie 7.6x als Obergrenze. Messen Sie anschließend mit time auf einer echten Aufnahme Ihre eigene Maschine, bevor Sie die weitere Planung darauf ausrichten.
Vier Faustregeln, die sich in der Praxis bewähren:
- Gelegentliche Transkription eigener Aufnahmen: CPU, small, int8. Beginnen Sie mit zwei dedizierten vCPU und messen Sie die Transkriptionsdauer.
- Nächtliche Stapelverarbeitung, beispielsweise für einen Untertitellauf: CPU, small oder medium, int8, verpackt in
nice. - Interaktive Verarbeitung oder die Verarbeitung einer ganzen Bibliothek an einem Abend: GPU.
- Piper: immer CPU. Ein Sprachmodell dieser Größe profitiert kaum von einer GPU.
Wenn Sie ermitteln möchten, welche weiteren Aufgaben dieselbe Hardware übernehmen kann, behandelt die übergeordnete Frage, welche KI-Modelle Sie selbst hosten können die passenden und unpassenden Modellgrößen.
Fehlerbilder und die angezeigten Meldungen
error: externally-managed-environment bei der Installation. Das System-Python wird von der Distribution geschützt. Erstellen Sie wie oben beschrieben eine virtuelle Umgebung.
Nicht passende cuDNN-Version auf einem GPU-Host. Der Fehler sieht so aus:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorCTranslate2 4.5.0 verwendet für seine CUDA-12-Builds jetzt cuDNN 9, auf dem Host ist jedoch cuDNN 8 installiert. Installieren Sie entweder cuDNN 9 oder pinnen Sie die ältere Laufzeit mit pip install --force-reinstall ctranslate2==4.4.0. Führen Sie genau eine dieser beiden Maßnahmen durch. Wenn Sie beide ausführen, befinden Sie sich wieder am Ausgangspunkt.
This CTranslate2 package was not compiled with CUDA support ist ein anderer Fehler mit einem ähnlichen Erscheinungsbild. Der installierte CTranslate2-Build unterstützt CUDA nicht. Die offiziellen Linux- und Windows-Wheels unterstützen die GPU-Ausführung. Prüfen Sie Plattform und Paketquelle und installieren Sie anschließend einen CUDA-fähigen Build. Das erneute Erstellen derselben Umgebung mit demselben CPU-only-Build behebt den Fehler nicht.
Wiederholte Formulierungen im Transkript. Wenn ein Satz zehnmal wiederholt wird, wird fast immer Stille oder Musik als Sprache dekodiert. Aktivieren Sie zuerst vad_filter=True. Wenn der Fehler danach weiterhin auftritt, hören Sie sich das betreffende Segment an: Bei nahezu lautlosem Audio kann Whisper keinen Anhaltspunkt finden und wiederholt seine letzte sichere Vermutung.
Falsch erkannte Sprache. Standardmäßig ermittelt faster-whisper die Sprache nur anhand des ersten Zeitfensters von 30 Sekunden. Ein info.language_probability deutlich unter 1.0 bedeutet, dass die Erkennung unsicher war. Das kommt vor, wenn eine Aufnahme mit Musik oder sich überschneidenden Gesprächen beginnt. Setzen Sie language="en", wenn Sie die Sprache bereits kennen, oder erhöhen Sie language_detection_segments, damit vor der Entscheidung mehr Zeitfenster untersucht werden.
Der Prozess gibt Killed aus und wird beendet. Prüfen Sie dmesg auf eine passende oom-kill-Zeile, um zu bestätigen, dass der Kernel den Prozess wegen Speichermangels beendet hat. Der Download von large-v3 umfasst mehr als 3 GB an float16-Gewichten. int8 reduziert jedoch deren Speicherbedarf beim Laden. Der veröffentlichte int8-Benchmark für das small-Modell verwendet 1,477 MB RAM. Auf einer VPS mit 2 GB bleibt daher wenig Speicher für das Betriebssystem und andere Dienste.
Piper findet die Stimme nicht. Der Player sucht im Arbeitsverzeichnis, sofern Sie --data-dir nicht übergeben. Führen Sie ls für das erwartete Verzeichnis aus und bestätigen Sie, dass .onnx und .onnx.json beide vorhanden sind. Fehlt einer von beiden, schlägt die Ausführung ebenso sicher fehl wie beim Fehlen beider Dateien.
FAQ
Kann ich Speech-to-Text auf einem CPU-only-VPS ausführen?
Ja. Für Batch-Verarbeitung ist das die sinnvolle Wahl. Mit faster-whisper und dem Modell small bei int8 transkribiert der veröffentlichte Benchmark des Projekts 13 Minuten Audio in 102 Sekunden auf 8 Threads eines Desktop-i7. Das entspricht etwa 7.6x Echtzeit und benötigt 1,477 MB RAM. Ein Tarif mit gemeinsam genutzter vCPU ist langsamer. Messen Sie daher auf Ihrem eigenen System. Text-to-Speech mit Piper ist noch einfacher und benötigt unter keinen Umständen eine GPU.
Welche Whisper-Modellgröße sollte ich verwenden?
Beginnen Sie mit small bei int8. Das Modell belegt 484 MB auf dem Datenträger und verarbeitet klare Sprachaufnahmen zuverlässig. Wechseln Sie zu medium, wenn Akzente oder Hintergrundgeräusche Fehler verursachen, die Sie nicht akzeptieren können. Verwenden Sie large-v3 nur, wenn Genauigkeit wichtiger ist als alles andere, da das Modell 3,090 MB Speicherplatz benötigt. Der RAM-Bedarf hängt vom Rechentyp und der Arbeitslast ab. Messen Sie ihn daher, bevor Sie die VPS-Größe auswählen. Umgekehrt ist tiny mit 75.5 MB für die Spracherkennung und zum Testen einer Pipeline nützlich, nicht jedoch für Transkripte, die eine Person lesen soll.
Warum ist faster-whisper schneller als das ursprüngliche Whisper-Paket?
Das Modell ist identisch. Die Laufzeitumgebung ist es nicht. Das Referenzpaket führt Whisper in PyTorch aus. faster-whisper verwendet dieselben Gewichte mit CTranslate2, einer für die Transformer-Inferenz entwickelten Engine, die die Gewichte beim Laden quantisiert und keine PyTorch-Installation benötigt. Im veröffentlichten CPU-Benchmark erreicht das Referenzpaket 1.9x Echtzeit. faster-whisper erreicht bei int8 dagegen 7.6x Echtzeit und benötigt weniger Speicher.
Warum wiederholt mein Transkript immer wieder denselben Satz?
Whisper interpretiert Stille oder Musik als Sprache und greift auf seine letzte sichere Vermutung zurück. Setzen Sie vad_filter=True im Aufruf von transcribe(). Dadurch wird zuerst die Silero-Spracherkennung ausgeführt und die stillen Abschnitte werden entfernt, bevor das Modell sie verarbeitet. Wenn die Wiederholungen weiterhin auftreten, prüfen Sie den Audiopegel. Eine Aufnahme, die fast vollständig stumm ist, liefert dem Modell keine verwertbaren Informationen.
Wie stelle ich auf meinem eigenen Server einen OpenAI-kompatiblen Audio-Endpunkt bereit?
Führen Sie einen Server aus, der POST /v1/audio/transcriptions und POST /v1/audio/speech implementiert. Verweisen Sie den Client anschließend mit einer neuen Basis-URL auf diesen Server. Speaches ist eine Möglichkeit. Es wird als Container-Image mit einem CPU-Build veröffentlicht und verwendet faster-whisper für die Transkription sowie Piper oder Kokoro für die Sprachausgabe. vox-box ist eine weitere Möglichkeit. Installieren Sie es mit pip install vox-box und starten Sie es mit vox-box start --huggingface-repo-id. Pro Prozess wird dabei ein Modell bereitgestellt. Keiner der beiden Server aktiviert standardmäßig eine Authentifizierung. Binden Sie den Dienst daher an localhost und schalten Sie einen Proxy oder ein VPN davor.