SSD Nodes Learn Hosting plans →
Guides Matt ConnorPar Matt Connor

Whisper et Piper auto-hébergés sur un VPS

Installez Whisper et Piper sur un VPS sans GPU, mesurez CPU et disque, puis exposez un endpoint compatible OpenAI. Découvrez les coûts réels et les versions à surveiller.

Transcription vocale et synthèse vocale auto-hébergées, en bref

La transcription vocale et la synthèse vocale (TTS, text to speech) auto-hébergées s’exécutent sur un serveur que vous contrôlez. La transcription utilise Whisper via le runtime faster-whisper. La synthèse utilise Piper. Les deux fonctionnent sur un VPS équipé d’un CPU standard, sans GPU. Le petit modèle Whisper nécessite environ 484 Mo d’espace disque. Une voix Piper se compose de 2 fichiers : un modèle ONNX et une petite configuration JSON. L’ensemble occupe largement moins de 150 Mo.

C’est pourquoi l’audio est le meilleur point de départ. Un générateur d’images auto-hébergé et la génération vidéo auto-hébergée nécessitent tous deux un GPU avant d’être réellement utilisables. L’audio n’en nécessite pas.

Ce guide couvre les deux directions, ainsi que la couche qui les relie. Whisper convertit l’audio en texte. Piper convertit le texte en audio. Un serveur HTTP compatible avec l’API OpenAI placé devant les deux permet à un client existant de pointer vers votre serveur. Seule la base URL doit être modifiée.

Toutes les versions indiquées dans une commande ont été vérifiées sur la page des releases de leur projet le 11 octobre 2026. Les versions de CTranslate2 mentionnées dans la section consacrée aux échecs servent de marqueurs de compatibilité et ne correspondent pas aux versions actuelles.

Pourquoi faster-whisper plutôt que le package Whisper de référence

Le package whisper d’OpenAI exécute le modèle avec PyTorch. faster-whisper exécute les mêmes poids avec CTranslate2, un moteur d’inférence conçu spécifiquement pour les modèles transformer. Le modèle est identique, mais la quantification et les paramètres de décodage influencent la transcription. Le runtime explique l’écart de vitesse mesuré ci-dessous.

CTranslate2 quantifie les poids lors de leur chargement. C’est pourquoi compute_type="int8" est un argument unique et non une étape de conversion distincte. CTranslate2 n’a pas non plus de dépendance à PyTorch. pip install faster-whisper installe CTranslate2, un tokenizer et PyAV pour le décodage audio. L’environnement virtuel occupe donc quelques centaines de mégaoctets, au lieu de plusieurs gigaoctets. Sur un VPS avec un disque de 40 GB, cette différence sépare une installation confortable d’une installation à l’étroit.

Voici les chiffres publiés par le projet pour le modèle small sur CPU. Le benchmark transcrit 13 minutes d’audio avec 8 threads sur un Intel Core i7-12700K. La colonne x_realtime correspond à ces 13 minutes divisées par le temps mesuré : 7.6 signifie qu’un enregistrement de 13 minutes a été traité en un peu plus de 1 minute 40.

GraphiqueWhisper small on CPU, 13 minutes of audio (published project figures)
Les données de ce graphique
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

Lisez honnêtement la deuxième ligne. En fp32, whisper.cpp est plus rapide que faster-whisper sur ce CPU : 6.2x contre 5.0x, avec moins de la moitié de la mémoire. Il appartient à la même famille ggml que la partie llama.cpp de la pile LLM locale. faster-whisper devient plus rapide lorsque int8 et le batching sont activés, jusqu’à 15.3x, au prix de 3,608 MB de RAM. Choisissez donc faster-whisper pour l’API Python et le batching, et whisper.cpp lorsque la RAM est la contrainte que vous ne pouvez pas augmenter.

La première ligne est le point central de cette section. Le package de référence atteint 1.9x le temps réel sur la même machine. Une heure d’audio nécessite donc une demi-heure de calcul CPU.

Quelle est la place disque nécessaire pour les poids du modèle Whisper ?

Graphiquefaster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
Les données de ce graphique
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

Voici les conversions CTranslate2 publiées, en float16. Notez ce que compute_type="int8" ne fait pas : il ne réduit pas la taille du téléchargement. Les poids sont téléchargés en float16, puis CTranslate2 les quantifie en mémoire au chargement. Le modèle large-v3 occupe donc 3,090 Mo sur le disque, que vous l’exécutiez en float16 ou en int8. int8 réduit l’utilisation de la RAM et accélère l’exécution, mais ne réduit pas l’espace disque nécessaire.

Les modèles sont téléchargés lors de leur première utilisation dans ~/.cache/huggingface/hub. Sur un VPS disposant d’un petit volume racine, indiquez plutôt un emplacement ayant suffisamment d’espace avec l’argument download_root ou la variable d’environnement HF_HOME. Sinon, la première exécution peut remplir le disque et le processus s’arrêter au milieu du téléchargement.

Installer faster-whisper sans casser le Python système

Ubuntu 24.04 et Debian 13 indiquent que le Python système est géré par un gestionnaire de paquets externe. L’exécution de pip install faster-whisper en dehors d’un environnement virtuel s’arrête immédiatement avec le message suivant :

error: externally-managed-environment

Le système de paquets protège ainsi les fichiers appartenant à apt. Utilisez un environnement virtuel.

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

La version 1.2.1 est la version actuelle, publiée en octobre 2025. faster-whisper décode l’audio avec PyAV, qui intègre ses propres bibliothèques ffmpeg. Il peut donc lire un fichier mp3 ou m4a sans binaire ffmpeg séparé. Le paquet ffmpeg ci-dessus servira pour le traitement vidéo présenté plus loin dans ce guide.

Vérifiez l’installation avant de télécharger trois gigaoctets de poids de modèle :

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

Une ligne contenant ok indique que les wheels ont bien été installées. Un ImportError contenant ctranslate2 indique que le runtime est absent ou que sa bibliothèque compilée n’a pas pu être chargée. Le reste du message précise lequel de ces problèmes s’est produit. Sur les images ARM 32 bits, il n’existe aucun wheel CTranslate2. pip échoue donc directement pendant l’installation.

Transcrire un enregistrement de réunion ou une note vocale

Enregistrez ceci dans transcribe.py :

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

Exécutez-le avec ~/stt/bin/python transcribe.py. La première exécution télécharge les poids du modèle, donc rien ne s’affiche pendant un moment. Ensuite, le modèle est chargé depuis le cache en quelques secondes.

segments est un générateur : la transcription ne démarre donc qu’au moment où vous l’itérez. Certains mesurent la durée de l’appel à transcribe(), le voient se terminer instantanément et pensent qu’un problème s’est produit. Ce n’est pas le cas. Le traitement s’effectue dans la boucle.

vad_filter=True exécute d’abord Silero VAD (voice activity detection), puis supprime les passages silencieux avant leur traitement par Whisper. Sur un enregistrement de réunion comportant de longues pauses, c’est le gain de vitesse le plus important, car Whisper ne consacre aucun temps aux segments audio qui ne contiennent pas de parole. Cela évite également les boucles de répétition de phrases que Whisper produit lorsqu’il reçoit du silence et tente d’y trouver des mots.

Définissez cpu_threads sur le nombre de cœurs réellement disponibles. Une valeur supérieure au nombre de vCPU ralentit la transcription, car les threads supplémentaires se disputent le même cœur et le scheduler doit gérer chaque changement de contexte.

Sous-titres pour une bibliothèque Jellyfin

Jellyfin lit les fichiers de sous-titres externes placés à côté de la vidéo et portant le même nom. Ainsi, Movie (2019).en.srt placé à côté de Movie (2019).mkv apparaît comme une piste en anglais sans reconstruire la bibliothèque. Selon les fonctionnalités prises en charge par le client, celui-ci peut lire directement les sous-titres, ou le serveur peut les remuxer ou les incruster dans la vidéo.

Commencez par extraire la piste audio. Whisper rééchantillonne en interne tout le contenu à 16 kHz en mono. Lui fournir directement de l’audio en mono à 16 kHz évite donc du travail aux deux extrémités :

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper ne fournit pas de générateur SRT. Formatez donc vous-même les segments. Enregistrez ceci dans srt.py :

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

Parcourez ensuite la bibliothèque :

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin désactive les interactions clavier de ffmpeg. Cela empêche également ffmpeg de consommer les noms de fichiers lorsqu’il s’exécute dans une boucle qui les lit depuis l’entrée standard. La boucle ci-dessus, basée sur un glob, ne lit pas sa liste de fichiers depuis l’entrée standard.

Prévoyez la durée avant de commencer. Avec la vitesse de 7.6x indiquée ci-dessus, un film de 100 minutes nécessite environ 13 minutes de temps CPU. Une bibliothèque de cinquante films occupe donc la nuit. Sur une offre de vCPU partagé, le traitement est encore plus lent. C’est le rôle de nice : la génération des sous-titres laisse alors la priorité aux autres tâches exécutées par le serveur.

Synthèse vocale avec Piper

Piper est un moteur de synthèse vocale neuronale qui exécute un modèle vocal ONNX sur le CPU. Il intègre espeak-ng pour convertir le texte en phonèmes. Aucun phonémiseur séparé n’est donc nécessaire. La version actuelle est 1.8.0, publiée en septembre 2026.

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices écrit deux fichiers dans le répertoire de travail : les poids .onnx et une configuration .onnx.json contenant la fréquence d’échantillonnage et la liste des locuteurs. Ces deux fichiers doivent rester ensemble. Si vous stockez les voix dans un emplacement fixe, passez --data-dir aux deux commandes. Sinon, le lecteur cherche dans le répertoire de travail et ne peut pas trouver une voix qui ne s’y trouve pas.

Le -- placé avant le texte est également important. Il sépare le texte des options de ligne de commande, notamment des options qu’une phrase commençant par un trait d’union pourrait sinon déclencher.

Les voix sont disponibles avec plusieurs niveaux de qualité. Une voix anglaise de qualité moyenne occupe environ 60 MB. Une voix de haute qualité occupe environ le double. Une qualité supérieure implique un modèle plus volumineux et davantage de CPU par seconde de parole. Elle ne correspond pas à un autre locuteur.

N’appelez pas la CLI dans une boucle. Le modèle est chargé à chaque exécution, et ce chargement représente la majeure partie du coût pour une phrase courte. Exécutez plutôt le serveur HTTP :

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

Si vous pouvez lire un test.wav, cela confirme que le service fonctionne. Cet endpoint utilise le format propre à Piper, et non celui d’OpenAI. Un client qui attend /v1/audio/speech ne pourra donc pas communiquer avec lui. La section suivante corrige ce point.

Gardez le service actif avec un unit file, plutôt qu’avec un terminal que vous allez fermer. L’unité exécute Piper avec l’utilisateur piper, sans session de connexion, depuis le home de cet utilisateur. Le service ne dépend donc pas de votre compte. Créez l’utilisateur, puis installez Piper et la voix avec ce compte :

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

Arrêtez le serveur lancé dans votre terminal, puis écrivez l’unité :

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper le démarre et le relance après un reboot. Si la commande curl ci-dessus ne renvoie rien, journalctl -u piper -n 50 contient la cause. L’absence du fichier de voix est la cause la plus courante.

Le format de serveur compatible avec OpenAI

La plupart des logiciels qui traitent l’audio parlent déjà l’API audio d’OpenAI : une requête POST multipart vers /v1/audio/transcriptions pour un fichier, une requête POST JSON vers /v1/audio/speech pour une phrase. Servez vous-même ces deux chemins. Le client ne nécessite alors qu’une modification : son URL de base.

Speaches est un serveur qui gère les deux directions. Il utilise faster-whisper pour la transcription et Piper ou Kokoro pour la synthèse vocale, derrière les chemins OpenAI. La version actuelle est v0.9.0-rc.3, publiée en décembre 2025. Le projet est encore antérieur à la version 1.0. Épinglez donc le tag de votre image et lisez les notes de version avant toute mise à niveau.

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

La forme à conteneur unique, si vous préférez ne pas conserver de fichiers compose :

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

Le volume nommé est l’élément souvent oublié. Sans lui, le cache des modèles reste dans le conteneur. La suppression et la recréation du conteneur entraîne alors la perte des poids téléchargés. Le redémarrage du même conteneur les conserve.

La synthèse vocale nécessite de télécharger une voix avant que /v1/audio/speech puisse répondre :

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

Ensuite, n’importe quel client OpenAI fonctionne si vous modifiez l’URL de base :

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

L’espace réservé api_key est obligatoire, car la bibliothèque cliente OpenAI refuse d’envoyer une requête sans cette valeur. Le serveur ignore sa valeur tant que vous n’avez pas configuré une vraie clé.

vox-box est l’autre projet qui mérite d’être cité ici. Il s’agit d’un paquet Python et non d’un conteneur. Il fournit les mêmes chemins avec Whisper, FunASR, Bark, Dia ou CosyVoice derrière ceux-ci. La version actuelle est 0.0.21, publiée en décembre 2025. Elle nécessite Python 3.10 ou une version ultérieure.

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

L’exemple fourni par le projet utilise le port 80. Ce port nécessite root ou la capacité CAP_NET_BIND_SERVICE. Sur un serveur qui exécute d’autres services, il vaut mieux utiliser un port élevé derrière un reverse proxy. vox-box start ne prend qu’un seul modèle. Pour gérer les deux directions, il faut donc une seconde instance sur un second port, avec un identifiant de dépôt vocal.

Demandez au serveur ce qu’il a chargé, puis utilisez cet identifiant dans le champ model :

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

Un corps JSON de la forme {"text": "..."} signifie que le chemin complet fonctionne. En cas de 404, lisez le corps de la réponse et comparez l’identifiant du modèle avec /v1/models. Speaches renvoie également 404 lorsqu’un modèle valide n’est pas installé localement. Si l’erreur l’indique, téléchargez le modèle demandé avec uvx speaches-cli model download MODEL_ID, puis réessayez. Sa route de téléchargement est POST /v1/models/{model_id}.

Aucun de ces serveurs n’active l’authentification par défaut. Liez-les à 127.0.0.1 et accédez-y via un VPN ou un reverse proxy qui demande des identifiants. Un /v1/audio/transcriptions ouvert sur une adresse IP publique fournit gratuitement du temps CPU à quiconque le découvre. Et il sera découvert.

Une interface vocale pour un assistant auto-hébergé

Une fois que les deux directions répondent via des chemins OpenAI, une interface de chat peut les piloter. Open WebUI et ses alternatives acceptent une URL de base compatible avec OpenAI pour l’audio dans leurs paramètres. Un seul serveur peut donc exécuter un LLM local avec Ollama et fermer la boucle vocale aux deux extrémités.

Évaluez honnêtement la latence, car ces trois étapes s’exécutent l’une après l’autre sur les mêmes cœurs. Une question de 10 secondes demande environ 1.3 seconde pour être transcrite avec le facteur de 7.6x indiqué plus haut. Le modèle n’a alors pas encore lu un seul token. Ajoutez la génération des tokens par le CPU, et l’aller-retour devient suffisamment lent pour que les testeurs pensent que le service a planté. La transcription par lots reste confortable sur CPU. Une conversation ne l’est pas. C’est à ce stade qu’un VPS avec un GPU commence à justifier son prix.

Quand le GPU est-il réellement utile ?

GraphiqueWhisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
Les données de ce graphique
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

Sur le GPU, le modèle large en int8 fonctionne à 13.2x la vitesse temps réel avec 2,926 Mo de VRAM, et le batching porte ce chiffre à 48.8x. Notez bien ce que les deux graphiques ne montrent pas. Ils utilisent des modèles différents : les lignes GPU correspondent à large-v2, tandis que les lignes CPU correspondent à small. Un GPU ne rend pas le modèle small six fois plus rapide. Il permet d’utiliser le modèle précis.

D’où viennent ces chiffres

Les deux graphiques reproduisent le benchmark publié dans le README de faster-whisper. L’audio est un seul fichier de 13 minutes. Les lignes CPU utilisent 8 threads sur un Intel Core i7-12700K, et les lignes GPU utilisent CUDA 12.4 sur une NVIDIA RTX 3070 Ti avec 8 Go de VRAM. Les colonnes des secondes et de la mémoire reprennent les chiffres publiés. La colonne x_realtime est calculée à partir de ces valeurs : 780 secondes d’audio divisées par le temps mesuré, puis arrondies à une décimale. La colonne de mémoire correspond à la RAM système dans le graphique CPU et à la VRAM dans le graphique GPU.

Un forfait vCPU partagé n’atteindra pas les chiffres du CPU. Ce benchmark disposait à lui seul de 8 threads d’un processeur de bureau rapide. Considérez 7.6x comme une limite supérieure, puis mesurez votre propre machine avec time sur un enregistrement réel avant de baser votre planification dessus.

Voici quatre règles pratiques qui restent valables :

  • Transcription occasionnelle de vos propres enregistrements : CPU, small, int8. Commencez avec deux vCPU dédiés et mesurez la durée de transcription.
  • Traitement par lots pendant la nuit, par exemple pour générer des sous-titres : CPU, small ou medium, int8, exécuté dans nice.
  • Toute utilisation interactive, ou traitement d’une bibliothèque entière en une soirée : GPU.
  • Piper : CPU, toujours. Un modèle vocal de cette taille ne tire presque aucun bénéfice d’un GPU.

Si vous cherchez à déterminer ce que le même matériel pourrait prendre en charge, la question plus générale des modèles d’IA que vous pouvez auto-héberger présente les tailles qui tiennent ou non sur votre matériel.

Modes d’échec et messages affichés

error: externally-managed-environment lors de l’installation. Python système est protégé par la distribution. Créez un environnement virtuel comme indiqué plus haut.

Incompatibilité cuDNN sur une machine équipée d’un GPU. L’échec se présente ainsi :

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 a transféré ses builds CUDA 12 vers cuDNN 9, alors que l’hôte utilise cuDNN 8. Installez cuDNN 9 ou forcez l’ancienne version du runtime avec pip install --force-reinstall ctranslate2==4.4.0. Faites l’un ou l’autre. Faire les deux vous ramène au point de départ.

This CTranslate2 package was not compiled with CUDA support correspond à un autre problème, qui produit un résultat similaire. Le build CTranslate2 installé ne prend pas en charge CUDA. Les wheels officielles pour Linux et Windows prennent en charge l’exécution sur GPU. Vérifiez la plateforme et la source du package, puis installez un build compatible CUDA. Recréer le même environnement avec le même build sans prise en charge du CPU ne résout pas le problème.

Phrases répétées dans la transcription. Une phrase répétée dix fois indique presque toujours qu’un silence ou de la musique est décodé comme de la parole. Activez d’abord vad_filter=True. Si le problème persiste, écoutez le segment : un signal audio presque silencieux ne fournit aucun repère à Whisper, qui répète alors sa dernière hypothèse fiable.

Langue détectée incorrecte. Par défaut, faster-whisper effectue sa détection uniquement sur la première fenêtre de 30 secondes. Une valeur info.language_probability nettement inférieure à 1.0 signifie que le modèle n’était pas sûr de lui. Cela arrive lorsqu’un enregistrement commence par de la musique ou par des voix qui se chevauchent. Indiquez language="en" si vous connaissez déjà la réponse, ou augmentez language_detection_segments pour que le modèle examine davantage de fenêtres avant de choisir.

Le processus affiche Killed puis s’arrête. Vérifiez dmesg et recherchez une ligne oom-kill correspondante pour confirmer que le kernel l’a arrêté par manque de mémoire. large-v3 télécharge plus de 3 GB de poids float16, mais int8 réduit leur empreinte mémoire au chargement. Le benchmark publié du petit modèle int8 utilise 1,477 MB de RAM. Un VPS de 2 GB laisse donc peu de mémoire au système d’exploitation et aux autres services.

Piper ne trouve pas la voix. Le player recherche la voix dans le répertoire de travail, sauf si vous indiquez --data-dir. Exécutez ls sur le répertoire attendu et vérifiez que .onnx et .onnx.json sont tous les deux présents. La présence d’un seul des deux suffit à provoquer l’échec, tout comme leur absence à tous les deux.

FAQ

Puis-je faire de la reconnaissance vocale sur un VPS avec CPU uniquement ?

Oui. Pour le traitement par lots, c’est même le choix le plus logique. Avec faster-whisper et le modèle small en int8, le benchmark publié par le projet transcrit 13 minutes d’audio en 102 secondes sur 8 threads d’un i7 de bureau, soit environ 7.6x le temps réel, avec 1,477 Mo de RAM. Un forfait avec vCPU partagé est plus lent, vous devez donc mesurer les performances sur votre propre serveur. La synthèse vocale avec Piper est encore plus simple et ne nécessite jamais de GPU.

Quelle taille de modèle Whisper dois-je utiliser ?

Commencez avec small en int8. Il occupe 484 Mo sur le disque et traite correctement les enregistrements vocaux clairs. Passez à medium lorsque les accents ou le bruit de fond provoquent des erreurs que vous ne pouvez pas accepter. Utilisez large-v3 uniquement lorsque la précision est prioritaire, car il nécessite 3,090 Mo d’espace disque. L’utilisation de la RAM dépend du type de calcul et de la charge de travail. Mesurez-la donc avant de choisir la taille du VPS. À l’inverse, tiny, avec ses 75.5 Mo, convient à la détection de la langue et aux tests d’un pipeline, mais pas aux transcriptions destinées à être lues par une personne.

Pourquoi faster-whisper est-il plus rapide que le package Whisper d’origine ?

Le modèle est identique. Le runtime ne l’est pas. Le package de référence exécute Whisper dans PyTorch, tandis que faster-whisper utilise les mêmes poids avec CTranslate2, un moteur conçu pour l’inférence des transformers. Celui-ci quantifie les poids lors du chargement et ne nécessite aucune installation de PyTorch. Dans le benchmark CPU publié, le package de référence atteint 1.9x le temps réel, contre 7.6x pour faster-whisper en int8, avec une consommation mémoire inférieure.

Pourquoi ma transcription répète-t-elle la même phrase en boucle ?

Whisper interprète le silence ou la musique comme de la parole et reprend sa dernière hypothèse fiable. Définissez vad_filter=True dans l’appel transcribe(). Cet appel exécute d’abord la détection d’activité vocale de Silero et supprime les passages silencieux avant que le modèle ne les traite. Si les répétitions continuent, vérifiez le niveau audio. Un enregistrement presque entièrement silencieux ne fournit aucune information exploitable au modèle.

Comment obtenir un endpoint audio compatible avec OpenAI sur mon propre serveur ?

Exécutez un serveur qui implémente POST /v1/audio/transcriptions et POST /v1/audio/speech, puis indiquez sa nouvelle URL de base au client. Speaches est une option. Il est publié sous forme d’image de conteneur avec un build CPU, utilise faster-whisper pour la transcription et Piper ou Kokoro pour la synthèse vocale. vox-box en est une autre. Installez-le avec pip install vox-box, puis démarrez-le avec vox-box start --huggingface-repo-id. Il sert un modèle par processus. Aucun des deux n’active l’authentification par défaut. Écoutez donc sur localhost et placez un proxy ou un VPN devant le service.

Cet article vous a-t-il été utile ?

#whisper#tts#piper#speech-to-text#self-hosted-ai