Instalar Whisper y Piper en un VPS para voz a texto
Ejecuta Whisper y Piper en tu propio VPS sin GPU. Aprende a configurar un endpoint compatible con OpenAI, el consumo real de CPU y el espacio en disco necesario para el despliegue.
Conversión de voz a texto y síntesis de voz autoalojadas, en resumen
La conversión de voz a texto y la síntesis de voz (TTS, texto a voz) autoalojadas se ejecutan en un servidor propio. La transcripción usa Whisper mediante el runtime faster-whisper. La síntesis usa Piper. Ambos funcionan en una VPS con CPU convencional y sin GPU. El modelo pequeño de Whisper necesita aproximadamente 484 MB de disco, y una voz de Piper consta de dos archivos: un modelo ONNX y una configuración JSON pequeña, que en conjunto ocupan bastante menos de 150 MB.
Por eso el audio es un buen punto de partida. Un generador de imágenes autoalojado y la generación de vídeo autoalojada necesitan una GPU antes de ser utilizables. El audio no.
Esta guía cubre ambas direcciones y la capa que las conecta. Whisper convierte el audio en texto. Piper convierte el texto en audio. Un servidor HTTP compatible con OpenAI delante de ambos permite que un cliente existente apunte a su servidor sin cambiar nada excepto la URL base.
Todas las versiones fijadas en los comandos de esta guía se comprobaron con la página de versiones de su proyecto el 11 de octubre de 2026. Las versiones de CTranslate2 indicadas en la sección de fallos son marcadores de compatibilidad, no versiones actuales.
Por qué faster-whisper y no el paquete de referencia Whisper
El paquete whisper de OpenAI ejecuta el modelo en PyTorch. faster-whisper ejecuta los mismos pesos del modelo en CTranslate2, un motor de inferencia desarrollado específicamente para modelos transformer. El modelo es el mismo, pero la cuantización y la configuración de decodificación afectan a la transcripción. El motor de ejecución explica la diferencia de velocidad medida a continuación.
CTranslate2 cuantiza los pesos mientras los carga. Por eso, compute_type="int8" es un único argumento y no un paso de conversión independiente. Tampoco tiene una dependencia de PyTorch. pip install faster-whisper instala CTranslate2, un tokenizador y PyAV para decodificar audio. Por eso, el entorno virtual ocupa cientos de megabytes en lugar de varios gigabytes. En un VPS con un disco de 40 GB, esa diferencia separa un sistema con margen de uno con poco espacio.
Estas son las cifras publicadas por el propio proyecto para el modelo small en CPU. El benchmark transcribe 13 minutos de audio mediante 8 hilos en un Intel Core i7-12700K. La columna x_realtime es la duración de esos 13 minutos dividida por el tiempo medido: 7.6 significa que una grabación de 13 minutos terminó en algo más de 1 minuto 40.
Los datos de este gráfico
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]Interprete la segunda fila correctamente. Con fp32, whisper.cpp es más rápido que faster-whisper en esta CPU: 6.2x frente a 5.0x. Además, utiliza menos de la mitad de memoria. Pertenece a la misma familia ggml que sustenta la parte de llama.cpp de la pila de LLM locales. faster-whisper toma la delantera cuando se activan int8 y el procesamiento por lotes, y alcanza 15.3x. Para ello utiliza 3,608 MB de RAM. Por tanto, elija faster-whisper para la API de Python y el procesamiento por lotes. Elija whisper.cpp cuando la RAM sea la restricción que no puede ampliar.
La primera fila es el motivo de esta sección. El paquete de referencia alcanza 1.9x de tiempo real en la misma máquina. Esto significa que una hora de audio requiere media hora de CPU.
¿Cuánto espacio en disco requieren los pesos del modelo Whisper?
Los datos de este gráfico
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Estos son los pesos convertidos para CTranslate2, en formato float16. Tenga en cuenta lo que compute_type="int8" no hace: no reduce el tamaño de la descarga. Los pesos llegan en float16 y CTranslate2 los cuantiza en memoria al momento de la carga, por lo que large-v3 ocupa 3,090 MB en disco, independientemente de si lo ejecuta en float16 o int8. El formato int8 le ahorra RAM y mejora la velocidad, pero no espacio en disco.
Los modelos se descargan durante el primer uso en ~/.cache/huggingface/hub. En un VPS con un volumen raíz pequeño, dirija esta ruta a un lugar con espacio suficiente mediante el argumento download_root o la variable de entorno HF_HOME; de lo contrario, la primera ejecución llenará el disco y el proceso fallará a mitad de la descarga.
Instalar faster-whisper sin romper el Python del sistema
Ubuntu 24.04 y Debian 13 marcan el Python del sistema como gestionado externamente. Ejecutar pip install faster-whisper fuera de un entorno virtual se detiene inmediatamente con:
error: externally-managed-environmentEse es el sistema de paquetes protegiendo los archivos que apt administra. Use un entorno virtual.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1La versión 1.2.1 es la versión actual, publicada en octubre de 2025. faster-whisper decodifica el audio mediante PyAV, que incluye sus propias bibliotecas de ffmpeg. Por tanto, puede leer un mp3 o un m4a sin un binario independiente de ffmpeg. El paquete ffmpeg anterior se utiliza para el procesamiento de vídeo posterior de esta guía.
Compruebe la instalación antes de descargar tres gigabytes de pesos:
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"Una línea que indique ok significa que las wheels se instalaron correctamente. Un ImportError que indique ctranslate2 significa que falta el runtime o que su biblioteca compilada no se pudo cargar. El resto del mensaje indica cuál es el problema. En imágenes ARM de 32 bits no existe ninguna wheel de CTranslate2, por lo que pip falla durante la instalación.
Transcribir una grabación de reunión o una nota de voz
Guarde esto como transcribe.py:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Ejecútelo con ~/stt/bin/python transcribe.py. La primera ejecución descarga los pesos, por lo que no se imprime nada durante un tiempo. Después de eso, el modelo se carga desde la caché en unos pocos segundos.
segments es un generador, por lo que la transcripción no comienza hasta que itera sobre él. La gente mide el tiempo de la llamada transcribe(), ve que devuelve el resultado al instante y piensa que algo está roto. No hay nada roto. El trabajo ocurre en el bucle.
vad_filter=True ejecuta primero Silero VAD (detección de actividad de voz) y descarta los tramos de silencio antes de que Whisper los procese. En una grabación de reunión con pausas largas, esta es la mayor mejora de velocidad disponible, ya que Whisper no pierde tiempo en audio que no contiene voz. También suprime los bucles de frases repetidas que Whisper produce cuando se le suministra silencio e intenta encontrar palabras en él.
Establezca cpu_threads en el número de núcleos que realmente tiene. Configurarlo por encima de su número de vCPU hace que la transcripción sea más lenta, porque los hilos adicionales compiten por el mismo núcleo y el planificador paga el coste de cada cambio de contexto.
Subtítulos para una biblioteca de Jellyfin
Jellyfin lee los archivos de subtítulos externos que están junto al video y comparten su nombre, por lo que Movie (2019).en.srt junto a Movie (2019).mkv aparece como una pista en inglés sin reconstruir la biblioteca. Que un cliente concreto lo reproduzca directamente, que el servidor lo remuxee o que lo incruste en el video depende de lo que admita ese cliente.
Extraiga primero el audio. Whisper remuestrea todo internamente a mono de 16 kHz, por lo que entregarle audio mono de 16 kHz evita trabajo en ambos extremos:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"faster-whisper no incluye un generador de archivos SRT, así que debe dar formato a los segmentos manualmente. Guarde esto como srt.py:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Después, recorra la biblioteca:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
done-nostdin desactiva la interacción de teclado de ffmpeg. También evita que ffmpeg consuma nombres de archivo cuando se ejecuta dentro de un bucle que los lee desde la entrada estándar. El bucle basado en glob anterior no lee la lista de archivos desde la entrada estándar.
Calcule el tiempo antes de empezar. Con la cifra de 7.6x indicada arriba, una película de 100 minutos necesita aproximadamente 13 minutos de CPU, por lo que una biblioteca de cincuenta películas requiere una ejecución nocturna. En un plan de vCPU compartida será más lento, y para eso sirve nice: la ejecución de subtítulos cede entonces tiempo de CPU a las demás tareas del servidor.
Texto a voz con Piper
Piper es un motor neuronal de texto a voz que ejecuta un modelo de voz ONNX en la CPU. Incluye espeak-ng para convertir el texto en fonemas, por lo que no es necesario instalar un fonemizador independiente. La versión actual es 1.8.0, publicada en septiembre de 2026.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'download_voices escribe dos archivos en el directorio de trabajo: los pesos .onnx y una configuración .onnx.json que contiene la frecuencia de muestreo y la lista de hablantes. Deben permanecer juntos. Si guarda las voces en una ubicación fija, pase --data-dir a ambos comandos, porque de lo contrario el reproductor busca en el directorio de trabajo y no puede encontrar una voz que no esté allí.
El -- que aparece antes del texto también es importante. Separa el texto de las opciones de la línea de comandos, incluidas las opciones que una frase que empieza por un guion podría activar de otro modo.
Las voces se distribuyen con varios niveles de calidad. Una voz en inglés de calidad media ocupa aproximadamente 60 MB y una de alta calidad ocupa cerca del doble. Una calidad superior implica un modelo más grande y un mayor uso de CPU por segundo de voz, no un hablante diferente.
No llame a la CLI dentro de un bucle. Carga el modelo en cada ejecución, y la carga del modelo domina el coste de una frase corta. Ejecute el servidor HTTP:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeSi puede reproducir un test.wav, significa que funciona. Ese endpoint tiene el formato propio de Piper, no el de OpenAI, por lo que un cliente que espere /v1/audio/speech no podrá comunicarse con él. La siguiente sección corrige esto.
Manténgalo en ejecución con un archivo de unidad en lugar de una terminal que cerrará. La unidad ejecuta Piper como el usuario piper, sin inicio de sesión, desde el directorio personal de ese usuario, por lo que el servicio no depende de su cuenta. Cree el usuario e instale allí Piper y la voz:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumDetenga el servidor que inició en la terminal y escriba la unidad:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now piper lo inicia y vuelve a iniciarlo después de un reinicio. Si el comando curl anterior no devuelve nada, journalctl -u piper -n 50 contiene el motivo; lo habitual es que falte el archivo de voz.
La estructura de un servidor compatible con OpenAI
La mayoría del software que procesa audio ya admite la API de audio de OpenAI: un POST multipart a /v1/audio/transcriptions para un archivo y un POST JSON a /v1/audio/speech para una frase. Sirva esas dos rutas directamente y el cliente sólo necesita un cambio: su URL base.
Speaches es un servidor que admite ambas direcciones. Ejecuta faster-whisper para la transcripción y Piper o Kokoro para la síntesis de voz, detrás de las rutas de OpenAI. La versión actual es v0.9.0-rc.3, publicada en diciembre de 2025. El proyecto todavía no ha llegado a 1.0, así que fije la etiqueta de la imagen y lea las notas de la versión antes de actualizar.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachLa forma con un solo contenedor, si prefiere no conservar archivos de compose:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuEl volumen con nombre es la parte que suele omitirse. Sin él, la caché de modelos vive dentro del contenedor. Al eliminar y volver a crear el contenedor, se pierden los pesos descargados. Reiniciar el mismo contenedor los conserva.
El servicio de voz necesita que se descargue una voz antes de que /v1/audio/speech responda:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXDespués, cualquier cliente de OpenAI funciona si se cambia la URL base:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())El marcador de posición api_key es obligatorio porque la biblioteca cliente de OpenAI se niega a enviar una solicitud sin él. El servidor ignora su valor hasta que configure una clave real.
vox-box es el otro proyecto que conviene mencionar. Es un paquete de Python, no un contenedor, y sirve las mismas rutas con Whisper, FunASR, Bark, Dia o CosyVoice. La versión 0.0.21 es la actual, publicada en diciembre de 2025, y necesita Python 3.10 o posterior.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010El ejemplo del propio proyecto enlaza el puerto 80, que requiere root o la capacidad CAP_NET_BIND_SERVICE. En un servidor que ejecuta otros servicios, es preferible usar un puerto alto detrás de un proxy inverso. vox-box start acepta un solo modelo. Para cubrir ambas direcciones, necesita una segunda instancia en otro puerto y con un id de repositorio de voz.
Consulte al servidor qué cargó y use después ese id en el campo model:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"Un cuerpo JSON con la forma {"text": "..."} indica que toda la ruta funciona. Si recibe un 404, lea el cuerpo de la respuesta y compare el id del modelo con /v1/models. Speaches también devuelve 404 cuando el modelo es válido pero no está instalado localmente. Si el error lo indica, descargue el modelo solicitado con uvx speaches-cli model download MODEL_ID y vuelva a intentarlo. Su ruta de descarga es POST /v1/models/{model_id}.
Ninguno de estos servidores activa la autenticación de forma predeterminada. Enlácelo a 127.0.0.1 y acceda mediante una VPN o un proxy inverso que solicite credenciales. Un /v1/audio/transcriptions abierto en una IP pública proporciona CPU sin coste a cualquiera que lo encuentre. Lo encontrarán.
Un front-end de voz para un asistente autohospedado
Una vez que ambas direcciones responden en las rutas de OpenAI, un front-end de chat puede gestionarlas. Open WebUI y sus alternativas aceptan una URL base compatible con OpenAI para audio en sus ajustes, por lo que un solo equipo puede ejecutar un LLM local con Ollama y cerrar el bucle de voz en ambos extremos.
Calcule la latencia de forma realista, ya que esos tres pasos se ejecutan uno tras otro en los mismos núcleos. Una pregunta de 10 segundos tarda aproximadamente 1.3 segundos en transcribirse según la cifra de 7.6x anterior, y eso es antes de que el modelo haya leído un solo token. Añada la generación de tokens por CPU y el tiempo de ida y vuelta es lo suficientemente lento como para que los usuarios crean que se ha bloqueado. La transcripción por lotes es cómoda en CPU. La conversación no lo es, y ese es el punto donde un VPS con GPU empieza a justificar su coste.
¿Cuándo merece realmente la pena una GPU?
Los datos de este gráfico
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]En la GPU, el modelo grande con int8 funciona a 13.2x tiempo real dentro de 2,926 MB de VRAM, y el procesamiento por lotes alcanza 48.8x. Observe con atención lo que no indican las dos gráficas. Utilizan modelos distintos: las filas de GPU corresponden a large-v2 y las filas de CPU, a small. Una GPU no hace que el modelo small sea seis veces más rápido. Hace que el modelo preciso sea utilizable.
De dónde proceden estas cifras
Ambas gráficas reproducen el benchmark publicado en el README de faster-whisper. El audio es un único archivo de 13 minutos. Las filas de CPU utilizaron 8 hilos en un Intel Core i7-12700K, y las filas de GPU utilizaron CUDA 12.4 en una NVIDIA RTX 3070 Ti con 8 GB de VRAM. Las columnas de segundos y memoria contienen las cifras publicadas. La columna x_realtime se calcula a partir de ellas: 780 segundos de audio divididos por el tiempo medido, redondeado a un decimal. La columna de memoria representa la RAM del sistema en la gráfica de CPU y la VRAM en la gráfica de GPU.
Un plan compartido de vCPU no alcanzará las cifras de CPU. Ese benchmark tenía 8 hilos de un procesador de escritorio rápido dedicados exclusivamente a la tarea. Considere 7.6x como un límite máximo y mida su propio equipo con time sobre una grabación real antes de basar cualquier decisión en esa cifra.
Cuatro reglas prácticas que suelen cumplirse:
- Transcripción ocasional de sus propias grabaciones: CPU, small, int8. Empiece con dos vCPU dedicadas y mida el tiempo de transcripción.
- Procesamiento por lotes nocturno, como generar subtítulos: CPU, small o medium, int8, ejecutado dentro de
nice. - Cualquier tarea interactiva o procesar una biblioteca completa en una tarde: GPU.
- Piper: CPU, siempre. Un modelo de voz de este tamaño apenas obtiene beneficios de una GPU.
Si está evaluando qué otras cargas podría ejecutar el mismo hardware, la cuestión más amplia de qué modelos de IA puede alojar localmente explica qué tamaños caben y cuáles no.
Modos de fallo y mensajes que verá
error: externally-managed-environment al instalar. Python del sistema está protegido por la distribución. Cree un entorno virtual como se mostró arriba.
Incompatibilidad de cuDNN en un equipo con GPU. El fallo tiene este aspecto:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorCTranslate2 4.5.0 trasladó sus compilaciones para CUDA 12 a cuDNN 9, pero el host tiene cuDNN 8. Instale cuDNN 9 o fije el runtime anterior con pip install --force-reinstall ctranslate2==4.4.0. Haga una de las dos cosas. Hacer ambas le deja en la situación inicial.
This CTranslate2 package was not compiled with CUDA support es otro fallo con un comportamiento parecido. La compilación instalada de CTranslate2 no incluye compatibilidad con CUDA. Los wheels oficiales para Linux y Windows admiten la ejecución en GPU. Compruebe la plataforma y el origen del paquete y, después, instale una compilación con CUDA habilitado. Recrear el mismo entorno con la misma compilación exclusiva para CPU no lo soluciona.
Frases repetidas en la transcripción. Una frase que se repite diez veces casi siempre indica que se está decodificando silencio o música como voz. Active vad_filter=True primero. Si el problema persiste, escuche el segmento: el audio casi silencioso no proporciona a Whisper ningún punto de referencia y el modelo repite su última predicción con suficiente confianza.
Idioma detectado incorrectamente. De forma predeterminada, faster-whisper hace la predicción usando sólo los primeros 30 segundos. Un info.language_probability muy inferior a 1.0 indica que no estaba seguro. Esto ocurre cuando la grabación comienza con música o con voces superpuestas. Pase language="en" cuando ya conozca la respuesta o aumente language_detection_segments para que examine más ventanas antes de decidir.
El proceso muestra Killed y se detiene. Compruebe dmesg para buscar una línea oom-kill correspondiente y confirmar que el kernel lo terminó por falta de memoria. large-v3 descarga más de 3 GB de pesos float16, pero int8 reduce su consumo de memoria durante la carga. El benchmark publicado del modelo pequeño con int8 usa 1,477 MB de RAM, por lo que una VPS de 2 GB deja poco espacio para el sistema operativo y otros servicios.
Piper no encuentra la voz. El reproductor busca en el directorio de trabajo salvo que pase --data-dir. Ejecute ls en el directorio esperado y confirme que .onnx y .onnx.json estén presentes. Si falta uno de los dos, la ejecución falla igual que si faltaran ambos.
FAQ
¿Puedo ejecutar transcripción de voz en un VPS que sólo usa CPU?
Sí. Para trabajos por lotes es una opción adecuada. Con faster-whisper y el modelo small en int8, el benchmark publicado del proyecto transcribe 13 minutos de audio en 102 segundos con 8 hilos de un i7 de escritorio, aproximadamente 7.6x tiempo real, usando 1,477 MB de RAM. Un plan con vCPU compartida será más lento, así que mida su propio servidor. La conversión de texto a voz con Piper es aún más sencilla y no necesita GPU en ningún caso.
¿Qué tamaño de modelo de Whisper debo usar?
Empiece con small en int8. Ocupa 484 MB de disco y funciona bien con voz grabada clara. Pase a medium cuando los acentos o el ruido de fondo provoquen errores que no pueda aceptar. Use large-v3 sólo cuando la precisión sea más importante que todo lo demás, porque necesita 3,090 MB de disco. El uso de RAM depende del tipo de cómputo y de la carga de trabajo, así que mídalo antes de elegir el tamaño del VPS. En el otro extremo, tiny, con 75.5 MB, resulta útil para detectar el idioma y probar una canalización, pero no para generar transcripciones que vaya a leer una persona.
¿Por qué faster-whisper es más rápido que el paquete original Whisper?
El modelo es el mismo. El entorno de ejecución no lo es. El paquete de referencia ejecuta Whisper en PyTorch, mientras que faster-whisper ejecuta los mismos pesos en CTranslate2, un motor creado para la inferencia de transformers que cuantiza los pesos durante la carga y no necesita instalar PyTorch. En el benchmark de CPU publicado, el paquete de referencia alcanza 1.9x tiempo real, frente a 7.6x de faster-whisper en int8, con un menor uso de memoria.
¿Por qué mi transcripción repite la misma frase una y otra vez?
Whisper está interpretando el silencio o la música como voz y vuelve a su última predicción segura. Configure vad_filter=True en la llamada transcribe(). Esto ejecuta primero la detección de actividad de voz de Silero y elimina los intervalos silenciosos antes de que el modelo los procese. Si sigue repitiendo el texto, compruebe el nivel de audio. Una grabación casi silenciosa en toda su duración no proporciona información suficiente al modelo.
¿Cómo obtengo un endpoint de audio compatible con OpenAI en mi propio servidor?
Ejecute un servidor que implemente POST /v1/audio/transcriptions y POST /v1/audio/speech. Después, configure el cliente para usarlo mediante una nueva URL base. Speaches es una opción. Se publica como una imagen de contenedor con una compilación para CPU y usa faster-whisper para la transcripción y Piper o Kokoro para la conversión de texto a voz. vox-box es otra opción. Se instala con pip install vox-box y se inicia con vox-box start --huggingface-repo-id. Sirve un modelo por proceso. Ninguna de las dos opciones activa la autenticación de forma predeterminada. Por tanto, vincule el servicio a localhost y coloque un proxy o una VPN delante.