Whisper і Piper на VPS: self-hosted speech-to-text і TTS
Запустіть Whisper і Piper на CPU VPS: дізнайтеся витрати CPU та диска, потрібний обсяг ваг моделі й спосіб відкрити OpenAI-сумісний endpoint.
Self-hosted speech to text і TTS: коротко
Self-hosted speech to text і TTS (text to speech) працюють на сервері, яким ви керуєте. Транскрибування виконує Whisper через runtime faster-whisper. Синтез виконує Piper. Обидва компоненти працюють на звичайному CPU VPS без GPU. Для малої моделі Whisper потрібно приблизно 484 MB дискового простору, а голос Piper складається з 2 файлів — моделі ONNX і невеликого JSON-конфігураційного файла, загальним обсягом значно менше 150 MB.
Тому аудіо — оптимальна точка входу. Self-hosted генератор зображень і self-hosted генерація відео потребують GPU ще до того, як ними можна буде користуватися. Для аудіо GPU не потрібен.
Цей посібник охоплює обидва напрямки та шар, який їх об’єднує. Whisper перетворює аудіо на текст. Piper перетворює текст на аудіо. OpenAI-compatible HTTP-сервер перед ними дає змогу підключити наявний клієнт до вашого сервера, змінивши лише базову URL-адресу.
Усі версії, зафіксовані в командах цього посібника, перевірено за сторінкою релізів відповідного проєкту 11 жовтня 2026 року. Версії CTranslate2, зазначені в розділі про типові помилки, є маркерами сумісності, а не актуальними релізами.
Чому faster-whisper, а не reference package Whisper
Пакет OpenAI whisper запускає модель у PyTorch. faster-whisper запускає ті самі ваги моделі в CTranslate2 — inference engine, спеціально створеному для transformer models. Модель та сама, але параметри quantization і decoding впливають на транскрипцію. Саме runtime визначає різницю у швидкості, виміряну нижче.
CTranslate2 квантує ваги під час завантаження. Тому compute_type="int8" є одним аргументом, а не окремим кроком конвертації. Пакет також не має залежності від PyTorch. pip install faster-whisper встановлює CTranslate2, tokenizer і PyAV для декодування аудіо. Тому virtual environment займає сотні мегабайт, а не кілька гігабайтів. На VPS із диском на 40 GB ця різниця визначає, чи буде достатньо вільного місця для комфортної роботи.
Нижче наведено опубліковані авторами проєкту показники для моделі small на CPU. У benchmark транскрибується 13 хвилин аудіо з використанням 8 потоків на Intel Core i7-12700K. У колонці x_realtime вказано результат ділення цих 13 хвилин на виміряний час. Значення 7.6 означає, що запис тривалістю 13 хвилин завершився трохи більше ніж за 1 хвилину 40 секунд.
Дані, на яких побудовано графік
[
{
"label": "openai/whisper, fp32",
"x_realtime": 1.9,
"seconds": 418,
"memory_mb": "2,335"
},
{
"label": "whisper.cpp, fp32",
"x_realtime": 6.2,
"seconds": 125,
"memory_mb": "1,049"
},
{
"label": "faster-whisper, fp32",
"x_realtime": 5.0,
"seconds": 157,
"memory_mb": "2,257"
},
{
"label": "faster-whisper, int8",
"x_realtime": 7.6,
"seconds": 102,
"memory_mb": "1,477"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 15.3,
"seconds": 51,
"memory_mb": "3,608"
}
]Другий рядок потрібно інтерпретувати коректно. У режимі fp32 whisper.cpp на цьому CPU працює швидше за faster-whisper: 6.2x проти 5.0x. При цьому він використовує менше половини обсягу пам’яті. Це та сама сім’я ggml, на якій працює частина local LLM stack на базі llama.cpp. faster-whisper випереджає whisper.cpp після ввімкнення int8 і batching та досягає 15.3x, використовуючи 3,608 MB RAM. Отже, обирайте faster-whisper для Python API і batching, а whisper.cpp — коли обсяг RAM є обмеженням, яке неможливо усунути.
Перший рядок ілюструє основний висновок цього розділу. Reference package працює зі швидкістю 1.9x від реального часу на тому самому комп’ютері. Це означає, що година аудіо потребує пів години роботи CPU.
Скільки дискового простору потрібно для ваг моделі Whisper?
Дані, на яких побудовано графік
[
{
"label": "tiny",
"weights_mb": 75.5
},
{
"label": "base",
"weights_mb": 145
},
{
"label": "small",
"weights_mb": 484
},
{
"label": "medium",
"weights_mb": "1,530"
},
{
"label": "large-v3",
"weights_mb": "3,090"
}
]Це опубліковані конвертації CTranslate2 у форматі float16. Зверніть увагу, чого compute_type="int8" не робить: він не зменшує розмір завантаження. Ваги надходять у форматі float16, а CTranslate2 квантує їх у пам’яті під час завантаження. Тому large-v3 займає на диску 3,090 MB незалежно від того, запускаєте ви її у форматі float16 чи int8. Формат int8 заощаджує RAM і прискорює роботу, але не зменшує вимоги до дискового простору.
Моделі завантажуються під час першого використання в ~/.cache/huggingface/hub. На VPS із невеликим кореневим томом укажіть каталог із достатнім вільним простором за допомогою аргументу download_root або змінної середовища HF_HOME. Інакше під час першого запуску диск може заповнитися, а процес завершиться посеред завантаження.
Встановлення faster-whisper без пошкодження системного Python
Ubuntu 24.04 і Debian 13 позначають системний Python як такий, що керується зовнішнім пакувальником. Запуск pip install faster-whisper поза віртуальним середовищем одразу завершується з повідомленням:
error: externally-managed-environmentЦе система пакування захищає файли, якими володіє apt. Використовуйте віртуальне середовище.
sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1Версія 1.2.1 є поточним релізом, опублікованим у жовтні 2025 року. faster-whisper декодує аудіо через PyAV, який містить власні бібліотеки ffmpeg, тому може читати mp3 або m4a без окремого бінарного файлу ffmpeg. Пакет ffmpeg вище потрібен для роботи з відео далі в цьому посібнику.
Перевірте встановлення, перш ніж завантажувати три гігабайти вагових файлів:
~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"Рядок із текстом ok означає, що wheel-пакети встановлено. Повідомлення ImportError з назвою ctranslate2 означає, що середовище виконання відсутнє або його скомпільована бібліотека не завантажується. Решта повідомлення вказує причину. Для 32-бітних ARM-образів wheel-пакета CTranslate2 взагалі немає, тому pip завершується помилкою вже під час встановлення.
Транскрибуйте запис зустрічі або голосову нотатку
Збережіть це як transcribe.py:
from faster_whisper import WhisperModel
model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)
print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Запустіть це за допомогою ~/stt/bin/python transcribe.py. Під час першого запуску завантажуються ваги моделі, тому деякий час нічого не виводиться. Після цього модель завантажується з кешу за кілька секунд.
segments — це генератор, тому транскрибація не починається, доки ви не виконаєте ітерацію по ньому. Користувачі вимірюють час виклику transcribe(), бачать, що він одразу повертає результат, і думають, що щось не працює. Насправді все працює. Обробка відбувається в циклі.
Спочатку vad_filter=True запускає Silero VAD (voice activity detection) і видаляє фрагменти тиші, перш ніж Whisper почне їх обробляти. У записі зустрічі з довгими паузами це найбільше окреме прискорення, оскільки Whisper взагалі не витрачає час на аудіо без мовлення. Це також запобігає циклам із повторенням речень, які Whisper створює, коли отримує тишу й намагається знайти в ній слова.
Установіть cpu_threads відповідно до фактичної кількості доступних ядер. Якщо встановити значення, що перевищує кількість vCPU, транскрибація сповільниться, оскільки додаткові потоки конкуруватимуть за те саме ядро, а планувальник витрачатиме ресурси на кожне перемикання.
Субтитри для бібліотеки Jellyfin
Jellyfin читає зовнішні файли субтитрів, які розташовані поруч із відео та мають таке саме ім’я. Тому Movie (2019).en.srt поруч із Movie (2019).mkv відображається як англійська доріжка без повторного сканування бібліотеки. Чи відтворює клієнт цей файл безпосередньо, чи сервер виконує remux або вбудовує субтитри у відео, залежить від підтримки конкретного клієнта.
Спочатку витягніть аудіо. Whisper внутрішньо перетворює всі дані на mono з частотою 16 kHz, тому передавання йому mono-аудіо з частотою 16 kHz зменшує обсяг роботи з обох боків:
ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"faster-whisper не має засобу запису SRT, тому відформатуйте сегменти самостійно. Збережіть це у srt.py:
import sys
from faster_whisper import WhisperModel
def ts(seconds):
ms = int(round(seconds * 1000))
hours, ms = divmod(ms, 3600000)
minutes, ms = divmod(ms, 60000)
secs, ms = divmod(ms, 1000)
return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)
model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)
with open(sys.argv[2], "w", encoding="utf-8") as out:
for index, segment in enumerate(segments, start=1):
out.write("%d\n" % index)
out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
out.write("%s\n\n" % segment.text.strip())Потім обробіть бібліотеку:
for f in /srv/media/films/*.mkv; do
ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
rm -f "${f%.mkv}.wav"
done-nostdin вимикає взаємодію ffmpeg із клавіатурою. Це також не дає ffmpeg читати імена файлів замість циклу, коли цикл отримує їх зі стандартного вводу. Наведений вище цикл на основі glob не читає список файлів зі стандартного вводу.
Оцініть тривалість роботи до запуску. За наведеним вище показником 7.6x фільм тривалістю 100 хвилин потребує приблизно 13 хвилин CPU, тому бібліотека з 50 фільмів оброблятиметься всю ніч. На спільному vCPU-плані процес триватиме довше. Саме для цього потрібен nice: обробка субтитрів поступається ресурсами іншим завданням, які сервер виконує паралельно.
Текст у мовлення за допомогою Piper
Piper — це нейронний рушій синтезу мовлення, який запускає голосову модель ONNX на CPU. Він вбудовує espeak-ng для перетворення тексту на фонеми, тому окремий phonemizer встановлювати не потрібно. Поточний реліз — 1.8.0, опублікований у September 2026.
python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'download_voices записує у робочий каталог два файли: .onnx із вагами та .onnx.json з конфігурацією, де вказано частоту дискретизації й список дикторів. Вони мають зберігатися разом. Якщо ви зберігаєте голоси у фіксованому каталозі, передайте --data-dir обом командам, оскільки в іншому разі програвач шукає голос у робочому каталозі й не може знайти файл, якого там немає.
Важливий також -- перед текстом. Він відокремлює текст від параметрів командного рядка, зокрема від параметрів, які інакше могла б активувати фраза, що починається з дефіса.
Голоси доступні в кількох рівнях якості. Голос середньої якості для англійської мови займає приблизно 60 MB, а голос високої якості — приблизно вдвічі більше. Вища якість означає більшу модель і більше навантаження на CPU під час синтезу кожної секунди мовлення, а не іншого диктора.
Не викликайте CLI у циклі. Під час кожного запуску він завантажує модель, а для короткої фрази саме завантаження моделі визначає основну частину витрат. Натомість запустіть HTTP-сервер:
~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000curl -X POST -H 'Content-Type: application/json' \
-d '{ "text": "This is a test." }' \
-o test.wav localhost:5000/synthesizeЯкщо test.wav можна відтворити, це означає, що все працює. Цей endpoint використовує власний формат Piper, а не формат OpenAI, тому клієнт, який очікує /v1/audio/speech, не зможе з ним взаємодіяти. Наступний розділ це виправляє.
Замість термінала, який ви закриєте, використовуйте unit-файл. Unit запускає Piper від імені користувача piper без можливості входу в систему та з домашнього каталогу цього користувача, тому сервіс не залежить від вашого облікового запису. Створіть користувача й встановіть туди Piper і голос:
sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-mediumЗупиніть сервер, який ви запустили в терміналі, а потім створіть unit:
[Unit]
Description=Piper text to speech HTTP server
After=network-online.target
[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now piper запускає його та відновлює роботу після перезавантаження. Якщо наведена вище команда curl нічого не повертає, journalctl -u piper -n 50 містить причину. Найчастіше проблема полягає у відсутньому файлі голосу.
Форма сервера, сумісного з OpenAI
Більшість програм для роботи з аудіо вже підтримує аудіо API OpenAI: multipart POST на /v1/audio/transcriptions для файлу та JSON POST на /v1/audio/speech для речення. Обслуговуйте ці два шляхи самостійно, і клієнту потрібно буде змінити лише базову URL-адресу.
Speaches — це один сервер, який підтримує обидва напрямки. Для транскрипції він запускає faster-whisper, а для синтезу мовлення — Piper або Kokoro, використовуючи шляхи OpenAI. Поточний реліз — v0.9.0-rc.3 від December 2025. Проєкт ще не досяг версії 1.0, тому зафіксуйте тег образу та прочитайте release notes перед оновленням.
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detachВаріант з одним контейнером, якщо ви не хочете зберігати compose-файли:
docker run --rm --detach --publish 8000:8000 --name speaches \
--volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
ghcr.io/speaches-ai/speaches:latest-cpuІменований volume — це те, про що часто забувають. Без нього кеш моделей зберігається всередині контейнера. Після видалення та повторного створення контейнера завантажені ваги буде втрачено. Перезапуск того самого контейнера їх зберігає.
Для роботи з мовленням потрібно завантажити голос до того, як /v1/audio/speech почне відповідати:
uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNXПісля цього будь-який клієнт OpenAI працює після зміни базової URL-адреси:
from pathlib import Path
from openai import OpenAI
openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
model="speaches-ai/Kokoro-82M-v1.0-ONNX",
voice="af_heart",
input="Hello, world!",
response_format="mp3",
speed=1,
)
with Path("output.mp3").open("wb") as f:
f.write(res.response.read())Заповнювач api_key обов’язковий, оскільки бібліотека клієнта OpenAI відмовляється надсилати запит без нього. Сервер ігнорує його значення, доки ви не налаштуєте справжній ключ.
vox-box — ще один проєкт, який варто згадати. Це Python-пакет, а не контейнер. Він обслуговує ті самі шляхи, використовуючи Whisper, FunASR, Bark, Dia або CosyVoice. Поточна версія — 0.0.21 від December 2025. Для роботи потрібен Python 3.10 або новіший.
python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
--data-dir ~/voice/data --host 127.0.0.1 --port 8010У власному прикладі проєкту використовується порт 80. Для нього потрібен root або capability CAP_NET_BIND_SERVICE. На сервері, який виконує інші завдання, краще використовувати порт з великим номером за reverse proxy. vox-box start приймає одну модель, тому для підтримки обох напрямків потрібен другий екземпляр на іншому порту з ідентифікатором speech repo.
Спочатку запитайте сервер, яку модель він завантажив, а потім використайте цей ідентифікатор у полі model:
curl http://127.0.0.1:8010/v1/modelscurl http://127.0.0.1:8010/v1/audio/transcriptions \
-H "Content-Type: multipart/form-data" \
-F file="@voice-note.m4a" \
-F model="faster-whisper-small"JSON-тіло у формі {"text": "..."} означає, що весь шлях працює. У разі 404 прочитайте тіло відповіді та перевірте ідентифікатор моделі за допомогою /v1/models. Speaches також повертає 404 для коректної моделі, яка не встановлена локально. Якщо повідомлення про помилку вказує на це, завантажте потрібну модель за допомогою uvx speaches-cli model download MODEL_ID, а потім повторіть запит. Його шлях завантаження — POST /v1/models/{model_id}.
Жоден із цих серверів не вмикає автентифікацію за замовчуванням. Прив’яжіть їх до 127.0.0.1 і підключайтеся до них через VPN або reverse proxy, який запитує облікові дані. Відкритий /v1/audio/transcriptions на публічній IP-адресі дає безкоштовний доступ до CPU кожному, хто його знайде. А такі сервіси обов’язково знайдуть.
Голосовий фронтенд для self-hosted асистента
Коли обидва напрямки відповідають через OpenAI-сумісні шляхи, ними може керувати чат-фронтенд. Open WebUI та його альтернативи у своїх налаштуваннях приймають сумісну з OpenAI базову URL-адресу для аудіо, тому на одному сервері можна запустити локальну LLM з Ollama і замкнути голосовий цикл в обох напрямках.
Реалістично оцініть затримку, оскільки ці три етапи виконуються один за одним на тих самих ядрах. Запит тривалістю 10 секунд потребує приблизно 1.3 секунди для транскрибування за наведеним вище показником 7.6x. І це ще до того, як модель прочитає хоча б один токен. Додайте генерацію токенів на CPU, і повний цикл стане достатньо повільним, щоб тестувальники вирішили, ніби сервіс завис. Пакетне транскрибування на CPU працює комфортно. Для розмови цього недостатньо. Саме на цьому етапі VPS із GPU починає виправдовувати свою ціну.
Коли GPU справді виправданий?
Дані, на яких побудовано графік
[
{
"label": "openai/whisper, fp16",
"x_realtime": 5.5,
"seconds": 143,
"memory_mb": "4,708"
},
{
"label": "faster-whisper, fp16",
"x_realtime": 12.4,
"seconds": 63,
"memory_mb": "4,525"
},
{
"label": "faster-whisper, int8",
"x_realtime": 13.2,
"seconds": 59,
"memory_mb": "2,926"
},
{
"label": "faster-whisper, int8, batch 8",
"x_realtime": 48.8,
"seconds": 16,
"memory_mb": "4,500"
}
]На GPU велика модель у режимі int8 працює зі швидкістю 13.2x від реального часу та використовує 2,926 MB VRAM. У пакетному режимі швидкість зростає до 48.8x. Зверніть увагу на те, чого не показують ці дві діаграми. У них використовуються різні моделі: у рядках для GPU зазначено large-v2, а в рядках для CPU — small. GPU не робить модель small у шість разів швидшою. Він дає змогу використовувати точнішу модель.
Походження цих показників
Обидві діаграми відтворюють результати тестування, опубліковані в README faster-whisper. Для тесту використано один аудіофайл тривалістю 13 хвилин. У рядках для CPU використано 8 потоків процесора Intel Core i7-12700K, а в рядках для GPU — CUDA 12.4 на NVIDIA RTX 3070 Ti з 8 GB VRAM. Значення часу в секундах і обсягу пам’яті взято з опублікованих даних. Стовпець x_realtime обчислено на їх основі: 780 секунд аудіо поділено на виміряний час, результат округлено до одного десяткового знака. У діаграмі для CPU вказано системну RAM, а в діаграмі для GPU — VRAM.
Спільний тариф із vCPU не дасть показників рівня CPU з цього тесту. У тесті 8 потоків швидкого настільного процесора були повністю виділені для одного завдання. Вважайте 7.6x верхньою межею, а потім виміряйте власний сервер за допомогою time на реальному записі, перш ніж планувати роботу з огляду на цей показник.
Чотири практичні правила:
- Періодичне транскрибування власних записів: CPU, small, int8. Почніть із двох виділених vCPU та виміряйте час транскрибування.
- Пакетна обробка вночі, наприклад створення субтитрів: CPU, small або medium, int8, запущені через
nice. - Інтерактивна робота або обробка всієї бібліотеки за один вечір: GPU.
- Piper: завжди CPU. Модель голосу такого розміру майже нічого не виграє від GPU.
Якщо ви визначаєте, які ще завдання може виконувати те саме обладнання, ширше питання про те, які AI-моделі можна розмістити на власному сервері охоплює моделі, які відповідають або не відповідають доступним ресурсам.
Типові причини помилок і відповідні повідомлення
error: externally-managed-environment під час встановлення. Системний Python захищений дистрибутивом. Створіть віртуальне середовище, як описано вище.
Невідповідність cuDNN на GPU-сервері. Помилка має такий вигляд:
Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptorCTranslate2 4.5.0 переніс збірки для CUDA 12 на cuDNN 9, а на хості встановлено cuDNN 8. Встановіть cuDNN 9 або зафіксуйте старішу версію runtime за допомогою pip install --force-reinstall ctranslate2==4.4.0. Виконайте лише одну з цих дій. Якщо виконати обидві, проблема залишиться без змін.
This CTranslate2 package was not compiled with CUDA support — інша помилка з подібними ознаками. Встановлена збірка CTranslate2 не підтримує CUDA. Офіційні wheels для Linux і Windows підтримують виконання на GPU. Перевірте платформу та джерело пакета, а потім встановіть збірку з підтримкою CUDA. Повторне створення того самого середовища з тією самою CPU-only збіркою проблему не усуне.
Повторювані фрази в транскрипті. Речення, яке повторюється десять разів, майже завжди означає, що як мовлення декодується тиша або музика. Спочатку увімкніть vad_filter=True. Якщо це не допомогло, прослухайте фрагмент: майже беззвучний аудіосигнал не дає Whisper достатньо ознак для розпізнавання, тому модель повторює своє останнє впевнене припущення.
Визначено неправильну мову. За замовчуванням faster-whisper визначає мову лише за першим 30-секундним фрагментом. Значення info.language_probability, значно менше за 1.0, означає низьку впевненість. Таке трапляється, коли запис починається з музики або одночасного мовлення кількох людей. Якщо мова вже відома, передайте language="en" або збільште language_detection_segments, щоб перед визначенням мови модель перевірила більше фрагментів.
Процес виводить Killed і завершується. Перевірте dmesg на наявність відповідного рядка про oom-kill, щоб підтвердити, що ядро завершило процес через нестачу пам’яті. large-v3 завантажує понад 3 GB ваг у форматі float16, але int8 зменшує обсяг пам’яті, потрібний під час завантаження. В опублікованому тесті для малої моделі з int8 використовується 1,477 MB RAM, тому на VPS із 2 GB залишається мало пам’яті для операційної системи та інших сервісів.
Piper не може знайти голос. Програвач шукає його в робочому каталозі, якщо не передати --data-dir. Виконайте ls для каталогу, який ви очікуєте, і переконайтеся, що .onnx та .onnx.json присутні обидва. Наявність лише одного з них так само призводить до помилки, як і відсутність обох.
FAQ
Чи можна запускати speech-to-text на VPS лише з CPU?
Так. Для пакетної обробки це практичний варіант. З faster-whisper і моделлю small у режимі int8 опублікований benchmark проєкту транскрибує 13 хвилин аудіо за 102 секунд на 8 потоках настільного i7. Це приблизно 7.6x від реального часу та 1,477 MB RAM. Спільний vCPU працює повільніше, тому виміряйте продуктивність на власному сервері. Синтез мовлення з Piper ще простіший і за будь-яких умов не потребує GPU.
Який розмір моделі Whisper вибрати?
Почніть із small у режимі int8. Вона займає 484 MB на диску та добре обробляє чітко записане мовлення. Перейдіть на medium, якщо акцент або фоновий шум спричиняють помилки, з якими не можна змиритися. large-v3 використовуйте лише тоді, коли точність важливіша за все інше, оскільки їй потрібно 3,090 MB на диску. Використання RAM залежить від типу обчислень і робочого навантаження, тому виміряйте його перед вибором розміру VPS. З іншого боку, tiny на 75.5 MB підходить для визначення мови та тестування конвеєра, але не для транскриптів, які читатиме людина.
Чому faster-whisper працює швидше за оригінальний пакет Whisper?
Модель однакова. Середовище виконання відрізняється. Еталонний пакет запускає Whisper у PyTorch, а faster-whisper використовує ті самі ваги в CTranslate2 — рушії, оптимізованому для inference transformer-моделей. Він квантує ваги під час завантаження та не потребує встановлення PyTorch. В опублікованому CPU benchmark еталонний пакет працює зі швидкістю 1.9x від реального часу, тоді як faster-whisper у режимі int8 — 7.6x, використовуючи менше пам’яті.
Чому мій транскрипт знову й знову повторює те саме речення?
Whisper розпізнає тишу або музику як мовлення та повторно використовує свій останній упевнений результат. Укажіть vad_filter=True у виклику transcribe(). Спочатку він запустить Silero voice activity detection і вилучить ділянки тиші, перш ніж модель їх обробить. Якщо повторення не припинилися, перевірте рівень аудіосигналу. Запис, який майже повністю складається з тиші, не містить даних для роботи моделі.
Як отримати OpenAI-сумісний audio endpoint на власному сервері?
Запустіть сервер, який реалізує POST /v1/audio/transcriptions і POST /v1/audio/speech, а потім укажіть його клієнту через новий base URL. Одним із варіантів є Speaches — container image із CPU build, який використовує faster-whisper для транскрипції, а Piper або Kokoro — для синтезу мовлення. Інший варіант — vox-box. Його встановлюють за допомогою pip install vox-box і запускають командою vox-box start --huggingface-repo-id. Один процес обслуговує одну модель. За замовчуванням жоден із цих варіантів не вмикає authentication, тому прив’яжіть сервіс до localhost і розмістіть перед ним proxy або VPN.