SSD Nodes Learn Hosting plans →

VPS-ல் Whisper மற்றும் Piper மூலம் சொந்தமாக STT, TTS

சொந்த VPS-ல் Whisper மற்றும் Piper கொண்டு STT, TTS சேவைகளை உருவாக்குவது எப்படி? CPU பயன்பாடு, வட்டு இடம் மற்றும் OpenAI-compatible endpoint அமைப்பதற்கான முழுமையான வழிகாட்டி.

சுய-வழங்கி (self-hosted) speech to text மற்றும் TTS: சுருக்கமாக

சுய-வழங்கி speech to text மற்றும் TTS (text to speech) ஆகியவை உங்களுக்குச் சொந்தமான server-ல் இயங்குகின்றன. Transcription-க்கு Whisper-ஐ faster-whisper runtime மூலம் இயக்கலாம். Synthesis-க்கு Piper-ஐப் பயன்படுத்தலாம். இவை இரண்டுமே GPU இல்லாத சாதாரண CPU VPS-ல் செயல்படும். சிறிய Whisper model-க்கு 484 MB வட்டு இடம் தேவைப்படுகிறது. Piper voice என்பது இரண்டு கோப்புகளைக் கொண்டது: ஒரு ONNX model மற்றும் ஒரு சிறிய JSON config. இவை இரண்டும் சேர்ந்து 150 MB-க்கும் குறைவான இடத்தையே பிடிக்கும்.

இதனால்தான் ஆடியோவில் இருந்து தொடங்குவது சிறந்தது. சுய-வழங்கி image generator மற்றும் சுய-வழங்கி video generation ஆகிய இரண்டிற்கும் GPU கட்டாயம் தேவை. ஆடியோவிற்கு அது தேவையில்லை.

இந்த வழிகாட்டி இரண்டு திசைகளையும், அவற்றை இணைக்கும் அடுக்கையும் விளக்குகிறது. Whisper ஆடியோவை உரையாக மாற்றுகிறது. Piper உரையை ஆடியோவாக மாற்றுகிறது. இவை இரண்டிற்கும் முன்னால் ஒரு OpenAI-compatible HTTP server-ஐ வைப்பதன் மூலம், ஏற்கனவே உள்ள client-களை base URL-ஐ மட்டும் மாற்றி உங்கள் server-க்கு இணைக்க முடியும்.

இங்குள்ள கட்டளைகளில் குறிப்பிடப்பட்டுள்ள ஒவ்வொரு version-ம் அக்டோபர் 11, 2026 அன்று அந்தந்த திட்டத்தின் release பக்கத்தில் சரிபார்க்கப்பட்டது. தோல்வி முறைகளின் கீழ் குறிப்பிடப்பட்டுள்ள CTranslate2 version-கள் இணக்கத்தன்மைக்கான குறியீடுகள் மட்டுமே, தற்போதைய வெளியீடுகள் அல்ல.

ஏன் faster-whisper, reference Whisper package அல்ல?

OpenAI-ன் whisper package, model-ஐ PyTorch-ல் இயக்குகிறது. faster-whisper அதே model weights-ஐ CTranslate2-ல் இயக்குகிறது; இது transformer model-களுக்காகவே உருவாக்கப்பட்ட inference engine ஆகும். model ஒன்றுதான், ஆனால் quantization மற்றும் decoding அமைப்புகள் transcript-ஐ மாற்றும். கீழே அளவிடப்பட்ட வேக வித்தியாசத்திற்கு இந்த runtime-தான் காரணம்.

CTranslate2, weights-ஐ ஏற்றும்போதே quantize செய்கிறது; இதனால்தான் compute_type="int8" என்பது ஒரு தனி conversion படிநிலை இல்லாமல், ஒரு argument-ஆக உள்ளது. இதற்கு PyTorch dependency-ம் இல்லை. pip install faster-whisper, CTranslate2, ஒரு tokenizer மற்றும் ஆடியோ decoding-க்கான PyAV ஆகியவற்றை இழுப்பதால், virtual environment பல gigabytes-க்கு பதிலாக சில நூறு megabytes-ல் முடிந்துவிடும். 40 GB வட்டு கொண்ட VPS-ல், இது வசதியான செயல்பாட்டிற்கும் இட நெருக்கடிக்கும் இடையிலான வித்தியாசமாகும்.

CPU-ல் small model-க்கான அந்தந்த திட்டத்தின் அதிகாரப்பூர்வ புள்ளிவிவரங்கள் இதோ. இந்த benchmark, Intel Core i7-12700K-ல் 8 threads-ஐப் பயன்படுத்தி 13 நிமிட ஆடியோவை transcribe செய்கிறது. x_realtime column என்பது 13 நிமிடங்களை அளவிடப்பட்ட நேரத்தால் வகுப்பதாகும்: 7.6 என்பது 13 நிமிடப் பதிவை 1 நிமிடம் 40 வினாடிகளுக்கு மேல் முடிப்பதைக் குறிக்கிறது.

விளக்கப்படம்Whisper small on CPU, 13 minutes of audio (published project figures)
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

இரண்டாவது வரிசையை கவனமாகப் பார்க்கவும். fp32-ல், இந்த CPU-ல் whisper.cpp, faster-whisper-ஐ விட வேகமானது (6.2x எதிராக 5.0x), மேலும் இது பாதிக்கும் குறைவான நினைவகத்தையே பயன்படுத்துகிறது. இது local LLM stack-ன் llama.cpp பகுதிக்கு பின்னால் இருக்கும் அதே ggml குடும்பத்தைச் சேர்ந்தது. int8 மற்றும் batching செயல்பாட்டில் இருக்கும்போது faster-whisper முன்னிலை பெற்று 15.3x வேகத்தை எட்டுகிறது, இதற்கு 3,608 MB RAM தேவைப்படுகிறது. எனவே: Python API மற்றும் batching தேவைப்பட்டால் faster-whisper-ஐத் தேர்வு செய்யவும், RAM குறைவாக இருந்தால் whisper.cpp-ஐத் தேர்வு செய்யவும்.

முதல் வரிசைதான் இந்த பகுதியின் முக்கிய நோக்கம். reference package அதே இயந்திரத்தில் 1.9x real time வேகத்தில் இயங்குகிறது, அதாவது ஒரு மணிநேர ஆடியோவை முடிக்க அரை மணிநேர CPU தேவைப்படுகிறது.

Whisper model weights-க்கு எவ்வளவு disk இடம் தேவை?

விளக்கப்படம்faster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

இவை float16 வடிவில் வெளியிடப்பட்ட CTranslate2 conversions ஆகும். compute_type="int8" எதைச் செய்யாது என்பதைக் கவனிக்கவும்: இது download அளவைக் குறைக்காது. weights float16 வடிவிலேயே தரவிறக்கம் செய்யப்படுகின்றன; CTranslate2 அவற்றை load செய்யும்போதுதான் memory-ல் quantize செய்கிறது. எனவே, நீங்கள் float16 அல்லது int8 எதில் இயக்கினாலும், large-v3 மாடலுக்கு disk-ல் 3,090 MB இடம் தேவைப்படும். int8 என்பது RAM மற்றும் வேகத்தை மட்டுமே மேம்படுத்தும், disk இடத்தை அல்ல.

முதல்முறை பயன்படுத்தும்போது மாடல்கள் ~/.cache/huggingface/hub-க்குள் தரவிறக்கம் செய்யப்படும். சிறிய root volume கொண்ட VPS-ல், download_root argument அல்லது HF_HOME environment variable-ஐப் பயன்படுத்தி, அதிக இடவசதி உள்ள இடத்திற்கு இதை மாற்றவும். இல்லையெனில், முதல்முறை இயக்கும்போதே disk நிறைந்து, தரவிறக்கம் பாதியிலேயே நின்று process செயலிழந்துவிடும்.

system Python-ஐ பாதிக்காமல் faster-whisper-ஐ நிறுவுதல்

Ubuntu 24.04 மற்றும் Debian 13 ஆகிய இயங்குதளங்கள், system Python-ஐ வெளிப்புறமாக நிர்வகிக்கப்படும் (externally managed) ஒன்றாகக் கருதுகின்றன. ஒரு virtual environment-க்கு வெளியே pip install faster-whisper-ஐ இயக்கினால், அது உடனடியாக நின்றுவிடும்:

error: externally-managed-environment

இது apt-க்குச் சொந்தமான கோப்புகளைப் பாதுகாக்கும் packaging system-ன் செயலாகும். எனவே, ஒரு virtual environment-ஐப் பயன்படுத்தவும்.

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

பதிப்பு 1.2.1 என்பது அக்டோபர் 2025-ல் வெளியிடப்பட்ட தற்போதைய release ஆகும். faster-whisper, PyAV வழியாக ஆடியோவை decode செய்கிறது. இது தனக்கென ffmpeg libraries-ஐக் கொண்டுள்ளதால், தனி ffmpeg binary இல்லாமலேயே mp3 அல்லது m4a கோப்புகளை வாசிக்க முடியும். மேலே உள்ள ffmpeg package, இந்த வழிகாட்டியின் பிற்பகுதியில் வரும் வீடியோ பணிகளுக்காக வழங்கப்பட்டுள்ளது.

மூன்று gigabytes எடையுள்ள weights-ஐப் பதிவிறக்கும் முன், நிறுவல் சரியாக உள்ளதா எனச் சரிபார்க்கவும்:

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

ok என்று ஒரு வரி காட்டப்பட்டால், wheels சரியாக நிறுவப்பட்டுள்ளன என்று அர்த்தம். ctranslate2-ஐக் குறிப்பிடும் ImportError பிழை வந்தால், runtime விடுபட்டுள்ளது அல்லது அதன் compiled library ஏற்றப்படவில்லை என்று பொருள்; பிழைச் செய்தியின் மீதிப் பகுதி அதற்கான காரணத்தைக் கூறும். 32-bit ARM images-ல் CTranslate2 wheel கிடையாது, எனவே அங்கு நிறுவலின்போதே pip தோல்வியடையும்.

கூட்டப் பதிவு அல்லது குரல் குறிப்பை எழுத்து வடிவில் மாற்றுதல்

இதை transcribe.py ஆகச் சேமிக்கவும்:

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

இதை ~/stt/bin/python transcribe.py மூலம் இயக்கவும். முதல் முறை இயக்கும்போது weights தரவிறக்கம் செய்யப்படும், எனவே சிறிது நேரம் எந்த வெளியீடும் வராது. அதன் பிறகு, model cache-லிருந்து சில நொடிகளில் load ஆகிவிடும்.

segments ஒரு generator என்பதால், நீங்கள் அதை iterate செய்யும் வரை transcription தொடங்காது. பலர் transcribe() அழைப்பை நேரத்தைக் கணக்கிட்டுப் பார்த்துவிட்டு, அது உடனடியாக முடிந்துவிடுவதால் ஏதோ தவறு என்று நினைக்கிறார்கள். எந்தத் தவறும் இல்லை. loop-க்குள் தான் வேலை நடக்கிறது.

vad_filter=True முதலில் Silero VAD (voice activity detection)-ஐ இயக்கி, Whisper-க்கு அனுப்பும் முன் அமைதியான பகுதிகளை நீக்கிவிடும். நீண்ட இடைவெளிகள் கொண்ட கூட்டப் பதிவுகளில், இதுவே வேகத்தை அதிகரிக்கும் மிக முக்கியமான வழியாகும், ஏனெனில் பேச்சில்லாத ஆடியோவில் Whisper நேரத்தை வீணடிக்காது. இது, அமைதியான ஆடியோவை உள்ளீடாகப் பெறும்போது Whisper மீண்டும் மீண்டும் ஒரே வாக்கியத்தை உருவாக்கும் சிக்கலையும் தவிர்க்கிறது.

cpu_threads-ஐ உங்களிடம் உள்ள உண்மையான cores எண்ணிக்கைக்கு அமைக்கவும். உங்கள் vCPU எண்ணிக்கையை விட அதிகமாக அமைத்தால் transcription வேகம் குறையும், ஏனெனில் கூடுதல் threads ஒரே core-க்காகப் போட்டியிடும் மற்றும் scheduler ஒவ்வொரு switch-க்கும் கூடுதல் சுமையைச் சுமக்க வேண்டியிருக்கும்.

Jellyfin library-க்கான Subtitles

Jellyfin, வீடியோ கோப்புக்கு அருகிலேயே இருக்கும் மற்றும் அதே பெயரைக் கொண்ட external subtitle கோப்புகளை வாசிக்கும். எனவே, Movie (2019).en.srt-ஐ Movie (2019).mkv-க்கு அருகில் வைத்தால், library-ஐ மீண்டும் உருவாக்காமலேயே அது ஒரு English track-ஆகத் தோன்றும். ஒரு குறிப்பிட்ட client அதை நேரடியாக இயக்குமா, அல்லது server அதை remux செய்து வீடியோவுடன் இணைக்குமா (burn) என்பது அந்த client-ன் வசதிகளைப் பொறுத்தது.

முதலில் ஆடியோவை பிரித்தெடுக்கவும். Whisper உள்முகமாக அனைத்தையும் 16 kHz mono-க்கு resample செய்கிறது. எனவே, 16 kHz mono கோப்பை வழங்குவது இரு தரப்பிலும் வேலையைக் குறைக்கும்:

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper-ல் SRT writer கிடையாது, எனவே segments-ஐ நீங்களே format செய்யவும். இதை srt.py எனச் சேமிக்கவும்:

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

பிறகு library-ஐ முழுமையாகச் சோதிக்கவும்:

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin, ffmpeg-ன் keyboard interaction-ஐ முடக்குகிறது. இது standard input-லிருந்து கோப்புப் பெயர்களை வாசிக்கும் loop-க்குள் ffmpeg இயங்கும்போது, அது கோப்புப் பெயர்களைத் தவறாக எடுத்துக்கொள்வதையும் தடுக்கிறது. மேலே உள்ள glob-அடிப்படையிலான loop, அதன் கோப்புப் பட்டியலை standard input-லிருந்து வாசிப்பதில்லை.

தொடங்குவதற்கு முன் நேரத்தைக் கணக்கிடுங்கள். மேலே உள்ள 7.6x வேகத்தில், 100 நிமிடத் திரைப்படத்திற்குத் தோராயமாக 13 நிமிட CPU தேவைப்படும். எனவே, 50 திரைப்படங்கள் கொண்ட library-ஐ முடிக்க ஒரு இரவு முழுவதும் ஆகும். பகிரப்பட்ட vCPU திட்டத்தில் இது இன்னும் மெதுவாக இருக்கும், அதற்காகவே nice பயன்படுத்தப்படுகிறது: இது subtitle உருவாக்கும் பணியை, அந்த server-ல் நடக்கும் பிற முக்கியமான பணிகளுக்கு முன்னுரிமை அளித்துச் செயல்பட வைக்கும்.

Piper மூலம் Text to speech

Piper என்பது CPU-வில் ONNX voice model-ஐ இயக்கும் ஒரு neural text to speech engine ஆகும். இது உரையை phonemes-ஆக மாற்ற espeak-ng-ஐ உள்ளடக்கியுள்ளது, எனவே தனியாக phonemizer எதையும் நிறுவ வேண்டியதில்லை. தற்போதைய release 1.8.0, இது September 2026-ல் வெளியிடப்பட்டது.

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices வேலை செய்யும் directory-க்குள் இரண்டு கோப்புகளை உருவாக்குகிறது: .onnx weights மற்றும் sample rate மற்றும் speaker பட்டியலைக் கொண்ட .onnx.json config. இவை இரண்டும் ஒன்றாகவே இருக்க வேண்டும். நீங்கள் குரல் கோப்புகளை ஒரு குறிப்பிட்ட இடத்தில் வைத்திருந்தால், --data-dir-ஐ இரண்டு கட்டளைகளுக்கும் அனுப்பவும், இல்லையெனில் player வேலை செய்யும் directory-ல் தேடும், அங்கு குரல் கோப்பு இல்லையெனில் அதைக் கண்டறிய முடியாது.

உரைக்கு முன்னால் உள்ள -- முக்கியமானது. இது உரையை command-line விருப்பங்களிலிருந்து பிரிக்கிறது, குறிப்பாக hyphen-ல் தொடங்கும் வாக்கியங்கள் கட்டளைகளாகத் தவறாகப் புரிந்துகொள்ளப்படுவதைத் தவிர்க்கிறது.

குரல்கள் பல்வேறு தர நிலைகளில் கிடைக்கின்றன. ஒரு நடுத்தர ஆங்கிலக் குரல் சுமார் 60 MB இருக்கும், உயர்தரக் குரல் அதன் இருமடங்கு இருக்கும். உயர்தரம் என்பது பெரிய model மற்றும் ஒரு வினாடி பேச்சுக்கு அதிக CPU பயன்பாடு, இது வேறொரு பேச்சாளரைக் குறிப்பதல்ல.

CLI-ஐ ஒரு loop-க்குள் அழைக்க வேண்டாம். இது ஒவ்வொரு முறையும் model-ஐ ஏற்றுகிறது, குறுகிய வாக்கியங்களுக்கு model-ஐ ஏற்றுவதே அதிக நேரத்தை எடுத்துக்கொள்ளும். அதற்குப் பதிலாக HTTP server-ஐ இயக்கவும்:

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

நீங்கள் ஒலிக்கக்கூடிய ஒரு test.wav இருந்தால், அது வேலை செய்கிறது என்று அர்த்தம். அந்த endpoint Piper-ன் சொந்த வடிவம், OpenAI-யினுடையது அல்ல, எனவே /v1/audio/speech-ஐ எதிர்பார்க்கும் client அதனுடன் தொடர்பு கொள்ளாது. அடுத்த பகுதி இதைச் சரிசெய்கிறது.

நீங்கள் மூடிவிடும் terminal-க்கு பதிலாக unit file மூலம் இதைத் தொடர்ந்து இயக்கவும். இந்த unit, Piper-ஐ login வசதி இல்லாத piper பயனர் கணக்கில், அந்தப் பயனரின் home directory-லிருந்து இயக்குகிறது, எனவே இந்த service உங்கள் கணக்கைச் சார்ந்திருக்காது. பயனரை உருவாக்கி, Piper மற்றும் குரல் கோப்பை அங்கு நிறுவவும்:

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

உங்கள் terminal-ல் தொடங்கிய server-ஐ நிறுத்திவிட்டு, unit-ஐ எழுதவும்:

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper இதைத் தொடங்குகிறது மற்றும் reboot-க்குப் பிறகு மீண்டும் கொண்டு வருகிறது. மேலே உள்ள curl எதையும் காட்டவில்லை என்றால், journalctl -u piper -n 50 அதற்கான காரணத்தைக் கொண்டிருக்கும், பெரும்பாலும் குரல் கோப்பு விடுபட்டிருப்பதே காரணமாக இருக்கும்.

OpenAI-இணக்கமான server வடிவம்

ஆடியோவைக் கையாளும் பெரும்பாலான மென்பொருட்கள் ஏற்கனவே OpenAI ஆடியோ API-ஐ ஆதரிக்கின்றன: கோப்பிற்காக /v1/audio/transcriptions-க்கு ஒரு multipart POST, வாக்கியத்திற்காக /v1/audio/speech-க்கு ஒரு JSON POST. இந்த இரண்டு பாதைகளையும் நீங்களே வழங்கினால், client-ல் அதன் base URL-ஐ மட்டும் மாற்றினால் போதுமானது.

Speaches என்பது இரண்டு திசைகளிலும் செயல்படும் ஒரு server ஆகும். இது transcription-க்காக faster-whisper-ஐயும், பேச்சுக்காக Piper அல்லது Kokoro-வையும் OpenAI பாதைகளுக்குப் பின்னால் இயக்குகிறது. தற்போதைய release v0.9.0-rc.3 (டிசம்பர் 2025), இது இன்னும் 1.0-ஐ அடையவில்லை. எனவே, உங்கள் image tag-ஐ pin செய்துவிட்டு, upgrade செய்வதற்கு முன் release notes-ஐப் படிக்கவும்.

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

நீங்கள் compose கோப்புகளைப் பராமரிக்க விரும்பவில்லை என்றால், single-container வடிவத்தைப் பயன்படுத்தலாம்:

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

Named volume-ஐ உருவாக்குவதைத்தான் பலரும் மறந்துவிடுகிறார்கள். அது இல்லையென்றால், model cache container-க்கு உள்ளேயே இருக்கும்; எனவே container-ஐ நீக்கிவிட்டு மீண்டும் உருவாக்கினால், தரவிறக்கம் செய்யப்பட்ட weights அழிந்துவிடும். அதே container-ஐ restart செய்தால் அவை அப்படியே இருக்கும்.

/v1/audio/speech பதிலளிப்பதற்கு முன், Speech-க்கு ஒரு குரல் (voice) தரவிறக்கம் செய்யப்பட வேண்டும்:

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

அதன்பிறகு, base URL-ஐ மாற்றினால் எந்தவொரு OpenAI client-ம் வேலை செய்யும்:

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

api_key என்ற placeholder அவசியம், ஏனெனில் OpenAI client library அதைத் தவிர்த்து கோரிக்கையை அனுப்ப மறுத்துவிடும். நீங்கள் உண்மையான key-ஐ configure செய்யும் வரை server அதன் மதிப்பை அலட்சியப்படுத்தும்.

vox-box என்பது இங்கே குறிப்பிட வேண்டிய மற்றொரு project. இது container-க்கு பதிலாக ஒரு Python package ஆகும். இது Whisper, FunASR, Bark, Dia அல்லது CosyVoice ஆகியவற்றைப் பயன்படுத்தி அதே பாதைகளை வழங்குகிறது. தற்போதைய பதிப்பு 0.0.21 (டிசம்பர் 2025), இதற்கு Python 3.10 அல்லது அதற்கு மேற்பட்ட பதிப்பு தேவை.

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

இந்த project-ன் உதாரணம் port 80-ஐப் பயன்படுத்துகிறது, இதற்கு root அல்லது CAP_NET_BIND_SERVICE capability தேவை. வேறு பணிகள் நடக்கும் server-ல், reverse proxy-க்கு பின்னால் ஒரு high port-ஐப் பயன்படுத்துவதே சிறந்த முறையாகும். vox-box start ஒரு model-ஐ மட்டுமே ஏற்கும், எனவே இரண்டு திசைகளையும் கையாள, speech repo id-உடன் இரண்டாவது port-ல் மற்றொரு instance-ஐ இயக்க வேண்டும்.

Server என்னவற்றை load செய்துள்ளது என்று கேட்டு, அந்த id-ஐ model field-ல் பயன்படுத்தவும்:

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

{"text": "..."} வடிவிலான JSON body கிடைத்தால், அந்தப் பாதை சரியாக வேலை செய்கிறது என்று அர்த்தம். 404 பிழை வந்தால், response body-ஐப் படித்து, model id-ஐ /v1/models உடன் ஒப்பிட்டுப் பார்க்கவும். உள்ளூரில் நிறுவப்படாத சரியான model-க்கும் Speaches 404 பிழையைத் தரும். பிழை அவ்வாறு குறிப்பிட்டால், uvx speaches-cli model download MODEL_ID மூலம் தேவையான model-ஐத் தரவிறக்கம் செய்துவிட்டு மீண்டும் முயற்சிக்கவும். அதன் download route POST /v1/models/{model_id} ஆகும்.

இந்த servers எதிலும் authentication இயல்பாகவே (default) இருக்காது. அவற்றை 127.0.0.1-ல் bind செய்து, VPN அல்லது credentials கேட்கும் reverse proxy வழியாக அணுகவும். பொதுவான IP-ல் திறந்திருக்கும் /v1/audio/transcriptions என்பது, அதைக் கண்டுபிடிப்பவர்களுக்கு இலவச CPU வளமாகும்; அவர்கள் நிச்சயமாக அதைக் கண்டுபிடிப்பார்கள்.

சுய-வழங்கி (self-hosted) உதவியாளருக்கான குரல் இடைமுகம் (voice front end)

OpenAI பாதைகளில் இரு திசைகளிலும் பதில் கிடைத்தவுடன், ஒரு chat front end மூலம் அவற்றை இயக்க முடியும். Open WebUI மற்றும் அதன் மாற்றுகள் அவற்றின் அமைப்புகளில் ஆடியோவிற்கான OpenAI-இணக்கமான base URL-ஐ ஏற்றுக்கொள்கின்றன. எனவே, ஒரே பெட்டியில் Ollama மூலம் local LLM-ஐ இயக்கலாம் மற்றும் குரல் சுழற்சியை (voice loop) இரு முனைகளிலும் முடிக்கலாம்.

தாமதத்தை (latency) சரியாகக் கணக்கிடுங்கள், ஏனெனில் இந்த மூன்று படிகளும் ஒரே cores-ல் அடுத்தடுத்து இயங்குகின்றன. 10 வினாடி கேள்வியை transcribe செய்ய, மேலே உள்ள 7.6x விகிதத்தில் சுமார் 1.3 வினாடிகள் ஆகும். இது model ஒரு token-ஐக் கூட வாசிப்பதற்கு முன்பே நடக்கும் நிகழ்வு. இதனுடன் CPU token generation-ஐச் சேர்த்தால், round trip மிகவும் மெதுவாக இருக்கும்; இதனால் சோதனையாளர்கள் அது செயலிழந்துவிட்டதாக (crashed) நினைக்கக்கூடும். Batch transcription-ஐ CPU-வில் செய்வது எளிது. ஆனால் உரையாடலுக்கு இது உகந்ததல்ல; அந்த இடத்தில்தான் GPU கொண்ட VPS அதன் விலைக்கு ஏற்ற பலனைத் தருகிறது.

GPU எப்போது அவசியமாகிறது?

விளக்கப்படம்Whisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

GPU-வில், int8 அளவில் உள்ள பெரிய model 13.2x real time வேகத்தில், 2,926 MB VRAM-க்குள் இயங்குகிறது. Batching செய்யும்போது இது 48.8x வேகத்தை எட்டுகிறது. இந்த இரண்டு வரைபடங்களும் எதைச் சொல்லவில்லை என்பதை கவனமாகப் பார்க்கவும். இவை வெவ்வேறு model-களைப் பயன்படுத்துகின்றன: GPU வரிசைகள் large-v2 model-ஐயும், CPU வரிசைகள் small model-ஐயும் பயன்படுத்துகின்றன. GPU, small model-ஐ ஆறு மடங்கு வேகமாக்குவதில்லை; மாறாக, துல்லியமான model-ஐப் பயன்படுத்தக்கூடிய நிலைக்குக் கொண்டுவருகிறது.

இந்த எண்கள் எங்கிருந்து பெறப்பட்டன

இரண்டு வரைபடங்களும் faster-whisper README-ல் வெளியிடப்பட்ட benchmark-ஐ அடிப்படையாகக் கொண்டவை. இதில் பயன்படுத்தப்பட்ட audio 13 நிமிட நீளம் கொண்ட ஒரு கோப்பு. CPU வரிசைகள் Intel Core i7-12700K-ல் 8 threads-ஐப் பயன்படுத்தின; GPU வரிசைகள் NVIDIA RTX 3070 Ti (8 GB VRAM) மற்றும் CUDA 12.4-ஐப் பயன்படுத்தின. Seconds மற்றும் memory நெடுவரிசைகள் வெளியிடப்பட்ட தரவுகள். x_realtime நெடுவரிசை என்பது 780 வினாடி audio-வை அளவிடப்பட்ட நேரத்தால் வகுத்து, ஒரு தசம இடத்திற்குத் திருத்தப்பட்ட கணக்கீடு ஆகும். Memory நெடுவரிசை, CPU வரைபடத்திற்கு system RAM-ஐயும், GPU வரைபடத்திற்கு VRAM-ஐயும் குறிக்கிறது.

Shared vCPU திட்டம் இந்த CPU அளவுகளை எட்டாது. அந்த benchmark ஒரு வேகமான desktop processor-ன் 8 threads-ஐ முழுமையாகப் பயன்படுத்தியது. 7.6x என்பதை உச்ச வரம்பாகக் கருதுங்கள். எதையும் திட்டமிடுவதற்கு முன், உங்கள் சொந்த server-ல் time-ஐப் பயன்படுத்தி ஒரு உண்மையான recording-ல் சோதித்துப் பாருங்கள்.

நடைமுறையில் பின்பற்ற வேண்டிய நான்கு விதிகள்:

  • உங்கள் சொந்த recording-களை அவ்வப்போது transcription செய்வது: CPU, small, int8. இரண்டு dedicated vCPU-க்களுடன் தொடங்கி, transcription நேரத்தை அளவிடுங்கள்.
  • இரவு நேர batch வேலைகள் (உதாரணமாக, subtitle உருவாக்குதல்): CPU, small அல்லது medium, int8, nice-ல் இயக்கும்படி அமைக்கவும்.
  • Interactive பயன்பாடு அல்லது ஒரே இரவில் முழு library-யையும் செயலாக்குவது: GPU.
  • Piper: எப்போதும் CPU. இந்த அளவுள்ள voice model-க்கு GPU-வினால் பெரிய பயன் ஏதுமில்லை.

ஒரே hardware-ல் வேறு என்னென்ன பணிகளைச் செய்ய முடியும் என்று நீங்கள் ஆராய்கிறீர்கள் என்றால், எந்தெந்த AI model-களை நீங்களே host செய்ய முடியும் என்ற விரிவான கேள்வி எந்தெந்த அளவுகள் பொருந்தும், எவை பொருந்தாது என்பதை விளக்குகிறது.

தோல்வி முறைகள் மற்றும் நீங்கள் காணும் செய்திகள்

நிறுவலின் போது error: externally-managed-environment. கணினியின் Python விநியோகத்தால் பாதுகாக்கப்படுகிறது. மேலே காட்டப்பட்டுள்ளபடி ஒரு virtual environment-ஐ உருவாக்கவும்.

GPU பெட்டியில் cuDNN பொருந்தாமை. இந்தத் தோல்வி இவ்வாறு தோன்றும்:

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 அதன் CUDA 12 உருவாக்கங்களை cuDNN 9-க்கு மாற்றியுள்ளது, ஆனால் ஹோஸ்டில் cuDNN 8 உள்ளது. cuDNN 9-ஐ நிறுவவும் அல்லது pip install --force-reinstall ctranslate2==4.4.0 மூலம் பழைய runtime-ஐ நிலைநிறுத்தவும் (pin). இரண்டில் ஒன்றைச் செய்யவும். இரண்டையும் செய்தால் மீண்டும் பழைய நிலைக்குச் சென்றுவிடுவீர்கள்.

This CTranslate2 package was not compiled with CUDA support என்பது ஒத்த உணர்வைக் கொண்ட ஒரு மாறுபட்ட பிழையாகும். நிறுவப்பட்ட CTranslate2 உருவாக்கத்தில் CUDA ஆதரவு இல்லை. அதிகாரப்பூர்வ Linux மற்றும் Windows wheels GPU செயல்பாட்டை ஆதரிக்கின்றன; தளத்தையும் தொகுப்பு மூலத்தையும் சரிபார்த்து, CUDA-இயக்கப்பட்ட உருவாக்கத்தை நிறுவவும். அதே CPU-மட்டும் கொண்ட உருவாக்கத்துடன் அதே சூழலை மீண்டும் உருவாக்குவது இதைச் சரிசெய்யாது.

டிரான்ஸ்கிரிப்டில் மீண்டும் மீண்டும் வரும் சொற்றொடர்கள். ஒரு வாக்கியம் பத்து முறை சுழல்கிறது என்றால், அது பெரும்பாலும் மௌனம் அல்லது இசையை பேச்சாகத் தவறாகப் புரிந்துகொள்வதாகும். முதலில் vad_filter=True-ஐ இயக்கவும். அதன் பிறகும் இது தொடர்ந்தால், அந்தப் பகுதியைச் செவிமடுக்கவும்: மிகக் குறைந்த ஒலியுள்ள ஆடியோவில் Whisper எதையும் பற்றிக்கொள்ள முடியாது, எனவே அது கடைசியாக உறுதியாகக் கணித்ததை மீண்டும் மீண்டும் கூறுகிறது.

தவறான மொழி கண்டறியப்பட்டது. முன்னிருப்பாக, faster-whisper முதல் 30 வினாடி சாளரத்திலிருந்து மட்டுமே மொழியைக் கணிக்கிறது. 1.0-க்குக் கீழே உள்ள info.language_probability என்பது அது உறுதியற்ற நிலையில் இருந்ததைக் குறிக்கிறது, இது ஒரு பதிவு இசை அல்லது குறுக்கீட்டுப் பேச்சுகளுடன் தொடங்கும்போது நிகழ்கிறது. உங்களுக்கு ஏற்கனவே விடை தெரிந்தால் language="en"-ஐ வழங்கவும் அல்லது language_detection_segments-ஐ அதிகரிக்கவும், இதனால் அது முடிவெடுப்பதற்கு முன் கூடுதல் சாளரங்களை ஆய்வு செய்யும்.

செயல்முறை Killed என்று அச்சிட்டு நின்றுவிடுகிறது. கர்னல் நினைவகம் தீர்ந்ததால் அதை நிறுத்தியதா என்பதை உறுதிப்படுத்த dmesg-ல் oom-kill வரியைச் சரிபார்க்கவும். large-v3 3 GB-க்கும் அதிகமான float16 எடைகளைத் தரவிறக்கம் செய்கிறது, ஆனால் int8 ஏற்றப்படும் நேரத்தில் அவற்றின் நினைவகத் தேவையை குறைக்கிறது. வெளியிடப்பட்ட small-model int8 அளவுகோல் 1,477 MB RAM-ஐப் பயன்படுத்துகிறது, எனவே 2 GB VPS-ல் இயங்குதளத்திற்கும் பிற சேவைகளுக்கும் மிகக் குறைந்த இடமே உள்ளது.

Piper-ஆல் குரலைக் கண்டறிய முடியவில்லை. நீங்கள் --data-dir-ஐ வழங்காதவரை, பிளேயர் தற்போதைய பணி அடைவில் (working directory) தேடும். நீங்கள் எதிர்பார்க்கும் அடைவில் ls-ஐ இயக்கவும் மற்றும் .onnx மற்றும் .onnx.json ஆகிய இரண்டும் அங்கு இருப்பதை உறுதிப்படுத்தவும், ஏனெனில் ஒன்றில்லாமல் மற்றொன்று இருப்பது தோல்வியிலேயே முடியும்.

FAQ

CPU-மட்டும் கொண்ட VPS-ல் speech to text-ஐ இயக்க முடியுமா?

ஆம், batch வேலைகளுக்கு இதுவே சரியான தேர்வு. int8-ல் சிறிய model-ஐப் பயன்படுத்தி faster-whisper-ஐ இயக்கும்போது, அந்தத் திட்டத்தின் அதிகாரப்பூர்வ benchmark, 13 நிமிட ஆடியோவை desktop i7-ன் 8 threads-ல் 102 வினாடிகளில் transcribe செய்கிறது. இது சுமார் 7.6x real time வேகம் மற்றும் 1,477 MB RAM பயன்பாடு ஆகும். பகிரப்பட்ட vCPU திட்டம் இதைவிட மெதுவாக இயங்கும், எனவே உங்கள் server-ல் அளந்து பார்க்கவும். Piper மூலம் text to speech செய்வது இன்னும் எளிது, இதற்கு எந்தச் சூழலிலும் GPU தேவையில்லை.

எந்த Whisper model அளவைப் பயன்படுத்த வேண்டும்?

int8-ல் small model-ல் தொடங்கவும். இது வட்டில் 484 MB இடத்தைப் பிடிக்கும் மற்றும் தெளிவான ஆடியோக்களை நன்றாகக் கையாளும். உச்சரிப்பு அல்லது பின்னணி இரைச்சலால் பிழைகள் ஏற்பட்டால் medium model-க்கு மாறவும். துல்லியம் மிக முக்கியம் என்றால் மட்டுமே large-v3-ஐப் பயன்படுத்தவும், ஏனெனில் அதற்கு 3,090 MB வட்டு இடம் தேவை. அதன் RAM பயன்பாடு compute type மற்றும் workload-ஐப் பொறுத்தது, எனவே VPS அளவைத் தேர்ந்தெடுக்கும் முன் அதைச் சரிபார்க்கவும். tiny model (75.5 MB) மொழி கண்டறிதலுக்கும், pipeline-ஐச் சோதிக்கவும் பயன்படும்; மனிதர்கள் படிக்கும் transcript-களுக்கு இது ஏற்றதல்ல.

ஏன் faster-whisper, அசல் Whisper package-ஐ விட வேகமானது?

model ஒன்றுதான், ஆனால் runtime வேறு. reference package, Whisper-ஐ PyTorch-ல் இயக்குகிறது. faster-whisper அதே weights-ஐ CTranslate2-ல் இயக்குகிறது; இது transformer inference-க்காக உருவாக்கப்பட்ட engine ஆகும், இது ஏற்றும்போதே weights-ஐ quantize செய்கிறது மற்றும் PyTorch தேவையில்லை. அதிகாரப்பூர்வ CPU benchmark-ல், reference package 1.9x real time வேகத்திலும், faster-whisper (int8) 7.6x வேகத்திலும், குறைந்த நினைவகப் பயன்பாட்டிலும் இயங்குகின்றன.

ஏன் எனது transcript ஒரே வாக்கியத்தை மீண்டும் மீண்டும் சொல்கிறது?

Whisper அமைதி அல்லது இசையை பேச்சாகத் தவறாகப் புரிந்துகொண்டு, அதன் கடைசி நம்பிக்கையான யூகத்தை மீண்டும் மீண்டும் சொல்கிறது. transcribe() அழைப்பில் vad_filter=True-ஐ அமைக்கவும்; இது முதலில் Silero voice activity detection-ஐ இயக்கி, model-க்குச் செல்லும் முன் அமைதியான பகுதிகளை நீக்கிவிடும். அப்படியும் மீண்டும் மீண்டும் வந்தால், ஆடியோ அளவைச் சரிபார்க்கவும்; ஏனெனில் ஆடியோ முழுவதும் கிட்டத்தட்ட அமைதியாக இருந்தால் model-க்குச் செயலாக்கத் தரவுகள் இருக்காது.

எனது சொந்த server-ல் OpenAI-compatible audio endpoint-ஐப் பெறுவது எப்படி?

POST /v1/audio/transcriptions மற்றும் POST /v1/audio/speech-ஐச் செயல்படுத்தும் server-ஐ இயக்கவும், பின் client-ல் புதிய base URL-ஐக் குறிப்பிடவும். Speaches ஒரு விருப்பமாகும்; இது CPU build கொண்ட container image-ஆக வெளியிடப்பட்டுள்ளது, transcription-க்கு faster-whisper-ஐயும், பேச்சுக்கு Piper அல்லது Kokoro-வையும் பயன்படுத்துகிறது. vox-box மற்றொன்று; இது pip install vox-box மூலம் நிறுவப்பட்டு vox-box start --huggingface-repo-id மூலம் தொடங்கப்படுகிறது, இது ஒரு process-க்கு ஒரு model-ஐ வழங்குகிறது. இவை எதிலும் இயல்பாக authentication இருக்காது, எனவே localhost-ல் bind செய்து, முன்னால் ஒரு proxy அல்லது VPN-ஐ வைக்கவும்.

இந்தக் கட்டுரை பயனுள்ளதாக இருந்ததா?

#whisper#tts#piper#speech-to-text#self-hosted-ai