SSD Nodes Learn Hosting plans →
คู่มือ Matt Connorโดย Matt Connor

วิธีรัน Speech-to-Text และ TTS บน VPS ด้วยตัวเอง

เรียนรู้วิธีติดตั้ง Whisper และ Piper บน VPS เพื่อใช้งาน Speech-to-Text และ TTS แบบ self-hosted พร้อมคำนวณการใช้ CPU และดิสก์ รวมถึงวิธีตั้งค่า API ให้รองรับมาตรฐาน OpenAI

สรุปสั้น ๆ: speech-to-text และ TTS แบบ self-hosted

ระบบ speech-to-text และ TTS (text-to-speech) แบบ self-hosted ทำงานบนเซิร์ฟเวอร์ที่คุณเป็นเจ้าของ การถอดเสียงใช้ Whisper ผ่าน runtime ของ faster-whisper การสังเคราะห์เสียงใช้ Piper ทั้งสองระบบทำงานบน CPU VPS ทั่วไปได้โดยไม่ต้องใช้ GPU เลย โมเดล Whisper ขนาดเล็กใช้พื้นที่ดิสก์ประมาณ 484 MB และเสียงของ Piper ประกอบด้วยไฟล์ 2 ไฟล์ ได้แก่โมเดล ONNX และไฟล์ config รูปแบบ JSON ขนาดเล็ก ซึ่งรวมกันแล้วมีขนาดต่ำกว่า 150 MB มาก

ด้วยเหตุนี้ audio จึงเป็นจุดเริ่มต้นที่เหมาะสม ตัวสร้างรูปภาพแบบ self-hosted และ การสร้างวิดีโอแบบ self-hosted ต่างต้องใช้ GPU จึงจะเริ่มใช้งานได้จริง แต่ audio ไม่ต้องใช้

คู่มือนี้ครอบคลุมทั้งสองทิศทางและชั้นที่เชื่อมการทำงานเข้าด้วยกัน Whisper แปลง audio เป็นข้อความ Piper แปลงข้อความเป็น audio ส่วน HTTP server ที่รองรับ OpenAI-compatible API ซึ่งอยู่ด้านหน้าของทั้งสองระบบ ช่วยให้ client ที่มีอยู่ชี้มายังเครื่องของคุณได้ โดยเปลี่ยนเพียง base URL เท่านั้น

version ทุกตัวที่ระบุไว้ใน command ของคู่มือนี้ได้รับการตรวจสอบกับ release page ของ project นั้นเมื่อวันที่ October 11, 2026 ส่วน version ของ CTranslate2 ที่ระบุไว้ในหัวข้อ failure modes ใช้เป็นตัวระบุ compatibility ไม่ใช่ release ปัจจุบัน

เพราะเหตุใดจึงใช้ faster-whisper แทนแพ็กเกจ Whisper อ้างอิง

แพ็กเกจ whisper ของ OpenAI รันโมเดลด้วย PyTorch ส่วน faster-whisper รัน weight ของโมเดลเดียวกันบน CTranslate2 ซึ่งเป็น inference engine ที่พัฒนาสำหรับโมเดล transformer โดยเฉพาะ โมเดลเป็นตัวเดียวกัน แต่การ quantization และการตั้งค่า decoding มีผลต่อ transcript ความแตกต่างด้านความเร็วที่วัดได้ด้านล่างเกิดจาก runtime

CTranslate2 จะ quantize weight ระหว่างโหลด จึงทำให้ compute_type="int8" เป็น argument เดียว ไม่ใช่ขั้นตอน conversion แยกต่างหาก นอกจากนี้ยังไม่มี dependency ของ PyTorch pip install faster-whisper จะติดตั้ง CTranslate2, tokenizer และ PyAV สำหรับถอดรหัสเสียง ดังนั้น virtual environment จึงมีขนาดระดับหลายร้อย MB แทนที่จะเป็นหลาย GB บน VPS ที่มี disk 40 GB ความแตกต่างนี้ทำให้สภาพแวดล้อมมีพื้นที่เหลือเพียงพอหรือคับแคบได้

ต่อไปนี้คือตัวเลขที่โครงการเผยแพร่เองสำหรับโมเดล small บน CPU benchmark นี้ถอดเสียงความยาว 13 นาทีโดยใช้ 8 threads บน Intel Core i7-12700K ค่า x_realtime คือความยาว 13 นาทีหารด้วยเวลาที่วัดได้: ค่า 7.6 หมายถึงการถอดเสียงบันทึกความยาว 13 นาทีเสร็จในเวลาเกิน 1 นาที 40 วินาทีเล็กน้อย

แผนภูมิWhisper small on CPU, 13 minutes of audio (published project figures)
ข้อมูลเบื้องหลังแผนภูมินี้
[
  {
    "label": "openai/whisper, fp32",
    "x_realtime": 1.9,
    "seconds": 418,
    "memory_mb": "2,335"
  },
  {
    "label": "whisper.cpp, fp32",
    "x_realtime": 6.2,
    "seconds": 125,
    "memory_mb": "1,049"
  },
  {
    "label": "faster-whisper, fp32",
    "x_realtime": 5.0,
    "seconds": 157,
    "memory_mb": "2,257"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 7.6,
    "seconds": 102,
    "memory_mb": "1,477"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 15.3,
    "seconds": 51,
    "memory_mb": "3,608"
  }
]

ควรอ่านแถวที่สองตามข้อเท็จจริง ที่ fp32, whisper.cpp เร็วกว่า faster-whisper บน CPU นี้ โดยทำได้ 6.2x เทียบกับ 5.0x และใช้ memory น้อยกว่าครึ่งหนึ่ง นี่คือ ggml family เดียวกับที่อยู่เบื้องหลัง ส่วน llama.cpp ของ local LLM stack faster-whisper จะเร็วขึ้นเมื่อเปิดใช้ int8 และ batching โดยทำได้ 15.3x และใช้ RAM 3,608 MB ดังนั้น ให้เลือก faster-whisper หากต้องการใช้ Python API และ batching และเลือก whisper.cpp เมื่อ RAM เป็นข้อจำกัดที่ไม่สามารถเพิ่มได้

แถวแรกคือประเด็นสำคัญของส่วนนี้ แพ็กเกจอ้างอิงทำงานที่ 1.9x ของเวลาจริงบนเครื่องเดียวกัน ซึ่งหมายความว่าเสียงความยาว 1 ชั่วโมงต้องใช้เวลา CPU ครึ่งชั่วโมง

โมเดล Whisper ต้องการพื้นที่ดิสก์เท่าใด

แผนภูมิfaster-whisper model weights on disk (Systran CTranslate2 conversions, float16)
ข้อมูลเบื้องหลังแผนภูมินี้
[
  {
    "label": "tiny",
    "weights_mb": 75.5
  },
  {
    "label": "base",
    "weights_mb": 145
  },
  {
    "label": "small",
    "weights_mb": 484
  },
  {
    "label": "medium",
    "weights_mb": "1,530"
  },
  {
    "label": "large-v3",
    "weights_mb": "3,090"
  }
]

นี่คือข้อมูลการแปลงโมเดลสำหรับ CTranslate2 ที่เผยแพร่ไว้ในรูปแบบ float16 โปรดสังเกตว่าสิ่งที่ compute_type="int8" ไม่ได้ทำคือการลดขนาดไฟล์ดาวน์โหลด น้ำหนักของโมเดลจะถูกดาวน์โหลดมาในรูปแบบ float16 และ CTranslate2 จะทำการ quantize ในหน่วยความจำขณะโหลด ดังนั้นโมเดล large-v3 จึงใช้พื้นที่ 3,090 MB บนดิสก์ ไม่ว่าคุณจะรันด้วย float16 หรือ int8 ก็ตาม การใช้ int8 จะช่วยประหยัด RAM และเพิ่มความเร็ว แต่ไม่ได้ช่วยประหยัดพื้นที่ดิสก์

โมเดลจะถูกดาวน์โหลดลงใน ~/.cache/huggingface/hub เมื่อมีการเรียกใช้งานครั้งแรก หากคุณใช้ VPS ที่มี root volume ขนาดเล็ก ให้กำหนดเส้นทางไปยังตำแหน่งที่มีพื้นที่เพียงพอโดยใช้ argument download_root หรือ environment variable HF_HOME มิฉะนั้นการรันครั้งแรกอาจทำให้ดิสก์เต็มและกระบวนการทำงานจะหยุดลงกลางคันระหว่างการดาวน์โหลด

ติดตั้ง faster-whisper โดยไม่ทำให้ system Python เสียหาย

Ubuntu 24.04 และ Debian 13 ระบุว่า system Python อยู่ภายใต้การจัดการจากภายนอก การเรียกใช้ pip install faster-whisper นอก virtual environment จะหยุดทำงานทันทีพร้อมข้อความดังนี้:

error: externally-managed-environment

ระบบ packaging กำลังป้องกันไฟล์ที่ apt เป็นเจ้าของ ให้ใช้ virtual environment

sudo apt update
sudo apt install -y python3-venv ffmpeg
python3 -m venv ~/stt
~/stt/bin/pip install --upgrade pip
~/stt/bin/pip install faster-whisper==1.2.1

เวอร์ชัน 1.2.1 เป็นรุ่นปัจจุบัน ซึ่งเผยแพร่ในเดือน October 2025 faster-whisper ถอดรหัสเสียงผ่าน PyAV โดยรวมไลบรารี ffmpeg ของตัวเองไว้แล้ว จึงอ่านไฟล์ mp3 หรือ m4a ได้โดยไม่ต้องมีไบนารี ffmpeg แยกต่างหาก แพ็กเกจ ffmpeg ข้างต้นใช้สำหรับงานวิดีโอในส่วนถัดไปของคู่มือนี้

ตรวจสอบการติดตั้งก่อนดาวน์โหลด weights ขนาดสาม gigabytes:

~/stt/bin/python -c "from faster_whisper import WhisperModel; print('ok')"

หากมีบรรทัดที่ระบุว่า ok แสดงว่า wheels ติดตั้งสำเร็จ หากมี ImportError ที่ระบุชื่อ ctranslate2 แสดงว่า runtime หายไป หรือไลบรารีที่คอมไพล์ไว้ไม่สามารถโหลดได้ โดยข้อความส่วนที่เหลือจะระบุสาเหตุ ใน image ของ ARM แบบ 32-bit ไม่มี CTranslate2 wheel ดังนั้น pip จะล้มเหลวตั้งแต่ขั้นตอนการติดตั้งแทน

การถอดความบันทึกการประชุมหรือบันทึกเสียง

บันทึกไฟล์นี้เป็น transcribe.py:

from faster_whisper import WhisperModel

model = WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe("meeting.m4a", beam_size=5, vad_filter=True)

print("language: %s (%.2f)" % (info.language, info.language_probability))
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

รันด้วยคำสั่ง ~/stt/bin/python transcribe.py การรันครั้งแรกจะทำการดาวน์โหลดน้ำหนัก (weights) ของโมเดล ดังนั้นจะไม่มีข้อความแสดงผลออกมาในช่วงแรก หลังจากนั้นโมเดลจะโหลดจากแคชภายในเวลาไม่กี่วินาที

segments เป็นตัวสร้าง (generator) ดังนั้นการถอดความจะยังไม่เริ่มต้นจนกว่าคุณจะวนลูป (iterate) ผ่านตัวแปรนั้น ผู้ใช้มักจะจับเวลาการเรียก transcribe() แล้วเห็นว่ามันคืนค่าทันที จึงเข้าใจผิดว่ามีบางอย่างทำงานผิดพลาด ซึ่งความจริงแล้วไม่มีอะไรผิดพลาด งานประมวลผลจะเกิดขึ้นจริงภายในลูป

vad_filter=True จะรัน Silero VAD (การตรวจจับกิจกรรมเสียง) ก่อน และตัดช่วงที่เงียบออกไปก่อนที่ Whisper จะได้รับข้อมูล ในการบันทึกการประชุมที่มีช่วงเว้นว่างยาวนาน นี่คือวิธีเพิ่มความเร็วที่เห็นผลชัดเจนที่สุด เพราะ Whisper จะไม่ต้องเสียเวลาประมวลผลช่วงเสียงที่ไม่มีการพูดเลย นอกจากนี้ยังช่วยป้องกันปัญหาการวนซ้ำประโยคเดิมที่ Whisper มักจะสร้างขึ้นเมื่อได้รับข้อมูลที่เป็นความเงียบและพยายามค้นหาคำพูดจากช่วงนั้น

ตั้งค่า cpu_threads ให้ตรงกับจำนวนคอร์ที่คุณมีอยู่จริง การตั้งค่าให้สูงกว่าจำนวน vCPU จะทำให้การถอดความช้าลง เนื่องจากเธรดส่วนเกินจะแย่งชิงการใช้งานคอร์เดียวกัน และตัวจัดตารางเวลา (scheduler) จะต้องเสียทรัพยากรไปกับการสลับเธรดทุกครั้ง

คำบรรยายสำหรับคลัง Jellyfin

Jellyfin อ่านไฟล์คำบรรยายภายนอกที่อยู่ถัดจากไฟล์วิดีโอและใช้ชื่อเดียวกัน ดังนั้น Movie (2019).en.srt ที่อยู่ถัดจาก Movie (2019).mkv จะแสดงเป็นแทร็กภาษาอังกฤษโดยไม่ต้องสร้างคลังใหม่ว่าไคลเอ็นต์แต่ละรายการจะเล่นไฟล์นั้นโดยตรง หรือเซิร์ฟเวอร์จะ remux หรือฝังคำบรรยายลงในวิดีโอ ขึ้นอยู่กับความสามารถของไคลเอ็นต์นั้น

แยกเสียงออกมาก่อน Whisper จะ resample ทุกอย่างเป็น mono ที่ 16 kHz ภายใน ดังนั้นการป้อนเสียงแบบ mono ที่ 16 kHz ให้โปรแกรมจะลดงานของทั้งสองฝั่ง:

ffmpeg -i "Movie (2019).mkv" -vn -ac 1 -ar 16000 -c:a pcm_s16le "Movie (2019).wav"

faster-whisper ไม่มีตัวเขียน SRT จึงต้องจัดรูปแบบ segments ด้วยตนเอง บันทึกสิ่งนี้เป็น srt.py:

import sys
from faster_whisper import WhisperModel

def ts(seconds):
    ms = int(round(seconds * 1000))
    hours, ms = divmod(ms, 3600000)
    minutes, ms = divmod(ms, 60000)
    secs, ms = divmod(ms, 1000)
    return "%02d:%02d:%02d,%03d" % (hours, minutes, secs, ms)

model = WhisperModel("small", device="cpu", compute_type="int8")
segments, info = model.transcribe(sys.argv[1], vad_filter=True)

with open(sys.argv[2], "w", encoding="utf-8") as out:
    for index, segment in enumerate(segments, start=1):
        out.write("%d\n" % index)
        out.write("%s --> %s\n" % (ts(segment.start), ts(segment.end)))
        out.write("%s\n\n" % segment.text.strip())

จากนั้นประมวลผลทั้งคลัง:

for f in /srv/media/films/*.mkv; do
  ffmpeg -nostdin -y -i "$f" -vn -ac 1 -ar 16000 -c:a pcm_s16le "${f%.mkv}.wav"
  nice -n 15 ~/stt/bin/python srt.py "${f%.mkv}.wav" "${f%.mkv}.en.srt"
  rm -f "${f%.mkv}.wav"
done

-nostdin จะปิดการโต้ตอบผ่านแป้นพิมพ์ของ ffmpeg นอกจากนี้ยังป้องกันไม่ให้ ffmpeg อ่านชื่อไฟล์ไปใช้ เมื่อทำงานอยู่ภายใน loop ที่อ่านชื่อไฟล์จาก standard input loop ที่ใช้ glob ด้านบนไม่ได้อ่านรายการไฟล์จาก standard input

ประเมินเวลาก่อนเริ่ม ที่ความเร็ว 7.6x ตามตัวเลขด้านบน ภาพยนตร์ความยาว 100 นาทีต้องใช้ CPU ราว 13 นาที ดังนั้นคลังภาพยนตร์ 50 เรื่องจะใช้เวลาประมวลผลข้ามคืน หากใช้แผน shared vCPU จะช้ากว่านั้น ซึ่งเป็นเหตุผลที่ใช้ nice: การประมวลผลคำบรรยายจะลดลำดับความสำคัญลง เพื่อให้ทรัพยากรแก่สิ่งอื่นที่เซิร์ฟเวอร์กำลังทำงานอยู่จริง

การแปลงข้อความเป็นเสียงพูดด้วย Piper

Piper เป็น engine สำหรับแปลงข้อความเป็นเสียงพูดแบบ neural ซึ่งรัน voice model รูปแบบ ONNX บน CPU โดยฝัง espeak-ng มาเพื่อแปลงข้อความเป็น phoneme จึงไม่ต้องติดตั้ง phonemizer แยกต่างหาก release ปัจจุบันคือ 1.8.0 ซึ่งเผยแพร่ในเดือน September 2026

python3 -m venv ~/tts
~/tts/bin/pip install piper-tts==1.8.0
~/tts/bin/python -m piper.download_voices en_US-lessac-medium
~/tts/bin/python -m piper -m en_US-lessac-medium -f test.wav -- 'This is a test.'

download_voices จะเขียนไฟล์ 2 ไฟล์ลงใน working directory ได้แก่ weights ของ .onnx และไฟล์ config ของ .onnx.json ที่เก็บ sample rate กับรายชื่อ speaker ไฟล์ทั้งสองต้องอยู่ด้วยกัน หากเก็บ voice ไว้ในตำแหน่งถาวร ให้ส่ง --data-dir ให้ทั้ง 2 คำสั่ง เพราะ player จะค้นหาใน working directory หากไม่ระบุ และจะหา voice ที่ไม่ได้อยู่ในตำแหน่งนั้นไม่พบ

-- ที่อยู่ก่อนข้อความก็มีความสำคัญเช่นกัน โดยใช้แยกข้อความออกจาก command-line options รวมถึง options ที่ข้อความซึ่งขึ้นต้นด้วย hyphen อาจถูกตีความให้เรียกใช้โดยไม่ตั้งใจ

Voice มีให้เลือกหลายระดับคุณภาพ voice ภาษาอังกฤษระดับ medium มีขนาดประมาณ 60 MB ส่วนระดับ high มีขนาดประมาณ 2 เท่า คุณภาพที่สูงขึ้นหมายถึง model ใหญ่ขึ้นและใช้ CPU ต่อวินาทีของเสียงพูดมากขึ้น ไม่ได้หมายถึง speaker คนละคน

อย่าเรียกใช้ CLI ใน loop เพราะจะโหลด model ใหม่ทุกครั้งที่เรียกใช้ และการโหลด model จะใช้เวลาส่วนใหญ่เมื่อประมวลผลประโยคสั้น ให้รัน HTTP server แทน:

~/tts/bin/pip install 'piper-tts[http]==1.8.0'
~/tts/bin/python -m piper.http_server -m en_US-lessac-medium --host 127.0.0.1 --port 5000
curl -X POST -H 'Content-Type: application/json' \
  -d '{ "text": "This is a test." }' \
  -o test.wav localhost:5000/synthesize

หากสามารถเล่น test.wav ได้ แสดงว่าระบบทำงาน Endpoint นี้ใช้รูปแบบเฉพาะของ Piper ไม่ใช่รูปแบบของ OpenAI ดังนั้น client ที่คาดว่าจะใช้ /v1/audio/speech จะไม่สามารถเชื่อมต่อได้ ส่วนถัดไปจะแก้ปัญหานี้

ให้ service ทำงานต่อเนื่องด้วย unit file แทนการเปิดไว้ใน terminal ที่จะปิดภายหลัง unit จะรัน Piper ด้วยผู้ใช้ piper ซึ่งไม่มีสิทธิ์ login และรันจาก home directory ของผู้ใช้นั้น service จึงไม่ขึ้นอยู่กับ account ของคุณ สร้างผู้ใช้และติดตั้ง Piper กับ voice ไว้ที่ผู้ใช้นั้น:

sudo useradd --system --create-home --home-dir /home/piper --shell /usr/sbin/nologin piper
sudo -u piper python3 -m venv /home/piper/tts
sudo -u piper /home/piper/tts/bin/pip install 'piper-tts[http]==1.8.0'
sudo -u piper /home/piper/tts/bin/python -m piper.download_voices --data-dir /home/piper/voices en_US-lessac-medium

หยุด server ที่เริ่มจาก terminal แล้วเขียน unit ดังนี้:

[Unit]
Description=Piper text to speech HTTP server
After=network-online.target

[Service]
User=piper
ExecStart=/home/piper/tts/bin/python -m piper.http_server -m en_US-lessac-medium --data-dir /home/piper/voices --host 127.0.0.1 --port 5000
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now piper จะเริ่ม service และนำ service กลับมาทำงานหลัง reboot หาก curl ด้านบนไม่คืนค่าใด ๆ ให้ดู journalctl -u piper -n 50 เพื่อทราบสาเหตุ โดยสาเหตุที่พบบ่อยที่สุดคือไม่มีไฟล์ voice

รูปแบบเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI

ซอฟต์แวร์ส่วนใหญ่ที่จัดการเสียงรองรับ OpenAI audio API อยู่แล้ว โดยส่ง multipart POST ไปยัง /v1/audio/transcriptions สำหรับไฟล์ และส่ง JSON POST ไปยัง /v1/audio/speech สำหรับข้อความ คุณสามารถให้บริการ 2 path นี้ด้วยตนเองได้ และฝั่ง client จะต้องเปลี่ยนเพียง base URL

Speaches เป็นเซิร์ฟเวอร์หนึ่งที่รองรับทั้งการแปลงเสียงเป็นข้อความและการแปลงข้อความเป็นเสียง โดยใช้ faster-whisper สำหรับการถอดเสียง และใช้ Piper หรือ Kokoro สำหรับสร้างเสียง ผ่าน path ของ OpenAI รุ่นปัจจุบันคือ v0.9.0-rc.3 จาก December 2025 และยังไม่ถึง 1.0 ดังนั้นควรกำหนด image tag ให้แน่นอน และอ่าน release notes ก่อนอัปเกรด

curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.yaml
curl --silent --remote-name https://raw.githubusercontent.com/speaches-ai/speaches/master/compose.cpu.yaml
export COMPOSE_FILE=compose.cpu.yaml
docker compose up --detach

รูปแบบ single-container เหมาะหากคุณไม่ต้องการเก็บไฟล์ compose:

docker run --rm --detach --publish 8000:8000 --name speaches \
  --volume hf-hub-cache:/home/ubuntu/.cache/huggingface/hub \
  ghcr.io/speaches-ai/speaches:latest-cpu

named volume เป็นส่วนที่มักถูกลืม หากไม่มี volume นี้ model cache จะอยู่ภายใน container ดังนั้นเมื่อลบและสร้าง container ใหม่ weights ที่ดาวน์โหลดไว้จะหายไป การ restart container เดิมจะยังคงเก็บไฟล์เหล่านั้นไว้

Speech ต้องดาวน์โหลด voice ก่อนที่ /v1/audio/speech จะตอบคำขอได้:

uvx speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

หลังจากนั้น OpenAI client ใด ๆ ก็ใช้งานได้ เพียงเปลี่ยน base URL:

from pathlib import Path
from openai import OpenAI

openai = OpenAI(base_url="http://localhost:8000/v1", api_key="cant-be-empty")
res = openai.audio.speech.create(
    model="speaches-ai/Kokoro-82M-v1.0-ONNX",
    voice="af_heart",
    input="Hello, world!",
    response_format="mp3",
    speed=1,
)
with Path("output.mp3").open("wb") as f:
    f.write(res.response.read())

ต้องระบุค่าแทน api_key เพราะ OpenAI client library จะไม่ส่งคำขอหากไม่มีค่านี้ เซิร์ฟเวอร์จะไม่สนใจค่าดังกล่าวจนกว่าคุณจะกำหนด key จริง

vox-box เป็นอีกโครงการที่ควรกล่าวถึง เป็น Python package ไม่ใช่ container และให้บริการ path เดียวกัน โดยรองรับ Whisper, FunASR, Bark, Dia หรือ CosyVoice รุ่นปัจจุบันคือ 0.0.21 จาก December 2025 และต้องใช้ Python 3.10 ขึ้นไป

python3 -m venv ~/voice
~/voice/bin/pip install vox-box==0.0.21
~/voice/bin/vox-box start --huggingface-repo-id Systran/faster-whisper-small \
  --data-dir ~/voice/data --host 127.0.0.1 --port 8010

ตัวอย่างของโครงการนี้ bind พอร์ต 80 ซึ่งต้องใช้ root หรือ capability CAP_NET_BIND_SERVICE บนเซิร์ฟเวอร์ที่ทำงานอื่นด้วย ควรใช้พอร์ตสูงหลัง reverse proxy มากกว่า vox-box start รับ model ได้เพียง 1 รายการ ดังนั้นหากต้องการรองรับทั้ง 2 ทิศทาง ต้องรัน instance ที่ 2 บนพอร์ตที่ 2 พร้อมระบุ speech repo id

สอบถามเซิร์ฟเวอร์ว่าระบบโหลดอะไรไว้ แล้วใช้ id นั้นในฟิลด์ model:

curl http://127.0.0.1:8010/v1/models
curl http://127.0.0.1:8010/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -F file="@voice-note.m4a" \
  -F model="faster-whisper-small"

JSON body รูปแบบ {"text": "..."} หมายความว่า path ทั้งหมดทำงานได้ หากได้รับ 404 ให้อ่าน response body และตรวจสอบ model id เทียบกับ /v1/models Speaches จะส่ง 404 เช่นกันเมื่อ model ถูกต้องแต่ยังไม่ได้ติดตั้งไว้ในเครื่อง หากข้อความผิดพลาดระบุกรณีนี้ ให้ดาวน์โหลด model ที่ร้องขอด้วย uvx speaches-cli model download MODEL_ID แล้วลองใหม่ download route ของ Speaches คือ POST /v1/models/{model_id}

เซิร์ฟเวอร์เหล่านี้จะไม่เปิด authentication เป็นค่าเริ่มต้น ให้ bind เข้ากับ 127.0.0.1 และเข้าถึงผ่าน VPN หรือ reverse proxy ที่ขอ credentials หากเปิด /v1/audio/transcriptions บน public IP ผู้ใดก็ตามที่ค้นพบจะใช้ CPU ได้โดยไม่เสียค่าใช้จ่าย และพวกเขาจะค้นพบมันแน่นอน

ส่วนติดต่อผู้ใช้สำหรับระบบผู้ช่วยส่วนตัวแบบ self-hosted

เมื่อทั้งสองทิศทางตอบสนองผ่านเส้นทางของ OpenAI ได้แล้ว ส่วนติดต่อผู้ใช้สำหรับการแชทก็สามารถนำมาใช้งานร่วมกันได้ Open WebUI และทางเลือกอื่น รองรับการระบุ base URL ที่เข้ากันได้กับ OpenAI สำหรับเสียงในการตั้งค่า ทำให้สามารถ รัน LLM ภายในเครื่องด้วย Ollama และปิดลูปการทำงานของเสียงได้ทั้งสองฝั่ง

ควรประเมินค่าความหน่วง (latency) ตามความเป็นจริง เนื่องจากทั้งสามขั้นตอนจะทำงานต่อเนื่องกันบนคอร์ประมวลผลชุดเดียวกัน คำถามความยาว 10 วินาทีจะใช้เวลาถอดความเป็นข้อความประมาณ 1.3 วินาที ตามตัวเลข 7.6x ที่ระบุไว้ข้างต้น ซึ่งนั่นเป็นเวลาก่อนที่โมเดลจะเริ่มอ่าน token แรกเสียอีก เมื่อรวมเวลาการสร้าง token ของ CPU เข้าไปด้วย ระยะเวลาการรับส่งข้อมูลจะนานจนผู้ทดสอบอาจเข้าใจผิดว่าระบบค้าง การถอดความแบบ batch บน CPU นั้นทำได้ดี แต่สำหรับการสนทนาโต้ตอบนั้นไม่เหมาะสม และนั่นคือจุดที่ การใช้ VPS ที่มี GPU เริ่มคุ้มค่ากับราคาที่จ่ายไป

GPU คุ้มค่าใช้งานจริงเมื่อใด

แผนภูมิWhisper large-v2 on an RTX 3070 Ti, 13 minutes of audio (published project figures)
ข้อมูลเบื้องหลังแผนภูมินี้
[
  {
    "label": "openai/whisper, fp16",
    "x_realtime": 5.5,
    "seconds": 143,
    "memory_mb": "4,708"
  },
  {
    "label": "faster-whisper, fp16",
    "x_realtime": 12.4,
    "seconds": 63,
    "memory_mb": "4,525"
  },
  {
    "label": "faster-whisper, int8",
    "x_realtime": 13.2,
    "seconds": 59,
    "memory_mb": "2,926"
  },
  {
    "label": "faster-whisper, int8, batch 8",
    "x_realtime": 48.8,
    "seconds": 16,
    "memory_mb": "4,500"
  }
]

บน GPU โมเดลขนาดใหญ่ที่รันด้วย int8 ทำงานได้เร็วกว่าเวลาจริง 13.2 เท่า โดยใช้ VRAM 2,926 MB และเมื่อทำ batching จะเพิ่มเป็น 48.8 เท่า โปรดสังเกตสิ่งที่กราฟทั้งสองไม่ได้ระบุไว้อย่างชัดเจน กราฟใช้โมเดลคนละขนาด โดยแถวของ GPU ใช้ large-v2 ส่วนแถวของ CPU ใช้ small GPU ไม่ได้ทำให้โมเดล small เร็วขึ้น 6 เท่า แต่ทำให้โมเดลที่มีความแม่นยำสูงสามารถใช้งานได้จริง

ที่มาของตัวเลขเหล่านี้

กราฟทั้งสองจัดทำขึ้นใหม่จาก benchmark ที่เผยแพร่ใน README ของ faster-whisper ไฟล์เสียงเป็นไฟล์เดียวความยาว 13 นาที แถวของ CPU ใช้ 8 threads บน Intel Core i7-12700K ส่วนแถวของ GPU ใช้ CUDA 12.4 บน NVIDIA RTX 3070 Ti ที่มี VRAM 8 GB คอลัมน์ seconds และ memory ใช้ตัวเลขที่เผยแพร่ไว้ ส่วนคอลัมน์ x_realtime คำนวณจากตัวเลขดังกล่าว โดยนำเสียงความยาว 780 วินาทีหารด้วยเวลาที่วัดได้ แล้วปัดเป็นทศนิยม 1 ตำแหน่ง คอลัมน์ memory หมายถึง system RAM สำหรับกราฟ CPU และ VRAM สำหรับกราฟ GPU

แผน shared vCPU จะทำความเร็วได้ไม่ถึงตัวเลขของ CPU benchmark ดังกล่าวใช้ 8 threads จากเครื่องเดสก์ท็อปประสิทธิภาพสูงโดยเฉพาะ ให้ถือว่า 7.6 เท่าเป็นค่าขีดสูงสุด แล้ววัดเครื่องของคุณเองด้วย time จากไฟล์บันทึกเสียงจริง ก่อนวางแผนโดยอาศัยตัวเลขนี้

แนวทางโดยสรุป 4 ข้อที่ใช้ได้จริงมีดังนี้:

  • ถอดเสียงไฟล์บันทึกของคุณเองเป็นครั้งคราว: ใช้ CPU, small, int8 เริ่มด้วย 2 dedicated vCPU แล้ววัดเวลาที่ใช้ถอดเสียง
  • ประมวลผลงานแบบ batch ข้ามคืน เช่น การสร้าง subtitle: ใช้ CPU, small หรือ medium, int8 และครอบการทำงานด้วย nice
  • งานที่ต้องโต้ตอบ หรือประมวลผลคลังไฟล์ทั้งหมดภายในเย็นเดียว: ใช้ GPU
  • Piper: ใช้ CPU เสมอ โมเดลเสียงขนาดนี้แทบไม่ได้ประโยชน์จาก GPU

หากคุณกำลังประเมินว่าฮาร์ดแวร์ชุดเดียวกันจะรองรับงานอื่นใดได้อีก คำถามที่กว้างกว่าว่าโมเดล AI ใดบ้างที่คุณ self-host ได้ จะอธิบายขนาดของโมเดลที่พอดีและไม่พอดีกับทรัพยากรที่มี

รูปแบบความล้มเหลว พร้อมข้อความที่คุณจะพบ

error: externally-managed-environment ขณะติดตั้ง ระบบ Python ของดิสทริบิวชันได้รับการป้องกันไว้ ให้สร้าง virtual environment ตามที่แสดงไว้ข้างต้น

cuDNN ไม่ตรงกันบนเครื่องที่มี GPU ลักษณะของข้อผิดพลาดเป็นดังนี้:

Unable to load any of {libcudnn_ops.so.9.1.0, libcudnn_ops.so.9.1, libcudnn_ops.so.9, libcudnn_ops.so}
Invalid handle. Cannot load symbol cudnnCreateTensorDescriptor

CTranslate2 4.5.0 เปลี่ยน build สำหรับ CUDA 12 ไปใช้ cuDNN 9 แต่เครื่องมี cuDNN 8 ให้ติดตั้ง cuDNN 9 หรือกำหนด runtime รุ่นเก่าด้วย pip install --force-reinstall ctranslate2==4.4.0 เลือกทำอย่างใดอย่างหนึ่งเท่านั้น หากทำทั้งสองอย่าง ปัญหาจะกลับมาเหมือนเดิม

This CTranslate2 package was not compiled with CUDA support เป็นข้อผิดพลาดคนละแบบที่มีลักษณะคล้ายกัน build ของ CTranslate2 ที่ติดตั้งไว้ไม่มีการรองรับ CUDA wheel อย่างเป็นทางการสำหรับ Linux และ Windows รองรับการประมวลผลด้วย GPU ให้ตรวจสอบ platform และแหล่งที่มาของ package แล้วติดตั้ง build ที่เปิดใช้ CUDA การสร้าง environment เดิมขึ้นใหม่ด้วย build ที่รองรับเฉพาะ CPU จะไม่แก้ปัญหา

มีวลีเดิมซ้ำใน transcript ประโยคที่วนซ้ำ 10 ครั้งมักเกิดจากการถอดเสียงความเงียบหรือเสียงเพลงเป็นคำพูด ให้เปิดใช้ vad_filter=True ก่อน หากยังเกิดขึ้น ให้ฟังช่วงเสียงดังกล่าว เสียงที่เกือบเงียบทำให้ Whisper ไม่มีจุดอ้างอิง และระบบจึงพูดซ้ำจากการคาดเดาครั้งล่าสุดที่มีความมั่นใจ

ตรวจพบภาษาไม่ถูกต้อง โดยค่าเริ่มต้น faster-whisper จะคาดเดาจากช่วง 30 วินาทีแรกเท่านั้น ค่า info.language_probability ที่ต่ำกว่า 1.0 มากหมายความว่าระบบไม่แน่ใจ ซึ่งมักเกิดเมื่อไฟล์เสียงเริ่มด้วยเพลงหรือมีเสียงพูดทับกัน ให้ส่ง language="en" เมื่อทราบภาษาอยู่แล้ว หรือเพิ่มค่า language_detection_segments เพื่อให้ระบบตรวจสอบช่วงเสียงมากขึ้นก่อนตัดสินใจ

โพรเซสแสดง Killed แล้วหยุดทำงาน ตรวจสอบ dmesg ว่ามีบรรทัด oom-kill ที่ตรงกันหรือไม่ เพื่อยืนยันว่า kernel ยุติโพรเซสเนื่องจากหน่วยความจำไม่เพียงพอ large-v3 ดาวน์โหลด weights แบบ float16 มากกว่า 3 GB แต่ int8 ช่วยลด memory footprint ขณะโหลดได้ benchmark ของ small-model int8 ที่เผยแพร่ไว้ใช้ RAM 1,477 MB ดังนั้น VPS ขนาด 2 GB จะเหลือพื้นที่ไม่มากสำหรับระบบปฏิบัติการและบริการอื่น

Piper ไม่พบ voice player จะค้นหาใน working directory เว้นแต่คุณจะส่ง --data-dir ให้ใช้ ls กับ directory ที่คาดว่าจะมีไฟล์ แล้วตรวจยืนยันว่า .onnx และ .onnx.json มีอยู่ทั้งคู่ เพราะหากขาดอย่างใดอย่างหนึ่งก็ไม่สามารถทำงานได้เช่นเดียวกับกรณีที่ไม่มีทั้งสองไฟล์

FAQ

ฉันสามารถประมวลผล speech to text บน VPS ที่ใช้ CPU อย่างเดียวได้หรือไม่

ได้ และสำหรับงานแบบ batch นี่เป็นตัวเลือกที่เหมาะสม โดยใช้ faster-whisper กับโมเดล small ที่ int8 benchmark ที่เผยแพร่โดยโครงการระบุว่าสามารถถอดเสียง 13 นาทีได้ภายใน 102 วินาที โดยใช้ 8 threads บน desktop i7 หรือประมาณ 7.6 เท่าของเวลาจริง และใช้ RAM 1,477 MB บน shared vCPU จะทำงานช้ากว่านี้ ดังนั้นควรวัดผลบนเครื่องของคุณเอง ส่วน text to speech ด้วย Piper ทำได้ง่ายกว่า และไม่ต้องใช้ GPU ไม่ว่าในกรณีใด

ฉันควรใช้ Whisper model ขนาดใด

เริ่มด้วย small ที่ int8 โมเดลนี้ใช้พื้นที่ดิสก์ 484 MB และจัดการเสียงพูดที่บันทึกไว้อย่างชัดเจนได้ดี เปลี่ยนไปใช้ medium เมื่อสำเนียงหรือเสียงรบกวนพื้นหลังทำให้เกิดข้อผิดพลาดที่ยอมรับไม่ได้ และใช้ large-v3 เฉพาะเมื่อความแม่นยำสำคัญกว่าทุกอย่าง เนื่องจากต้องใช้พื้นที่ดิสก์ 3,090 MB การใช้ RAM ขึ้นอยู่กับประเภท compute และลักษณะงาน ดังนั้นควรวัดก่อนเลือกขนาด VPS ในทางกลับกัน tiny ซึ่งใช้พื้นที่ 75.5 MB เหมาะสำหรับการตรวจจับภาษาและทดสอบ pipeline แต่ไม่เหมาะสำหรับ transcript ที่คนจะนำไปอ่าน

เหตุใด faster-whisper จึงทำงานเร็วกว่า Whisper package รุ่นดั้งเดิม

โมเดลเป็นตัวเดียวกัน แต่ runtime แตกต่างกัน reference package รัน Whisper บน PyTorch ขณะที่ faster-whisper รัน weights ชุดเดียวกันบน CTranslate2 ซึ่งเป็น engine ที่สร้างมาสำหรับ transformer inference โดย quantize weights ขณะโหลด และไม่ต้องติดตั้ง PyTorch จาก CPU benchmark ที่เผยแพร่ reference package ทำงานได้ 1.9 เท่าของเวลาจริง เทียบกับ 7.6 เท่าของ faster-whisper ที่ int8 และใช้ memory น้อยกว่า

เหตุใด transcript ของฉันจึงพูดประโยคเดิมซ้ำไปซ้ำมา

Whisper กำลังตีความความเงียบหรือเสียงดนตรีเป็นเสียงพูด และกลับไปใช้ผลคาดเดาครั้งล่าสุดที่มีความมั่นใจ ตั้งค่า vad_filter=True ในการเรียกใช้ transcribe() ซึ่งจะเรียกใช้ Silero voice activity detection ก่อน และลบช่วงเงียบออกก่อนที่โมเดลจะประมวลผล หากยังพูดซ้ำ ให้ตรวจระดับเสียง เนื่องจาก recording ที่เกือบไม่มีเสียงตลอดทั้งไฟล์จะไม่ให้ข้อมูลที่โมเดลใช้ประมวลผล

ฉันจะสร้าง audio endpoint ที่เข้ากันได้กับ OpenAI บนเซิร์ฟเวอร์ของตนเองได้อย่างไร

รัน server ที่รองรับ POST /v1/audio/transcriptions และ POST /v1/audio/speech แล้วกำหนดให้ client ชี้ไปยัง server ดังกล่าวด้วย base URL ใหม่ Speaches เป็นหนึ่งในตัวเลือก โดยเผยแพร่เป็น container image ที่มี CPU build และใช้ faster-whisper สำหรับ transcription กับ Piper หรือ Kokoro สำหรับ speech อีกตัวเลือกคือ vox-box ซึ่งติดตั้งด้วย pip install vox-box และเริ่มทำงานด้วย vox-box start --huggingface-repo-id โดยให้บริการโมเดลละหนึ่งโมเดลต่อ process ทั้งสองตัวไม่ได้เปิดใช้ authentication เป็นค่าเริ่มต้น ดังนั้นควร bind กับ localhost และวาง proxy หรือ VPN ไว้ด้านหน้า

บทความนี้มีประโยชน์หรือไม่

#whisper#tts#piper#speech-to-text#self-hosted-ai