Danışıq giriş və çıxışı (STT / TTS)
AiHummer tutacaqları qutunun içindən çıxan və qutunun içinə gedən nitq — ödənişli nitq API-si tələb olunmur. Gələn səs klipi yazıya çevrilir (STT), mətn adi agent çevrilişini idarə edir və cavab yenidən danışılır (TTS). Hər iki mühərrik pulsuz və yerli və kimi işlət yan arabalar: transkripsiya üçün faster-whisper və sintez üçün edge-tts.
Səs çevirmə necə işləyir
Səsli növbə, hər iki tərəfdə səs olan normal agent növbəsidir:
- Şlüz daxil olan səsi göndərir STT yan maşını (
:8001, faster-whisper) və mətni geri alır. - O mətn adi funksiyanı çağırma növbəsini idarə edir — eyni marşrutçu, orkestrləşdirici, alətlər və yaddaş kimi bir mətn mesajı.
- Cavab mətni göndərilir TTS yan maşını (
:8002, edge-tts) və Danışıq səsi zəng edənə qaytarılır.
Bu bir tək nöqtə kimi təqdim olunur, POST /v1/voice/turn, beləliklə bir kanal və ya müştəri addımları özü idarə etmədən səs ötürə və səs qəbul edə bilər.
Son nöqtələr
| Metod | Son nöqtə | Məqsəd |
|---|---|---|
POST |
/v1/voice/turn |
Səs daxil → agent növbəsi → səs çıxışı |
GET |
/v1/voice/config |
Cari səs konfiqurasiyası (motorlar, tənzimləmə düymələri) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Nitq xüsusiyyətləri hissəsidir əsas — onlar SIP plaginə bağlı deyillər. SIP kanalı bunun üçün eyni STT/TTS mühərriklərindən istifadə edir
localmühərrik, amma səs giriş/çıxış çağıran hər hansı bir müştəri üçün işləyir/v1/voice/turn.
Səs yan maşınları
| Limanç | Yan arabası | Mühərrik | Rol | Qoşulub |
|---|---|---|---|---|
| 8001 | STT | daha-sürətli-pıçıldamaq | nitq → mətn | AIHUMMER_STT_URL |
| 8002 | Mətni səsə çevirmək | edge-tts | mətn → nitq | AIHUMMER_TTS_URL |
Hər iki mühərrik pulsuz və yerli: heç nə ödənişli nitq tədarükçüsünə göndərilmir. Hər bir yan maşın kimi, qapı onlara çatır URL ilə, beləliklə onları qapının yanında və ya paylaşılan nümunəyə işarə edərək işlədə bilərsiniz.
Kabel sistemi
Ev sahibi-yerli quraşdırıcı sizin üçün STT və TTS URL-lərini təyin edir. Onlar kataloq parametrləri — onları admin UI-dən dəyişin (İdarəetmə → Parametrlər) və ya ilə aihummer settings set; gateway.env yalnız bootstrap üçündür və bunlar üçün nəzərə alınmır:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Çünki hər bir sidecar sadəcə bir URL-dir, bir neçə keçid bir STT/TTS-i paylaşa bilər nümunə. Hər bir nüsxəni işlətmək əvəzinə daha ağır danışıq xidmətlərini mərkəzləşdirin ev sahibi.
Audio yolunun tənzimlənməsi
Səs keyfiyyəti düymələri içində yaşayır Media · Səs parametr qrupu və veb admin istifadəçi interfeysindən konfiqurasiya edilə bilər — yenidən yerləşdirməyə ehtiyac yoxdur. Onlar real vaxt səslə əlaqəli yolu əhatə edir:
| Qollar | Nəyi idarə edir |
|---|---|
| Dupleks | Tam dupleks (danışarkən dinləmək) və yarım dupleks |
| AEC | Akustik əks-səda ləğvi |
| Səsin bastırılması | STT-dən əvvəl fon səsini filtr edir |
| AGC | Avtomatik qazanc nəzarəti (səviyyə normallaşdırılması) |
| VAD həddi | Səs fəaliyyətinin aşkarlanması həssaslığı |
| Sözünü kəsmək | Zəng edən şəxsin agentin cavab verərkən müdaxilə etməsinə icazə verin |
GET /v1/voice/config effektiv konfiqurasiyanı qaytarır ki, müştəri aktiv mühərrikləri və bu parametrləri aşkarlaya bilsin.
Növbəti haradır
- Bu xidmətlərin arxasındakı nəqliyyat modeli: Yan arabalar.
- Nitq tərcüməsi və video anlama: Nitqin tərcüməsi və video.
- Telefon xəttində səs: SIP teleofoniyası.