Danışıq giriş və çıxışı (STT / TTS)
AiHummer tutacaqları qutunun içindən çıxan və qutunun içinə gedən nitq — ödənişli nitq API-si tələb olunmur. Gələn səs klipi yazıya çevrilir (STT), mətn adi agent çevrilişini idarə edir və cavab yenidən danışılır (TTS). Hər iki mühərrik pulsuz və yerli və kimi işlət yan arabalar: transkripsiya üçün faster-whisper və sintez üçün edge-tts.
Səs çevirmə necə işləyir
Səsli növbə, hər iki tərəfdə səs olan normal agent növbəsidir:
- Şlüz daxil olan səsi göndərir STT yan maşını (
:8001, faster-whisper) və mətni geri alır. - O mətn adi funksiyanı çağırma növbəsini idarə edir — eyni marşrutçu, orkestrləşdirici, alətlər və yaddaş kimi bir mətn mesajı.
- Cavab mətni göndərilir TTS yan maşını (
:8002, edge-tts) və Danışıq səsi zəng edənə qaytarılır.
Bu bir tək nöqtə kimi təqdim olunur, POST /v1/voice/turn, beləliklə bir kanal və ya müştəri addımları özü idarə etmədən səs ötürə və səs qəbul edə bilər.
Son nöqtələr
| Metod | Son nöqtə | Məqsəd |
|---|---|---|
POST |
/v1/voice/turn |
Səs daxil → agent növbəsi → səs çıxışı |
GET |
/v1/voice/config |
Cari səs konfiqurasiyası (motorlar, tənzimləmə düymələri) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Nitq xüsusiyyətləri hissəsidir əsas — onlar SIP plaginə bağlı deyillər. SIP kanalı bunun üçün eyni STT/TTS mühərriklərindən istifadə edir
localmühərrik, amma səs giriş/çıxış çağıran hər hansı bir müştəri üçün işləyir/v1/voice/turn.
Səs yan maşınları
| Limanç | Yan arabası | Mühərrik | Rol | Qoşulub |
|---|---|---|---|---|
| 8001 | STT | daha-sürətli-pıçıldamaq | nitq → mətn | AIHUMMER_STT_URL |
| 8002 | Mətni səsə çevirmək | edge-tts | mətn → nitq | AIHUMMER_TTS_URL |
Hər iki mühərrik pulsuz və yerli: heç nə ödənişli nitq tədarükçüsünə göndərilmir. Hər bir yan maşın kimi, qapı onlara çatır URL ilə, beləliklə onları qapının yanında və ya paylaşılan nümunəyə işarə edərək işlədə bilərsiniz.
Kabel sistemi
Ev sahibi-yerli quraşdırıcı sizin üçün STT və TTS URL-lərini təyin edir. Onlar kataloq parametrləri — onları admin UI-dən dəyişin (İdarəetmə → Parametrlər) və ya ilə aihummer settings set; gateway.env yalnız bootstrap üçündür və bunlar üçün nəzərə alınmır:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Çünki hər bir sidecar sadəcə bir URL-dir, bir neçə keçid bir STT/TTS-i paylaşa bilər nümunə. Hər bir nüsxəni işlətmək əvəzinə daha ağır danışıq xidmətlərini mərkəzləşdirin ev sahibi.
Audio yolunun tənzimlənməsi
Səs keyfiyyəti düymələri içində yaşayır Media · Səs parametr qrupu və veb admin istifadəçi interfeysindən konfiqurasiya edilə bilər — yenidən yerləşdirməyə ehtiyac yoxdur. Onlar real vaxt səslə əlaqəli yolu əhatə edir:
| Qollar | Nəyi idarə edir |
|---|---|
| Dupleks | Tam dupleks (danışarkən dinləmək) və yarım dupleks |
| AEC | Akustik əks-səda ləğvi |
| Səsin bastırılması | STT-dən əvvəl fon səsini filtr edir |
| AGC | Avtomatik qazanc nəzarəti (səviyyə normallaşdırılması) |
| VAD həddi | Səs fəaliyyətinin aşkarlanması həssaslığı |
| Sözünü kəsmək | Zəng edən şəxsin agentin cavab verərkən müdaxilə etməsinə icazə verin |
GET /v1/voice/config effektiv konfiqurasiyanı qaytarır ki, müştəri aktiv mühərrikləri və bu parametrləri aşkarlaya bilsin.
Avtomatik səsli cavablar
Hazır cavabın nə vaxt səsləndiriləcəyinə „Media · Voice“ qrupunun üç parametri qərar verir (veb-interfeys → İdarəetmə → Parametrlər):
| Parametr | Açar | Dəyərlər |
|---|---|---|
| Avtomatik səsli cavablar | AIHUMMER_TTS_AUTO_REPLY |
off — heç vaxt; always — həmişə; inbound (standart) — yalnız daxil olan audioya cavab olaraq; tagged — agentin açıq səs işarəsi ilə |
| Səsləndirilən mətnin simvol həddi | AIHUMMER_TTS_MAX_CHARS |
0 (standart) — tam cavabı səsləndir; 100–10000 — səsləndirilən mətnin həddi |
| Uzun səsli cavabları xülasə et | AIHUMMER_TTS_SUMMARIZE |
standart olaraq aktiv: uzun cavab model tərəfindən həddə qədər qısaldılır; model əlçatan deyilsə, mətnin əvvəli səslənir |
Cavabın tam mətni istənilən rejimdə dialoq tarixçəsində qalır. off yalnız
avtomatik səsləndirməni söndürür — tts aləti ilə açıq sintez sorğusu
əvvəlki kimi işləyir.
Ayrıca dialoq üçün agent həmsöhbətin xahişi ilə bu dəyərləri
voice_preferences (qüvvədə olanları oxu) və set_voice_preferences
(auto, max_chars, summarize təyin et; boş obyekt instansın standart
dəyərlərini qaytarır) alətləri ilə yenidən təyin edə bilər. Yazma yalnız dialoq
iştirakçısına açıqdır. Səs çıxışı şlüz işə salındıqdan sonra qoşulmuş
provayderi götürür və konkret istifadəçinin parametrlərini nəzərə alır.
Növbəti haradır
- Bu xidmətlərin arxasındakı nəqliyyat modeli: Yan arabalar.
- Nitq tərcüməsi və video anlama: Nitqin tərcüməsi və video.
- Telefon xəttində səs: SIP teleofoniyası.