Nutq kirish va chiqish (STT / TTS)
AiHummer tutqichlari qutidan kiruvchi va chiquvchi nutq — to‘lanadigan nutq API’si talab qilinmaydi. Kiruvchi audio klip transkriptsiya qilinadi (STT), matn odatiy agent navbatini boshqaradi va javob qayta aytiladi (TTS). Ikkala dvigatel ham bepul va mahalliy va sifatida yuritish yon aravachalar: transkripsiya uchun faster-whisper va sintez uchun edge-tts.
Ovoz aylanishi qanday ishlaydi
Ovoz bilan navbat — bu ikkala tomonda ham audio mavjud bo‘lgan odatiy agent navbatidir:
- Shlyuz kiruvchi audio signallarni jo‘natadi STT saydkar (
:8001, faster-whisper) va matnni qaytaradi. - U matn odatdagi funksiya chaqirish navbatini boshqaradi — xuddi shu router, orkestrator, asboblar va xotira matn xabari sifatida.
- Javob matni yuboriladi TTS yon avtomobil (
:8002, edge-tts) va gaplangan audio qo’ng’iroq qiluvchiga qaytariladi.
Bu bitta yakuniy nuqta sifatida ochiladi, POST /v1/voice/turn, shuning uchun kanal yoki mijoz audio faylini yuborishi va qabul qilishi mumkin, o‘z-o‘zidan bosqichlarni boshqarmasdan.
Oxirgi nuqtalar
| Usul | Tugun nuqtasi | Maqsad |
|---|---|---|
POST |
/v1/voice/turn |
Audio kirish → agent navbati → audio chiqish |
GET |
/v1/voice/config |
Joriy ovoz sozlamalari (dvigatellar, sozlash knopkalari) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Nutq xususiyatlari qismlaridan biridir yadro — ular SIP plaginiga bog‘lanmagan. SIP kanali bu STT/TTS dvigatellaridan o’zida foydalanadi
localdvigatel, lekin ovoz in/out har qanday qo‘ng‘iroq qiladigan mijoz uchun ishlaydi/v1/voice/turn.
Ovoz yon mashinalari
| Port | Yon arava | Dvigatel | Rol | Simlangan |
|---|---|---|---|---|
| 8001 | STT | tezroq-pichir | nutq → matn | AIHUMMER_STT_URL |
| 8002 | TTS | edge-tts | matn → nutq | AIHUMMER_TTS_URL |
Ikkala dvigatel ham bepul va mahalliy: hech narsa pullik nutq yetkazib beruvchiga yuborilmaydi. Har bir kirish uskunasida bo’lgani kabi, eshik ularga yetib boradi URL orqali, shuning uchun ularni darvozaga yonma-yon yoki umumiy instansiyani ko‘rsatib ishga tushirishingiz mumkin.
Simlash
Xost-local o‘rnatgich STT va TTS URL manzillarini siz uchun o‘rnatadi. Ular katalog sozlamalari — ularni admin UI orqali o’zgartiring (Boshqaruv → Sozlamalar) yoki bilan aihummer settings set; gateway.env faqat bootstrap uchun va bular uchun e’tiborga olinmaydi:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Chunki har bir sidecar shunchaki URL bo‘lgani uchun, bir nechta gateway bitta STT/TTS ni ulashlari mumkin misol. Har bir nusxasini ishga tushirish o’rniga og’irroq nutq xizmatlarini markazlashtiring mezbon.
Audio yo‘lini sozlash
Ovoz sifati tugmalari ichida yashaydi Media · Ovoz sozlamalar guruhi bo‘lib, veb-admin UI orqali sozlanishi mumkin — qayta joylashni talab qilmaydi. Ular real vaqtdagi audio yo‘lini qamrab oladi:
| Tutqich | Nimani boshqaradi |
|---|---|
| Dupleks | To’liq dupleks (gaplashayotganda eshitish) va yarim dupleks |
| AEC | Akustik aks sado bekor qilinishi |
| Shovqinni bostirish | STTdan oldin fon shovqinini filtrlaydi |
| AGC | Avtomatik daraja boshqaruvi (daraja normallashtirish) |
| VAD chegarasi | Ovoz faoliyatini aniqlash sezgirligi |
| Aralashish | Qo’ng’iroq qiluvchiga agent javob berayotgan paytda so’zni to’xtatishga ruxsat bering |
GET /v1/voice/config mijoz faol dvigatellar va ushbu sozlamalarni aniqlay olishi uchun samarali konfiguratsiyani qaytaradi.
Keyingi qayerga
- Ushbu xizmatlarning orqasidagi transport modeli: Yon aravachalar.
- Nutqni tarjima qilish va video tushunish: Nutqni tarjima qilish va video.
- Telefon liniyasidagi ovoz: SIP telefoniya.