Ses girizmek we çykarmak (STT / TTS)
AiHummer tutawaçlary gutudan geplemek we gutudan eşitmek — Tölegli ses API-ä zerurlyk ýok. Gelýän ses klipi transkriptirlenýär (STT), tekst adatdaky agentiň öwrümini ilerledýär we jogap gaýtadan aýdylýar (TTS). Iki motor hem erkin we ýerli we işletmek hökmünde jäkli motosikl: transkriptiýa üçin faster-whisper we sintez üçin edge-tts.
Ses üýtgemesi nähili işleýär
Ses bilen öwrülmek, ikinji tarapyň hem sesli bolmagy bilen adaty agent öwrülmegidir:
- Şlýuz gelýän sesi şulara iberýär STT sajdarka (
:8001, faster-whisper) we beýlek öňe tekst alýar. - Şol tekst adaty funksiýany çagyrmak öwrüni batyrýar — şol bir marshrut, orkestrator, gural we ýat text habary hökmünde.
- Jogap teksti şanly adama iberilýär TTS ýany (
:8002, edge-tts) we deşirilýän ses jaň edijiň özüne gaýtarylýar.
Bu birinji derejeli nokat hökmünde beýany öňe sürülýär, POST /v1/voice/turn, şonuň üçin bir kanal ýa-da müşderi sesi berip we sesi alyp biler, özbaşdak ädimleri guramalaşdyrman.
Ahyry noktalar
| Usul | Uly nokat | Maksat |
|---|---|---|
POST |
/v1/voice/turn |
Ses girýär → agentiniň nobaty → ses öňe çykýar |
GET |
/v1/voice/config |
Häzirki ses sazlamasy (motorlar, sazlama düwmeleri) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Sözleýiş mümkinçilikleri ýadronyň bölegidir we SIP plaginine baglanmaýar. SIP kanaly öz öňündäki STT/TTS motorlaryny şol bir zat üçin ulanýar
localmotor, ýöne ses giriş/çykyş/v1/voice/turnçagyrýan islendik müşderide işleýär.
Ses ýan arabalary
| Port | Sidekar | Motor | Roł | Simli |
|---|---|---|---|---|
| 8001 | STT | hasapyn-düşünmek | söz → tekst | AIHUMMER_STT_URL |
| 8002 | TTS | edge-tts | tekst → ses | AIHUMMER_TTS_URL |
Iki motor hem mugt we ýerli: tölegli ses hyzmatyna hiç zat iberilmeýär. Her bir tarap awtobusy ýaly, gapyja olar bilen birleşýär URL boýunça, şonuň üçin olary gapyjynyň ýanynda ýa-da paýlaşylan nusganyň üstünde işledip bilersiňiz.
Simlemek
Meýdanja-özüni gurujy sazlaýjy siziň üçin STT we TTS URL-lerini kesgitleýär. Olar katalog sazlamalary — olary administrasiýa interfeýsinden üýtgediň (Dolandyryş → Sazlamalar) ýa-da bilen aihummer settings set; gateway.env diňe bootstrap üçin we bular üçin üns berilmeýär:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Sebäbi her bir sidecar diňe bir URL, birnäçe geçelgeler bir STT/TTS paýlaşyp biler mysal. Her bir nusgasy çykarmak ýerine agramly gepleşik hyzmatlaryny merkezileşdiriň myhmançylyk ediji.
Ses ýoluny sazlamak
Ses hili düwmeleriň ýaşaýan ýeri Media · Ses Sazlamalar topary bolup, web administrasiýa interfeýsinden sazlap bolýar — täzeden ýerleşdirmek talap edilmeýär. Olar real wagtly ses ýoly bilen baglanyşyklydyr:
| Tutga | Ol näme gözegçilik edýär |
|---|---|
| Dupleks | Tutly duplex (gapyşygyňyz dowam edende diňle) vs ýarym duplex |
| AEC | Akustiki gaýtalanmagy ýok etmek |
| Ses basyşyny azaltdy | Sesden teksti tanamakdan öň fon sesini süzüp berýär |
| AGC | Avtomatiki girdeji dolandyryşy (derejä deňleşdirme) |
| VAD çägi | Ses hereketini anyklamagyň duýgurlygy |
| Aralyk goýmazlyk | Jaň ediji ageniniň jogabynyň ortasynda garyşmagyna rugsat ber |
GET /v1/voice/config netijeli sazlamany yzyna berýär, şondan klient işjeň motorlary we bu sazlamalary tapyp biler.
Indi nire?
- Bu hyzmatlaryň yzyndaky ulag modeli: Sidecarlar.
- Söz terjime we wideo düşünmek: Sözlü terjimä we wideo.
- Telefon liniýasynyň sesi: SIP telefonçylygy.