Ses girizmek we çykarmak (STT / TTS)
AiHummer tutawaçlary gutudan geplemek we gutudan eşitmek — Tölegli ses API-ä zerurlyk ýok. Gelýän ses klipi transkriptirlenýär (STT), tekst adatdaky agentiň öwrümini ilerledýär we jogap gaýtadan aýdylýar (TTS). Iki motor hem erkin we ýerli we işletmek hökmünde jäkli motosikl: transkriptiýa üçin faster-whisper we sintez üçin edge-tts.
Ses üýtgemesi nähili işleýär
Ses bilen öwrülmek, ikinji tarapyň hem sesli bolmagy bilen adaty agent öwrülmegidir:
- Şlýuz gelýän sesi şulara iberýär STT sajdarka (
:8001, faster-whisper) we beýlek öňe tekst alýar. - Şol tekst adaty funksiýany çagyrmak öwrüni batyrýar — şol bir marshrut, orkestrator, gural we ýat text habary hökmünde.
- Jogap teksti şanly adama iberilýär TTS ýany (
:8002, edge-tts) we deşirilýän ses jaň edijiň özüne gaýtarylýar.
Bu birinji derejeli nokat hökmünde beýany öňe sürülýär, POST /v1/voice/turn, şonuň üçin bir kanal ýa-da müşderi sesi berip we sesi alyp biler, özbaşdak ädimleri guramalaşdyrman.
Ahyry noktalar
| Usul | Uly nokat | Maksat |
|---|---|---|
POST |
/v1/voice/turn |
Ses girýär → agentiniň nobaty → ses öňe çykýar |
GET |
/v1/voice/config |
Häzirki ses sazlamasy (motorlar, sazlama düwmeleri) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Sözleýiş mümkinçilikleri ýadronyň bölegidir we SIP plaginine baglanmaýar. SIP kanaly öz öňündäki STT/TTS motorlaryny şol bir zat üçin ulanýar
localmotor, ýöne ses giriş/çykyş/v1/voice/turnçagyrýan islendik müşderide işleýär.
Ses ýan arabalary
| Port | Sidekar | Motor | Roł | Simli |
|---|---|---|---|---|
| 8001 | STT | hasapyn-düşünmek | söz → tekst | AIHUMMER_STT_URL |
| 8002 | TTS | edge-tts | tekst → ses | AIHUMMER_TTS_URL |
Iki motor hem mugt we ýerli: tölegli ses hyzmatyna hiç zat iberilmeýär. Her bir tarap awtobusy ýaly, gapyja olar bilen birleşýär URL boýunça, şonuň üçin olary gapyjynyň ýanynda ýa-da paýlaşylan nusganyň üstünde işledip bilersiňiz.
Simlemek
Meýdanja-özüni gurujy sazlaýjy siziň üçin STT we TTS URL-lerini kesgitleýär. Olar katalog sazlamalary — olary administrasiýa interfeýsinden üýtgediň (Dolandyryş → Sazlamalar) ýa-da bilen aihummer settings set; gateway.env diňe bootstrap üçin we bular üçin üns berilmeýär:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Sebäbi her bir sidecar diňe bir URL, birnäçe geçelgeler bir STT/TTS paýlaşyp biler mysal. Her bir nusgasy çykarmak ýerine agramly gepleşik hyzmatlaryny merkezileşdiriň myhmançylyk ediji.
Ses ýoluny sazlamak
Ses hili düwmeleriň ýaşaýan ýeri Media · Ses Sazlamalar topary bolup, web administrasiýa interfeýsinden sazlap bolýar — täzeden ýerleşdirmek talap edilmeýär. Olar real wagtly ses ýoly bilen baglanyşyklydyr:
| Tutga | Ol näme gözegçilik edýär |
|---|---|
| Dupleks | Tutly duplex (gapyşygyňyz dowam edende diňle) vs ýarym duplex |
| AEC | Akustiki gaýtalanmagy ýok etmek |
| Ses basyşyny azaltdy | Sesden teksti tanamakdan öň fon sesini süzüp berýär |
| AGC | Avtomatiki girdeji dolandyryşy (derejä deňleşdirme) |
| VAD çägi | Ses hereketini anyklamagyň duýgurlygy |
| Aralyk goýmazlyk | Jaň ediji ageniniň jogabynyň ortasynda garyşmagyna rugsat ber |
GET /v1/voice/config netijeli sazlamany yzyna berýär, şondan klient işjeň motorlary we bu sazlamalary tapyp biler.
Awtomatiki sesli jogaplar
Taýýar jogaby haçan seslendirmelidigini „Media · Voice“ toparynyň üç sazlamasy çözýär (web-interfeýs → Dolandyryş → Sazlamalar):
| Sazlama | Açar | Bahalar |
|---|---|---|
| Awtomatiki sesli jogaplar | AIHUMMER_TTS_AUTO_REPLY |
off — hiç haçan; always — elmydama; inbound (adaty) — diňe gelýän audio jogap hökmünde; tagged — agentiň aýdyň ses belligi boýunça |
| Seslendirilen tekstiň nyşan çägi | AIHUMMER_TTS_MAX_CHARS |
0 (adaty) — doly jogaby seslendirmek; 100–10000 — seslendirilýän tekstiň çägi |
| Uzyn sesli jogaplary gysgaltmak | AIHUMMER_TTS_SUMMARIZE |
adaty ýagdaýda açyk: uzyn jogap model tarapyndan çäge çenli gysgaldylýar; model elýeterli bolmasa, tekstiň başy seslenýär |
Jogabyň doly teksti islendik režimde dialog taryhynda galýar. off diňe
awtomatiki seslendirmegi öçürýär — tts guraly arkaly aýdyň sintez soragy
öňküsi ýaly işleýär.
Aýratyn dialog üçin agent söhbetdeşiň haýyşy bilen bu bahalary
voice_preferences (hereket edýänleri okamak) we set_voice_preferences
(auto, max_chars, summarize kesgitlemek; boş obýekt instansyň adaty
bahalaryny gaýtarýar) gurallary bilen täzeden kesgitläp bilýär. Ýazmak diňe
dialogyň gatnaşyjysyna elýeterli. Ses çykyşy şlýuz işe girizilenden soň
birikdirilen üpjün edijini alýar we anyk ulanyjynyň sazlamalaryny göz öňünde
tutýar.
Indi nire?
- Bu hyzmatlaryň yzyndaky ulag modeli: Sidecarlar.
- Söz terjime we wideo düşünmek: Sözlü terjimä we wideo.
- Telefon liniýasynyň sesi: SIP telefonçylygy.