Сухан гуфтан ва шунидан (STT / TTS)
Дастгирии AiHummer гуфтор дохили қуттӣ ва хориҷ аз қуттӣ — ҳеҷ гуна API барои суханрониҳои пулакӣ лозим нест. Қисмати аудиои воридшударо навишта мегиранд (STT), матн гардиши агенти оддаро идора мекунад ва ҷавоб баргардонида мешавад (TTS). Ҳар ду муҳаррик озод ва маҳаллӣ ва номзад шудан барои саҳни канорӣ: faster-whisper барои транскрипсия ва edge-tts барои синтез.
Чӣ гуна садо гардиш мекунад
Шунидани овоз як гардиши маъмулӣ аст, ки бо садо дар ҳар ду ҷониб сурат мегирад:
- Дарвоза аудиои воридшударо ба Сайдкари STT (
:8001, бояд зуд-нохушӣ кунад ва матнро бармегардонад. - Он матн гардиши оддии зангҳои функсияро оғоз мекунад — ҳамон маршрутизатор, ҳамон оркестратор асбобҳо ва хотира ҳамчун паёми матнӣ.
- Матни посух ба фиристода мешавад ба Сайдкари TTS (
:8002, edge-tts) ва Овози гуфторӣ ба зангзананда баргардонида мешавад.
Ин ҳамчун як нуқтаи охиринамо намоён шудааст POST /v1/voice/turnпас як канал ё мизоҷ метавонад аудиоро супорад ва аудиоро қабул кунад бе он ки қадамҳоро худаш идора кунад.
Нуқтаҳои ниҳоӣ
| Усул | Нуқтаи охирин | Мақсад |
|---|---|---|
POST |
/v1/voice/turn |
Овози дохил → навбати агент → овози хориҷӣ |
GET |
/v1/voice/config |
Танзими овози ҳозира (моторт, тугмаҳои танзим) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Хусусиятҳои нутқ як қисмати афзалият — онҳо ба плагини SIP вобаста нестанд. Он Сантари SIP ҳамин муҳаррикҳои STT/TTS-ро барои истифодаи худ истифода мебарад.
localмотор, лекин овоз дар/барояд барои ҳар як муштарие, ки тавассути занг муроҷиат мекунад/v1/voice/turn.
Садои паҳлӯӣ
| Бандар | Сайдкар | Мотар | Нақш | Бо васлшуда |
|---|---|---|---|---|
| 8001 | СТТ | пишкӯҳи зуд | сухан → матн | AIHUMMER_STT_URL |
| 8002 | ТТС | edge-tts | матн → сухан | AIHUMMER_TTS_URL |
Ҳарду муҳаррик озод ва маҳаллӣ ҳастанд: чизе ба фурӯшандаи риторикаи пулакошудашуда фиристода намешавад. Мисли ҳар як сайдкар, дарвозаи онҳо расида мерасад аз тариқи URLто шумо метавонед онҳоро дар соҳили дарвоза иҷро кунед ё ба як намунаи муштараки ишора кунед.
Сими барқӣ
Насбкунандаи мизбон-забони маҳаллӣ URL-ҳои STT ва TTS-ро барои шумо муқаррар мекунад. Онҳо танзимоти каталог — онҳоро аз интерфейси идоракунӣ тағйир диҳед (Идоракунӣ → Танзимот) ё бо aihummer settings set; gateway.env танҳо барои bootstrap аст ва барои инҳо нодида гирифта мешавад:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Зеро ҳар як сайдкар танҳо як URL аст, чандин дарвоза метавонанд як STT/TTS-ро бо ҳам мубодила кунанд масъала. Хизматрасониҳои гуфтори вазнинтарро мутамарказ кунед, на ин ки нусхаи алоҳидаро иҷро кунед мизбон
Танзими роҳҳои аудио
Тугмаҳои сифати овоз дар дохили ВАО · Овоз гурӯҳи танзимот ва аз веб-интерфейси идораи маъмурият имконпазир аст — такроран насб кардан лозим нест. Онҳо роҳи садои вақти воқеиро фаро мегиранд:
| Даста | Чӣро назорат мекунад |
|---|---|
| Дуплекс | Пурфосилагӣ (гӯш кардан ҳангоми сухан гуфтан) бар муқобили нимфосилагӣ |
| AEC | Барҳам додани эхи акустикӣ |
| Садокамкунӣ | Пеш аз STT садои пасзаминаро филтр мекунад |
| AGC | Назорати худкори афзоиш (муътадилсозии сатҳ) |
| Марҳилаи VAD | Ҳассосияти ошкоркунии фаъолият бо овоз |
| Мӯҷиқона ворид шудан | Бигузоред ки зангзананда агенти посухгӯро дар миёнаи ҷавобаш қатъ кунад |
GET /v1/voice/config тартиботи самаранокро бармегардонад, то муштарӣ метавонад муҳаррикҳои фаъол ва ин танзимотро пайдо кунад.
Ҷавобҳои овозии худкор
Кай садо додани ҷавоби тайёрро се танзимоти гурӯҳи «Media · Voice» ҳал мекунанд (веб-интерфейс → Идоракунӣ → Танзимот):
| Танзимот | Калид | Қиматҳо |
|---|---|---|
| Ҷавобҳои овозии худкор | AIHUMMER_TTS_AUTO_REPLY |
off — ҳеҷ гоҳ; always — ҳамеша; inbound (пешфарз) — танҳо дар ҷавоб ба аудиои воридшаванда; tagged — аз рӯи нишонаи овозии возеҳи агент |
| Ҳадди аломатҳои матни овозӣ | AIHUMMER_TTS_MAX_CHARS |
0 (пешфарз) — ҷавоби пурраро садо додан; 100–10000 — ҳадди матни садододашаванда |
| Кӯтоҳ кардани ҷавобҳои овозии дароз | AIHUMMER_TTS_SUMMARIZE |
аз рӯи пешфарз фаъол: ҷавоби дарозро модел то ҳад кӯтоҳ мекунад; агар модел дастрас набошад, аввали матн садо медиҳад |
Матни пурраи ҷавоб дар ҳар реҷа дар таърихи муколама мемонад. off танҳо
садодиҳии худкорро хомӯш мекунад — дархости возеҳи синтез тавассути абзори
tts мисли пештара кор мекунад.
Барои муколамаи алоҳида агент метавонад бо хоҳиши ҳамсӯҳбат ин қиматҳоро бо
абзорҳои voice_preferences (хондани қиматҳои амалкунанда) ва
set_voice_preferences (муайян кардани auto, max_chars, summarize;
объекти холӣ пешфарзҳои инстансро бармегардонад) аз нав муайян кунад.
Навиштан танҳо ба иштирокчии муколама дастрас аст. Баромади овозӣ провайдери
пас аз оғози шлюз пайвастшударо мегирад ва танзимоти корбари мушаххасро ба
назар мегирад.
Баъд ба куҷо
- Намунаи нақлиётӣ, ки паси ин хизматрасониҳо қарор дорад: Сайдкарҳо.
- Тарҷумаи нутқ ва дарки видео Тарҷумаи нутқ ва видео.
- Овоз дар хатти телефон: Телефонии SIP.