Акрамя маўлення ўваход і выхад, AiHummer прапануе чатыры
дадатковыя, апцыянальныя медыя-магчымасці: дыярызацыю дыктараў, пераклад
маўлення, кланаванне голасу і разуменне відэа. Кожная працуе афлайн
на бясплатных/лакальных рухавіках як сайдкар,
дасягальны праз URL.
[!NOTE]
Гэта функцыі ядра / сайдкараў, а не функцыі SIP. Сам канал SIP падтрымлівае
толькі STT, TTS, barge-in, DTMF і запіс — дыярызацыя, пераклад і кланаванне
голасу належаць да галасавога ядра, выстаўленага на /v1/voice/*.
Дыярызацыя дыктараў
Дыярызацыя адказвае на пытанне “хто і калі гаварыў” у аўдыякліпе з некалькімі
дыктарамі. Яна запускае pyannote speaker-diarization-3.1, афлайн, у сайдкары
diarize.
Элемент
Значэнне
Рухавік
pyannote speaker-diarization-3.1 (афлайн)
Порт сайдкара
:8003
Канчатковая кропка
POST /v1/voice/diarize
Падключаецца праз
AIHUMMER_DIARIZE_URL
Пераклад маўлення
Пераклад пераводзіць маўленне (ці яго транскрыпт) з адной мовы на іншую, каб агент
мог абслугоўваць тых, хто тэлефануе, на розных мовах.
Элемент
Значэнне
Канчатковая кропка
POST /v1/voice/translate
Кланаванне голасу
Кланаванне голасу сінтэзуе маўленне ў мэтавым голасе. Яно запускае OpenVoice V2 з
MeloTTS — афлайн і пад ліцэнзіяй MIT — у сайдкары voiceclone.
Элемент
Значэнне
Рухавік
OpenVoice V2 + MeloTTS (афлайн, MIT)
Порт сайдкара
:8004
Канчатковая кропка
POST /v1/voice/clone
Падключаецца праз
AIHUMMER_VOICECLONE_URL
Разуменне відэа
Разуменне відэа здабывае тое, што змяшчае кліп, шляхам дэмультыплексавання аўдыа і
сэмплавання ключавых кадраў з ffmpeg — у гэтым сайдкары няма ML-мадэлі; ён
рыхтуе аўдыа і кадры для ходу агента.
Элемент
Значэнне
На аснове
ffmpeg (дэмультыплексаванне + ключавыя кадры, без ML)
Порт сайдкара
:8005
Канчатковая кропка
POST /v1/video/understand
Падключаецца праз
AIHUMMER_VIDEO_URL
Падключэнне
Кожная магчымасць актыўная толькі тады, калі заданы URL яе сайдкара.
Хост-натыўны ўсталёўшчык можа правізіянаваць іх, ці вы можаце накіраваць іх на
асобнікі, якія вы ўжо запускаеце.
[!TIP]
Гэтыя сайдкары незалежныя — уключайце толькі тыя, якія вам патрэбны.
Разгортванне, якому проста трэба транскрыпцыя і сінтэз, можа запускаць пару
STT/TTS адну і пакінуць diarize, voiceclone і video неналаджанымі.
Акрамя [маўлення ўваход і выхад](/be/v1.0/voice/stt-tts), AiHummer прапануе чатыры
дадатковыя, апцыянальныя медыя-магчымасці: **дыярызацыю дыктараў**, **пераклад
маўлення**, **кланаванне голасу** і **разуменне відэа**. Кожная працуе **афлайн
на бясплатных/лакальных рухавіках** як [сайдкар](/be/v1.0/architecture/sidecars),
дасягальны праз URL.
> [!NOTE]
> Гэта **функцыі ядра / сайдкараў**, а не функцыі SIP. Сам канал SIP падтрымлівае
> толькі STT, TTS, barge-in, DTMF і запіс — дыярызацыя, пераклад і кланаванне
> голасу належаць да галасавога ядра, выстаўленага на `/v1/voice/*`.
## Дыярызацыя дыктараў
Дыярызацыя адказвае на пытанне "хто і калі гаварыў" у аўдыякліпе з некалькімі
дыктарамі. Яна запускае **pyannote `speaker-diarization-3.1`**, афлайн, у сайдкары
diarize.
| Элемент | Значэнне |
|---|---|
| Рухавік | pyannote `speaker-diarization-3.1` (афлайн) |
| Порт сайдкара | `:8003` |
| Канчатковая кропка | `POST /v1/voice/diarize` |
| Падключаецца праз | `AIHUMMER_DIARIZE_URL` |
## Пераклад маўлення
Пераклад пераводзіць маўленне (ці яго транскрыпт) з адной мовы на іншую, каб агент
мог абслугоўваць тых, хто тэлефануе, на розных мовах.
| Элемент | Значэнне |
|---|---|
| Канчатковая кропка | `POST /v1/voice/translate` |
## Кланаванне голасу
Кланаванне голасу сінтэзуе маўленне ў мэтавым голасе. Яно запускае **OpenVoice V2 з
MeloTTS** — афлайн і **пад ліцэнзіяй MIT** — у сайдкары voiceclone.
| Элемент | Значэнне |
|---|---|
| Рухавік | OpenVoice V2 + MeloTTS (афлайн, MIT) |
| Порт сайдкара | `:8004` |
| Канчатковая кропка | `POST /v1/voice/clone` |
| Падключаецца праз | `AIHUMMER_VOICECLONE_URL` |
## Разуменне відэа
Разуменне відэа здабывае тое, што змяшчае кліп, шляхам дэмультыплексавання аўдыа і
сэмплавання ключавых кадраў з **ffmpeg** — у гэтым сайдкары **няма ML-мадэлі**; ён
рыхтуе аўдыа і кадры для ходу агента.
| Элемент | Значэнне |
|---|---|
| На аснове | ffmpeg (дэмультыплексаванне + ключавыя кадры, без ML) |
| Порт сайдкара | `:8005` |
| Канчатковая кропка | `POST /v1/video/understand` |
| Падключаецца праз | `AIHUMMER_VIDEO_URL` |
## Падключэнне
Кожная магчымасць актыўная толькі тады, калі заданы URL яе сайдкара.
Хост-натыўны ўсталёўшчык можа правізіянаваць іх, ці вы можаце накіраваць іх на
асобнікі, якія вы ўжо запускаеце.
```ini
# gateway.env — optional voice/video sidecars
AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003
AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005
```
> [!TIP]
> Гэтыя сайдкары незалежныя — уключайце толькі тыя, якія вам патрэбны.
> Разгортванне, якому проста трэба транскрыпцыя і сінтэз, можа запускаць пару
> STT/TTS адну і пакінуць diarize, voiceclone і video неналаджанымі.
## Куды далей
- Шлях маўлення па змаўчанні:
[Маўленне ўваход і выхад](/be/v1.0/voice/stt-tts).
- Як сайдкары падключаюцца і дзеляцца:
[Сайдкары](/be/v1.0/architecture/sidecars).
