Diarization, тарҷума, клонкунӣ ва видео

# gateway.env — optional voice/video sidecars
AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003
AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005

Илова бар [нутқ ба дарун ва берун](/tg/v1.0/voice/stt-tts), AiHummer чор имконияти иловагӣ ва opt-in-и медиа пешниҳод мекунад: **diarization-и гӯянда**, **тарҷумаи нутқ**, **клонкунии овоз** ва **фаҳмиши видео**. Ҳар яке **офлайн дар муҳаррикҳои ройгон/маҳаллӣ** ҳамчун [sidecar](/tg/v1.0/architecture/sidecars), ки тавассути URL дастрас аст, иҷро мешавад. > [!NOTE] > Инҳо **хусусиятҳои core / sidecar** ҳастанд, на хусусиятҳои SIP. Худи канали SIP > танҳо STT, TTS, barge-in, DTMF ва сабтро дастгирӣ мекунад — diarization, тарҷума ва > клонкунии овоз ба core voice тааллуқ доранд, ки дар `/v1/voice/*` намоиш дода мешаванд. ## Diarization-и гӯянда Diarization ба «кӣ кай гап зад» дар як клипи аудио бо чанд гӯянда ҷавоб медиҳад. Он **pyannote `speaker-diarization-3.1`**-ро офлайн дар sidecar-и diarize иҷро мекунад. | Объект | Қимат | |---|---| | Муҳаррик | pyannote `speaker-diarization-3.1` (офлайн) | | Порти sidecar | `:8003` | | Endpoint | `POST /v1/voice/diarize` | | Симбандӣ бо | `AIHUMMER_DIARIZE_URL` | ## Тарҷумаи нутқ Тарҷума нутқро (ё transcript-и онро) аз як забон ба забони дигар табдил медиҳад, то агент тавонад занггузорандагонро дар забонҳои гуногун хидмат кунад. | Объект | Қимат | |---|---| | Endpoint | `POST /v1/voice/translate` | ## Клонкунии овоз Клонкунии овоз нутқро дар овози ҳадафӣ синтез мекунад. Он **OpenVoice V2 бо MeloTTS**-ро иҷро мекунад — офлайн ва **бо литсензияи MIT** — дар sidecar-и voiceclone. | Объект | Қимат | |---|---| | Муҳаррик | OpenVoice V2 + MeloTTS (офлайн, MIT) | | Порти sidecar | `:8004` | | Endpoint | `POST /v1/voice/clone` | | Симбандӣ бо | `AIHUMMER_VOICECLONE_URL` | ## Фаҳмиши видео Фаҳмиши видео он чизеро, ки клип дар бар мегирад, бо demux кардани аудио ва намунабардории keyframe-ҳо бо **ffmpeg** истихроҷ мекунад — дар ин sidecar **ҳеҷ модели ML нест**; он аудио ва фреймҳоро барои навбати агент тайёр мекунад. | Объект | Қимат | |---|---| | Дар асоси | ffmpeg (demux + keyframes, бе ML) | | Порти sidecar | `:8005` | | Endpoint | `POST /v1/video/understand` | | Симбандӣ бо | `AIHUMMER_VIDEO_URL` | ## Симбандӣ Ҳар имконият танҳо вақте фаъол аст, ки URL-и sidecar-и он муқаррар шуда бошад. Насбкунандаи host-native метавонад инҳоро таъмин кунад, ё шумо метавонед онҳоро ба instance-ҳое, ки аллакай иҷро мекунед, ишора кунед. ```ini # gateway.env — optional voice/video sidecars AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003 AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004 AIHUMMER_VIDEO_URL=http://127.0.0.1:8005 ``` > [!TIP] > Ин sidecar-ҳо мустақил ҳастанд — танҳо онҳоеро, ки лозим доред, фаъол кунед. Як > ҷойгиркуние, ки танҳо ба transcription ва синтез ниёз дорад, метавонад ҷуфти > STT/TTS-ро танҳо иҷро кунад ва diarize, voiceclone ва видеоро танзимнашуда гузорад. ## Қадами навбатӣ ба куҷо - Масири нутқи нобаёнӣ: [Нутқ ба дарун ва берун](/tg/v1.0/voice/stt-tts). - Чӣ тавр sidecar-ҳо симбандӣ ва муштарак карда мешаванд: [Sidecar-ҳо](/tg/v1.0/architecture/sidecars).