Сөйлеу аудармасы және видео

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Аспаннан тыс [сөйлеу кіріс және шығыс](/kk/v1.0/voice/stt-tts), AiHummer екі қосымша медиа мүмкіндіктерін ұсынады: **сөйлеу аудармасы** және **видеоны түсіну**. Екеуі де жұмыс істейді **тегін/жергілікті қозғалтқыштар**: аударманы STT/TTS сайдкары мен сізде бар LLM біріктіріп жасайды, ал видео өз алдына жұмыс істейді [қасындағы арба](/kk/v1.0/architecture/sidecars) URL арқылы қол жеткізілді. > [!NOTE] > Дауыс иелерін бөлу және дауыс тіркесімін көшіру **емес** өнімнің бөлігі — солар > мүмкіндіктер жойылды. Егер сіз оларды ескі материалдан көрген болсаңыз, жоспарламаңыз > оның айналасында: дауыс стегі — STT, TTS, дауыс ауысуы (`/v1/voice/turn`), > сөйлеу аудармасы және бейне түсінігі. ## Сөйлеу аудармасы Сөйлеу аудармасы бір тілдегі дыбысты екінші тілдегі сөйлеу дыбысына айналдырады, сонда агент әртүрлі тілдерде қоңырау шалушыларға қызмет көрсете алады. Бұл **агенттің ауысуы жоқ таза аударма құбыры**: кіріс аудио мәтінге жазылады (STT), мәтін бір реттік LLM толықтамасымен аударылады, және аударма дауысталдырылады (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Қосымша сайдкар қажет емес: құбыр дауыстың кезегі сияқты тегін/жергілікті сайдкарларды пайдаланады — faster-whisper`:8001`) және edge-tts (`:8002`) — сонымен қатар сіз конфигурациялаған LLM провайдері. | Бұйым | Мән | |---|---| | Соңғы нүкте | `POST /v1/voice/translate?target=<lang>` | | `target` параметр | Мақсатты тіл (BCP-47 немесе қарапайым тіл атауы); **қажет** | | Кіріс | Сұраныс денесіндегі аудио (`Content-Type`, әдепкі бойынша `audio/ogg`) | | Шығыс | Аударылған аудио (`audio/mpeg`) | | Жауап тақырыптары | `X-Voice-Transcript` — бастапқы мәтін, `X-Voice-Reply` — аударма | | Қажет етеді | STT, TTS және LLM провайдері бапталған | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Бейне түсіну Бейне түсіну клиптің құрамын аудионы демультиплексирлеу және негізгі кадрларды үлгілеу арқылы шығарады **ffmpeg** — бар **ML моделі жоқ** бұл сайдкарда; ол агенттің кезегі үшін дыбыс пен кадрларды дайындайды. | Бұйым | Мән | |---|---| | Қолдау тапқан | ffmpeg (демукс + негізгі кадрлар, ML жоқ) | | Сайдкар порты | `:8005` | | Соңғы нүкте | `POST /v1/video/understand` | | Сыммен жалғанған | `AIHUMMER_VIDEO_URL` | ## Сым Сөз сөйлеуді аудару үшін арнаулы айнымалы қажет емес: ол STT, TTS және LLM провайдері конфигурацияланғаннан кейін қосылады. Бейне түсіну өз жанындағы URL арқылы қосылады — a **каталог параметрі** сіз әкімші UI арқылы орнатасыз (**Басқару → Баптаулар**) немесе бірге `aihummer settings set` (`gateway.env` тек bootstrap үшін және ол ескерілмейді); хост-куәлік орнатушы оны қамтамасыз ете алады немесе сіз бұрыннан іске қосқан нұсқаны көрсетуге болады. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Мүмкіндіктер тәуелсіз — тек қажеттерін қосыңыз. Жіберу > тек транскрипция мен синтез қажет болса, тек STT/TTS жұбын өздігінен іске қоса алады және > видео сайдкарын конфигурацияланбаған қалдыру. ## Келесі қайда - Әдепкі сөйлеу жолы: [Дауыс кіріс пен шығыс](/kk/v1.0/voice/stt-tts). - Сайдкарлар қалай қосылады және қалай бөлінеді: [Сайдкарлар](/kk/v1.0/architecture/sidecars).