Сүйлөмдү которуу жана видео

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Артта [сүйлөө киргизүү жана чыгаруу](/ky/v1.0/voice/stt-tts), AiHummer кошумча эки медиа мүмкүнчүлүгүн сунуштайт: **тажрыйба которуу** жана **видеону түшүнүү**. Экиси тең иштейт **эркин/жергиликтүү кыймылдаткычтар**: котормо STT/TTS колдоочу модулдарынан жана сизде болуп турган LLMден жыйналат, ал эми видео өз алдынча иштейт [сайдкар](/ky/v1.0/architecture/sidecars) URL аркылуу жеткирилген. > [!NOTE] > Сүйлөөчүнү аныктоо жана үндү көчүрүү **эмес** продукттун бир бөлүгү — ошолор > мүмкүнчүлүктөр алып салынды. Эгер сиз аларды эски материалдан көргөн болсоңуз, пландоо зарыл эмес > алардын айланасында: үн процессинин топтому STT, TTS, үн кезеги (`/v1/voice/turn`), > сөйөк аудармасы жана видео түшүнүү. ## Сүйлөмдү которуу Сүйлөмдү которуу бир тилдеги аудиону башка тилдеги сүйлөмдүү аудого айлантат, ошондуктан агент ар кандай тилдеги чакыруу кимдерге кызмат көрсөтө алат. Бул **агенттин айлануусу жок таза котормо түтүгү**: кирип жаткан аудио текстке айлантылат (STT), текст бир жолу LLM аркылуу которулат, анан котормочу кайрадан айтылып берилет (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Кошумча сайдкар кереги жок: pipeline үн айлануусу үчүн колдонулган ошол эле бекер/жергиликтүү сайдкарларды колдонот — faster-whisper (`:8001`) жана edge-tts (`:8002`) — ошондой эле сиз конфигурациялаган LLM провайдери. | Элемент | Баалоо | |---|---| | Акыркы чек | `POST /v1/voice/translate?target=<lang>` | | `target` параметр | Максат тили (BCP-47 же жөнөкөй тил аты); **керек** | | Киргизүү | Суроо жообундагы үн (`Content-Type`, демейки боюнча `audio/ogg`) | | Чыгаруу | Аудиону которуу (`audio/mpeg`) | | Жооп баштары | `X-Voice-Transcript` — булагы текст, `X-Voice-Reply` — котормо | | Талап кылат | STT, TTS жана LLM провайдери конфигурацияланган | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Видеону түшүнүү Видео түшүнүү клиптин ичинде эмне бар экенин аудиону демукс жана негизги кадрларды тандап алуу аркылуу чыгарат **ffmpeg** — бар **ML модели жок** Бул сайдкарда; ал агенттин кезеги үчүн аудио жана кадрларды даярдайт. | Элемент | Баалоо | |---|---| | Колдоого алынган | ffmpeg (демукс + ачкыч кадрлар, ML жок) | | Сайдкар порту | `:8005` | | Акыркы чек | `POST /v1/video/understand` | | Сым менен туташтырылган | `AIHUMMER_VIDEO_URL` | ## Зымдарды туташтыруу Сүйлөмдү которуу үчүн өзгөчө өзгөрмө талап кылынбайт: ал STT, TTS жана LLM провайдери конфигурацияланган учурда активдешет. Видео түшүнүү анын сайлдаш URL аркылуу ишке ашырылат — а **каталог жөндөмдөрү** сиз админ интерфейсинен аны түзөсүз (**Башкаруу → Багыттоолор**) же менен `aihummer settings set` (`gateway.env` бул болгону bootstrap үчүн жана андан четке кагылат); хосттун жергиликтүү орнотуучусу аны камсыздай алат, же мурунтан иштетип жаткан инстанцияга көрсөтө алат. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Мүмкүнчүлүктөр көз карандысыз — болгондорду гана иштетип койсоңуз болот. Жөнөтүү > бул анын транскрипция жана синтезди гана талап кылат, STT/TTS жупту жалгыз эле иштете алат жана > Видеонун сайдкары жок настройкада калтыр. ## Келерки кайда - Адаттагы сүйлөө жолу: [Сүйлөө киргизүү жана чыгаруу](/ky/v1.0/voice/stt-tts). - Сайдкарлар кантип туташтырылып, бөлүштүрүлөт: [Сайдкарлар](/ky/v1.0/architecture/sidecars).