Kalbos vertimas ir vaizdo įrašas

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Už [kalba į vidų ir į išorę](/lt/v1.0/voice/stt-tts), „AiHummer“ siūlo dar dvi papildomas medijų galimybes: **kalbos vertimas** ir **vaizdo įrašų supratimas**. Abu veikia **nemokami/vietiniai varikliai**: vertimas surenkamas iš STT/TTS pagalbinių programų ir jau turimo LLM, o vaizdo įrašas veikia atskirai [šoninė priekaba](/lt/v1.0/architecture/sidecars) pasiekiama naudojant URL. > [!NOTE] > Kalbėtojų diarizacija ir balso klonavimas yra **ne** produkto dalis — tie > galimybės buvo pašalintos. Jei matėte jas senesnėje medžiagoje, neplanuokite > jų aplinkoje: balso sistema yra STT, TTS, balso eilė (`/v1/voice/turn`), > kalbos vertimas ir vaizdo supratimas. ## Kalbos vertimas Kalbų vertimas paverčia garso įrašą viena kalba į kalbėtą garsą kita kalba, todėl operatorius gali aptarnauti skambinančiuosius įvairiomis kalbomis. Tai yra **gryna vertimo grandinė be agento eilutės**: įeinantis garso signalas yra transkribuojamas (STT), tekstas išverčiamas naudojant vienkartinį LLM užbaigimą, o vertimas yra atkuriamas žodžiu (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Papildomas šalutinis komponentas nėra reikalingas: vamzdynas naudoja tuos pačius nemokamus/vietinius šalutinius komponentus kaip balso paketas — faster-whisper (`:8001`) ir edge-tts (`:8002`) — plius jūsų sukonfigūruotas LLM tiekėjas. | Prekė | Vertė | |---|---| | Galinis taškas | `POST /v1/voice/translate?target=<lang>` | | `target` parametras | Tikslinė kalba (BCP-47 arba paprastas kalbos pavadinimas); **reikalingas** | | Įvestis | Garso įrašas užklausos kūne (`Content-Type`, pagal numatytuosius nustatymus `audio/ogg`) | | Išvestis | Išverstas garsas (`audio/mpeg`) | | Atsakymo antraštės | `X-Voice-Transcript` — šaltinio tekstas, `X-Voice-Reply` — vertimas | | Reikalauja | STT, TTS ir LLM tiekėjas sukonfigūruoti | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Vaizdo įrašų supratimas Vaizdo įrašo supratimas ištraukia tai, ką turi įrašo klipas, atskirdamas garsą ir imdamas pagrindinius kadrus su **ffmpeg** — yra **nėra ML modelio** šiame šoniniame inde; jis paruošia garso įrašus ir kadrus agento ėjimui. | Prekė | Vertė | |---|---| | Palaikomas | ffmpeg (demiksa + pagrindiniai kadrai, be ML) | | Šoninio vežimėlio uostas | `:8005` | | Galinis taškas | `POST /v1/video/understand` | | Sujungtas laidais | `AIHUMMER_VIDEO_URL` | ## Laidų instaliacija Kalbos vertimas nereikalauja specialaus kintamojo: jis aktyvus, kai sukonfigūruoti STT, TTS ir LLM teikėjas. Vaizdo įrašų supratimas įgalinamas jo pagalbinio URL pagalba — a **katalogo nustatymas** jūs nustatote iš administratoriaus sąsajos (**Valdymas → Nustatymai**) arba su `aihummer settings set` (`gateway.env` yra tik bootstrap ir jis ignoruojamas dėl to); vietinis šeimininko diegėjas gali jį paruošti arba nurodyti egzempliorių, kurį jau paleidžiate. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Galimybės yra nepriklausomos — įgalinkite tik tas, kurių jums reikia. Diegimas > tai, kam reikia tik transkripcijos ir sintezės, gali paleisti tik STT/TTS porą ir > palikite vaizdo įrašo šonkarstę nekonfigūruotą. ## Kur toliau - Numatytasis kalbos kelias: [Kalba į vidų ir į išorę](/lt/v1.0/voice/stt-tts). - Kaip sujungti ir dalintis šoninėmis priekabomis: [Šoninės transporto priemonės](/lt/v1.0/architecture/sidecars).