Runas tulkošana un video

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Aiz [runāt iekšā un ārā](/lv/v1.0/voice/stt-tts), AiHummer piedāvā divas papildu multivides iespējas: **balss tulkošana** un **video izpratne**. Abi darbojas ar **bezmaksas/vietējie dzinēji**: tulkojums tiek veidots no STT/TTS palīglīdzekļiem un LLM, kas jums jau ir, kamēr video darbojas kā atsevišķs [piedevvāģis](/lv/v1.0/architecture/sidecars) sasniedzams ar URL. > [!NOTE] > Runātāju diarizācija un balss klonēšana ir **ne** produkta daļa — tie > spējas tika noņemtas. Ja jūs tās redzējāt vecākos materiālos, neplānojiet > ap viņiem: balss kaudze ir STT, TTS, balss kārta (`/v1/voice/turn`), > runas tulkošana un video izpratne. ## Runas tulkošana Runas tulkošana pārvērš audio vienā valodā runātajā audio citā valodā, tādējādi aģents var apkalpot zvanītājus dažādās valodās. Tā ir **tīra tulkošanas plūsma bez aģenta maiņas**: ienākošā audio tiek pārveidota tekstā (STT), teksts tiek iztulkots, izmantojot vienreizēju LLM pabeigšanu, un tulkojums tiek atdarināts atpakaļ runā (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Papildu blakusauta nav nepieciešama: cauruļvads izmanto tos pašus brīvos/vietējos blakusautus, ko balss maiņa — faster-whisper (`:8001`) un edge-tts (`:8002`) — plus jūsu konfigurētais LLM pakalpojumu sniedzējs. | Vienība | Vērtība | |---|---| | Galapunkts | `POST /v1/voice/translate?target=<lang>` | | `target` parametrs | Mērķa valoda (BCP-47 vai vienkāršs valodas nosaukums); **obligāts** | | Ievade | Audio pieprasījuma ķermenī (`Content-Type`, noklusēti uz `audio/ogg`) | | Izeja | Tulkots audio (`audio/mpeg`) | | Atbildes galvenes | `X-Voice-Transcript` — avota teksts, `X-Voice-Reply` — tulkojums | | Prasa | STT, TTS un LLM pakalpojumu sniedzējs konfigurēti | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Video izpratne Video saprašana izvelk, kas atrodas klipā, demultiplikējot audio un paraugojot galvenos kadrus ar **ffmpeg** — ir **no ML modeļa** šajā sānsomā; tas sagatavo audio un kadrus aģenta kārtai. | Vienība | Vērtība | |---|---| | Atbalstīts no | ffmpeg (demiksa + atslēgas kadri, nav ML) | | Sidekāra ports | `:8005` | | Galapunkts | `POST /v1/video/understand` | | Savienots ar vadiem | `AIHUMMER_VIDEO_URL` | ## Vadu montāža Runas tulkošanai nav nepieciešama īpaša mainīgā: tā ir aktīva, tiklīdz ir konfigurēts STT, TTS un LLM pakalpojumu sniedzējs. Video izpratne tiek iespējota ar tās palīgprogrammas URL — a **kataloga iestatījums** jūs iestatāt no administratora saskarnes (**Pārvaldība → Iestatījumi**) vai ar `aihummer settings set` (`gateway.env` ir tikai bootstrap un to ignorē); saimniekdatora dzimtā instalētāja to var nodrošināt vai norādīt uz instance, ko jau darbojat. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Iespējas ir neatkarīgas — ieslēdziet tikai tās, kas jums nepieciešamas. Izvietošana > kas tikai nepieciešams transkripcijai un sintēzei, var darbināt STT/TTS pāri atsevišķi un > atstāt video sānskapi nekonfigurētu. ## Kur uz nākamo - Noklusētā runas ceļš: [Runāt iekšā un ārā](/lv/v1.0/voice/stt-tts). - Kā piespiedpiederumi ir savienoti un koplietoti: [Blakusvāģi](/lv/v1.0/architecture/sidecars).