Խոսքի մուտք և ելք (STT / TTS)

v1.0.x · թարմացվել է 2026-06-26

AiHummer-ը կարգավորում է խոսքի մուտքն ու ելքը out of the box — վճարովի խոսքի API չի պահանջվում։ Մուտքային աուդիո հատվածը սղագրվում է (STT), տեքստը վարում է սովորական agent turn, և պատասխանը արտաբերվում է հետ (TTS)։ Երկու շարժիչներն էլ անվճար և լոկալ են և աշխատում են որպես sidecar-ներ. faster-whisper սղագրման համար և edge-tts սինթեզի համար։

Ինչպես է աշխատում ձայնային turn-ը

Ձայնային turn-ը սովորական agent turn է՝ աուդիոյով երկու ծայրերում.

Gateway-ը ուղարկում է մուտքային աուդիոն STT sidecar-ին (:8001, faster-whisper) և հետ ստանում տեքստ։
Այդ տեքստը վարում է սովորական function-calling turn-ը — նույն router-ը, orchestrator-ը, գործիքները և հիշողությունը, ինչ տեքստային հաղորդագրությունը։
Պատասխանի տեքստն ուղարկվում է TTS sidecar-ին (:8002, edge-tts), և արտաբերված աուդիոն վերադարձվում է զանգահարողին։

Սա բացահայտված է որպես մեկ endpoint, POST /v1/voice/turn, որպեսզի ալիքը կամ client-ը կարողանա փոխանցել աուդիո և ստանալ աուդիո՝ առանց ինքնուրույն քայլերը օրկեստրավորելու։

Endpoint-ները

Մեթոդ	Endpoint	Նպատակ
`POST`	`/v1/voice/turn`	Աուդիո ներս → agent turn → աուդիո դուրս
`GET`	`/v1/voice/config`	Ընթացիկ ձայնի կարգաձև (շարժիչներ, կարգավորման փականներ)

POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json

{
  "audio": "<base64-encoded clip>",
  "format": "wav"
}

[!NOTE] Խոսքի հատկությունները core-ի մաս են — դրանք կապված չեն SIP plugin-ի հետ։ SIP ալիքն օգտագործում է հենց այս նույն STT/TTS շարժիչները իր local շարժիչի համար, սակայն ձայնի մուտքն/ելքն աշխատում է ցանկացած client-ի համար, որը կանչում է /v1/voice/turn։

Ձայնի sidecar-ները

Port	Sidecar	Շարժիչ	Դեր	Միացված է
8001	STT	faster-whisper	speech → text	`AIHUMMER_STT_URL`
8002	TTS	edge-tts	text → speech	`AIHUMMER_TTS_URL`

Երկու շարժիչներն էլ անվճար և լոկալ են. ոչինչ չի ուղարկվում վճարովի խոսքի մատակարարին։ Ինչպես ամեն sidecar-ի դեպքում, gateway-ը հասնում է դրանց URL-ով, ուստի դուք կարող եք դրանք աշխատեցնել gateway-ի կողքին կամ ուղղորդել ընդհանուր instance-ի վրա։

Միացում

Host-native տեղադրիչը սահմանում է STT և TTS URL-ները ձեզ համար։ Փոփոխականներն են.

# gateway.env — voice in/out (auto-set by the installer)
AIHUMMER_STT_URL=http://127.0.0.1:8001
AIHUMMER_TTS_URL=http://127.0.0.1:8002

[!TIP] Քանի որ յուրաքանչյուր sidecar ուղղակի URL է, մի քանի gateway կարող են կիսել մեկ STT/TTS instance։ Կենտրոնացրեք ավելի ծանր խոսքի ծառայությունները՝ ամեն host-ի համար պատճեն աշխատեցնելու փոխարեն։

Աուդիո ուղու կարգավորում

Ձայնի որակի փականներն ապրում են «Media · Voice» կարգավորումների խմբում և կարգավորելի են վեբ ադմին UI-ից — վերատեղակայում պետք չէ։ Դրանք ընդգրկում են իրական ժամանակի աուդիո ուղին.

Փական	Ինչ է կառավարում
Duplex	Full-duplex (լսել խոսելու ընթացքում) ընդդեմ half-duplex
AEC	Ակուստիկ արձագանքի չեղարկում
Noise suppression	Զտում է ֆոնային աղմուկը նախքան STT
AGC	Ավտոմատ ուժեղացման կառավարում (մակարդակի նորմալիզացիա)
VAD threshold	Ձայնային-ակտիվության հայտնաբերման զգայունություն
Barge-in	Թույլ տալ զանգահարողին ընդհատել agent-ին պատասխանի կեսին

GET /v1/voice/config-ը վերադարձնում է գործող կարգաձևը, որպեսզի client-ը կարողանա հայտնաբերել ակտիվ շարժիչներն ու այս կարգավորումները։

Ուր հաջորդիվ

Այս ծառայությունների հետևում գտնվող տրանսպորտի մոդելը. Sidecar-ներ։
Դիարիզացիա, թարգմանություն, ձայնի կլոնավորում և վիդեո. Դիարիզացիա, թարգմանություն և կլոնավորում։
Ձայնը հեռախոսային գծի վրա. SIP հեռախոսակապ։