მეტყველება შესვლა და გამოსვლა (STT / TTS)

v1.0.x · განახლდა 2026-06-26

AiHummer ამუშავებს მეტყველებას შესვლასა და მეტყველებას გამოსვლას კოლოფიდან — ფასიანი მეტყველების API არ არის საჭირო. შემომავალი აუდიო კლიპი ტრანსკრიბირდება (STT), ტექსტი მართავს ჩვეულებრივ აგენტის ბიჯს, ხოლო პასუხი წარმოითქმის უკან (TTS). ორივე ძრავა უფასო და ლოკალურია და მუშაობს როგორც sidecar-ი: faster-whisper ტრანსკრიფციისთვის და edge-tts სინთეზისთვის.

როგორ მუშაობს ხმოვანი ბიჯი

ხმოვანი ბიჯი არის ჩვეულებრივი აგენტის ბიჯი აუდიოთი ორივე ბოლოზე:

gateway აგზავნის შემომავალ აუდიოს STT sidecar-ში (:8001, faster-whisper) და იღებს უკან ტექსტს.
ეს ტექსტი მართავს ჩვეულებრივ ფუნქცია-გამომძახებელ ბიჯს — იგივე როუტერი, ორკესტრატორი, ხელსაწყოები და მეხსიერება, რაც ტექსტურ შეტყობინებას.
პასუხის ტექსტი იგზავნება TTS sidecar-ში (:8002, edge-tts) და გახმოვანებული აუდიო ბრუნდება დამრეკავთან.

ეს გამოქვეყნებულია ერთ წერტილად, POST /v1/voice/turn, ასე რომ არხს ან კლიენტს შეუძლია გადასცეს აუდიო და მიიღოს აუდიო თვითონ ბიჯების ორკესტრირების გარეშე.

წერტილები

მეთოდი	წერტილი	დანიშნულება
`POST`	`/v1/voice/turn`	აუდიო შესვლა → აგენტის ბიჯი → აუდიო გამოსვლა
`GET`	`/v1/voice/config`	მიმდინარე ხმოვანი კონფიგურაცია (ძრავები, მორგების პარამეტრები)

POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json

{
  "audio": "<base64-encoded clip>",
  "format": "wav"
}

[!NOTE] მეტყველების ფუნქციები არის ბირთვის ნაწილი — ისინი არ არის მიბმული SIP დანამატზე. SIP არხი იყენებს ამავე STT/TTS ძრავებს თავისი local ძრავისთვის, მაგრამ ხმა შესვლა/გამოსვლა მუშაობს ნებისმიერი კლიენტისთვის, რომელიც იძახებს /v1/voice/turn-ს.

ხმოვანი sidecar-ები

პორტი	Sidecar	ძრავა	როლი	შეერთებულია
8001	STT	faster-whisper	მეტყველება → ტექსტი	`AIHUMMER_STT_URL`
8002	TTS	edge-tts	ტექსტი → მეტყველება	`AIHUMMER_TTS_URL`

ორივე ძრავა უფასო და ლოკალურია: არაფერი იგზავნება ფასიან მეტყველების ვენდორთან. ისევე, როგორც ყველა sidecar-თან, gateway აღწევს მათ URL-ით, ასე რომ შეგიძლია გაუშვა ისინი gateway-ის გვერდით ან მიმართო საზიარო ინსტანციაზე.

შეერთება

ჰოსტ-მშობლიური ინსტალატორი ადგენს STT და TTS URL-ებს შენთვის. ცვლადებია:

# gateway.env — voice in/out (auto-set by the installer)
AIHUMMER_STT_URL=http://127.0.0.1:8001
AIHUMMER_TTS_URL=http://127.0.0.1:8002

[!TIP] რადგან თითოეული sidecar უბრალოდ URL-ია, რამდენიმე gateway-ს შეუძლია გაიზიაროს ერთი STT/TTS ინსტანცია. ცენტრალიზდი უფრო მძიმე მეტყველების სერვისები ნაცვლად ერთი ასლის თითო ჰოსტზე გაშვებისა.

აუდიო გზის მორგება

ხმის ხარისხის პარამეტრები ცხოვრობს “Media · Voice” პარამეტრების ჯგუფში და კონფიგურირებადია ვებ ადმინ UI-დან — ხელახალი განთავსების გარეშე. ისინი მოიცავენ რეალურ-დროის აუდიო გზას:

პარამეტრი	რას აკონტროლებს
Duplex	სრული-დუპლექსი (მოსმენა ლაპარაკის დროს) vs ნახევარ-დუპლექსი
AEC	აკუსტიკური ექოს გაუქმება
ხმაურის ჩახშობა	ფილტრავს ფონურ ხმაურს STT-მდე
AGC	ავტომატური გაძლიერების კონტროლი (დონის ნორმალიზაცია)
VAD ზღურბლი	ხმოვან-აქტივობის გამოვლენის მგრძნობელობა
Barge-in	აძლევს დამრეკავს აგენტის შეწყვეტის საშუალებას პასუხის შუა

GET /v1/voice/config აბრუნებს მოქმედ კონფიგურაციას, ასე რომ კლიენტს შეუძლია აღმოაჩინოს აქტიური ძრავები და ეს პარამეტრები.

სად შემდეგ

ამ სერვისების უკან მდგომი ტრანსპორტის მოდელი: Sidecar-ები.
დიარიზაცია, თარგმნა, ხმის კლონირება და ვიდეო: დიარიზაცია, თარგმნა და კლონირება.
ხმა სატელეფონო ხაზზე: SIP ტელეფონია.