Konuşma girisi ve çıkışı (STT / TTS)
AiHummer kulpları kutunun içindeki ve dışındaki konuşma — ücretli bir konuşma API’si gerekmiyor. Gelen bir ses klibi yazıya dökülür (STT), metin normal bir ajan dönüşünü yönlendirir ve cevap sesli olarak geri okunur (TTS). Her iki motor da ücretsiz ve yerel ve olarak çalıştır yan arabalar: hızlı fısıltı (faster-whisper) transkripsiyon için ve edge-tts sentez için.
Bir ses dönüşümünün nasıl çalıştığı
Bir ses dönüşü, her iki uçta da ses bulunan normal bir ajan dönüşüdür:
- Geçit, gelen sesi şuna gönderir STT yan arabası (
:8001, faster-whisper) ve geri olarak metin alır. - O metin, sıradan işlev çağırma turunu yönetir — aynı yönlendirici, orkestratör, araçlar ve hafıza bir kısa mesaj olarak.
- Yanıt metni gönderilir TTS yan arabası (
:8002, edge-tts) ve Konuşulan ses arayana geri iletilir.
Bu tek bir uç nokta olarak açığa çıkar. POST /v1/voice/turn, böylece bir kanal veya istemci adımları kendisi organize etmeden ses gönderip alabilir.
Uç noktalar
| Yöntem | Uç nokta | Amaç |
|---|---|---|
POST |
/v1/voice/turn |
Seste giriş → temsilci dönüşü → seste çıkış |
GET |
/v1/voice/config |
Mevcut ses yapılandırması (motorlar, ayar düğmeleri) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Konuşma özellikleri …’nin bir parçasıdır çekirdek — bunlar SIP eklentisine bağlı değiller. SIP kanalı, bunun için aynı STT/TTS motorlarını kullanır
localmotor, ama ses gelen/giden, çağrı yapan herhangi bir istemci için çalışır/v1/voice/turn.
Ses yan arabaları
| Liman | Yardımcı Araç | Motor | Rol | Kablolanmış |
|---|---|---|---|---|
| 8001 | STT | daha hızlı fısıltı | konuşma → metin | AIHUMMER_STT_URL |
| 8002 | TTS | edge-tts | metin → konuşma | AIHUMMER_TTS_URL |
Her iki motor da ücretsiz ve yereldir: hiçbir şey ücretli bir konuşma sağlayıcısına gönderilmez. Her yan araba gibi, geçit onlara ulaşır URL ile, böylece onları ağ geçidinin yanında çalıştırabilir veya ortak bir örneği işaret edebilirsiniz.
Kablolama
Ana bilgisayar-yerel yükleyici sizin için STT ve TTS URL’lerini ayarlar. Onlar şunlardır katalog ayarları — yönetici kullanıcı arayüzünden değiştirin (Yönetim → Ayarlar) veya ile aihummer settings set; gateway.env sadece bootstrap’tur ve bunlar için göz ardı edilir:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Çünkü her sidecar sadece bir URL olduğu için, birkaç geçit bir STT/TTS paylaşabilir örnek. Her kopyayı çalıştırmak yerine daha ağır konuşma hizmetlerini merkezileştir ev sahibi.
Ses yolunu ayarlama
Ses kalitesi düğmeleri içinde yaşar “Medya · Ses” ayarlar grubu ve web yönetici UI’sından yapılandırılabilir — yeniden dağıtım gerekmez. Gerçek zamanlı ses yolunu kapsarlar:
| Düğme | Ne kontrol eder |
|---|---|
| İkiz | Tam çift yönlü (konuşurken dinleme) vs yarım çift yönlü |
| AEC | Akustik yankı iptali |
| Gürültü bastırma | STT’den önce arka plan gürültüsünü filtreler |
| AGC | Otomatik kazanç kontrolü (seviye normalizasyonu) |
| VAD eşiği | Ses etkinliği algılama duyarlılığı |
| Sözünü kesme | Arayan kişinin temsilcinin cevap ortasında sözünü kesmesine izin ver |
GET /v1/voice/config Etkin yapılandırmayı döndürür, böylece bir istemci aktif motorları ve bu ayarları keşfedebilir.
Sonra nereye?
- Bu hizmetlerin arkasındaki ulaşım modeli: Yardımcı Araçlar.
- Konuşma çevirisi ve video anlama: Konuşma çevirisi ve video.
- Telefon hattındaki ses: SIP telefon sistemi.