Konuşma çevirisi ve video
Ötesinde konuşma içeri ve dışarı, AiHummer iki ek medya yeteneği sunar: konuşma çevirisi ve video anlama. İkisi de çalışır ücretsiz/yerel motorlar: çeviri, zaten sahip olduğunuz STT/TTS yan yazılımları ve LLM’den derlenir, video ise kendi başına çalışır yan araba URL ile erişildi.
[!NOTE] Konuşmacı ayrımı ve ses klonlama değil ürünün bir parçası — bunlar yetenekler kaldırıldı. Eğer onları eski materyallerde gördüyseniz, plan yapmayın çevresinde: ses yığını STT, TTS, ses dönüşü (
/v1/voice/turn), konuşma çevirisi ve video anlayışı.
Konuşma çevirisi
Konuşma çevirisi, bir dildeki sesli veriyi başka bir dildeki konuşma sesine dönüştürür, böylece bir temsilci farklı dillerdeki arayanlara hizmet verebilir. Bu bir ajan dönüşü olmayan saf çeviri hattı: gelen ses transkripte edilir (STT), metin tek seferlik bir LLM tamamlama ile çevrilir ve çeviri geri seslendirilir (TTS).
audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out
Ekstra bir yan araba gerekmez: boru hattı, ses dönüşüyle aynı ücretsiz/yerel yan arabaları kullanır — faster-whisper (:8001) ve edge-tts (:8002) — ayrıca yapılandırılmış LLM sağlayıcınız.
| Öğe | Değer |
|---|---|
| Uç nokta | POST /v1/voice/translate?target=<lang> |
target parametre |
Hedef dil (BCP-47 veya basit bir dil adı); gerekli |
| Girdi | İstek gövdesindeki ses (Content-Type, varsayılan olarak audio/ogg) |
| Çıktı | Çevrilmiş ses (audio/mpeg) |
| Yanıt başlıkları | X-Voice-Transcript — kaynak metin, X-Voice-Reply — çeviri |
| Gerektirir | STT, TTS ve bir LLM sağlayıcısı yapılandırıldı |
POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg
<binary audio>
Video anlama
Video anlayışı, bir klibin ne içerdiğini, sesi ayrıştırarak ve ana kareleri örnekleyerek çıkarır ffmpeg — var ML modeli yok bu yan arabada; ajan turu için sesi ve kareleri hazırlar.
| Öğe | Değer |
|---|---|
| Tarafından desteklenmiş | ffmpeg (demux + ana kareler, ML yok) |
| Yan araba portu | :8005 |
| Uç nokta | POST /v1/video/understand |
| Kablolanmış | AIHUMMER_VIDEO_URL |
Kablolama
Konuşma çevirisi için özel bir değişkene gerek yoktur: STT, TTS ve bir LLM sağlayıcısı yapılandırıldığında aktif olur. Video anlayışı, yan arabası URL’si ile etkinleştirilir — bir katalog ayarı yönetici kullanıcı arayüzünden ayarlarsınız (Yönetim → Ayarlar) veya ile aihummer settings set (gateway.env yalnızca bootstrap’tır ve bunun için görmezden gelinir); host-native yükleyici bunu sağlayabilir veya zaten çalıştırdığınız bir örneğe işaret edebilir.
# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005
[!TIP] Yetkinlikler bağımsızdır — yalnızca ihtiyacınız olanları etkinleştirin. Bir dağıtım sadece transkripsiyon ve sentez gerektiren, yalnızca STT/TTS çiftini çalıştırabilir ve video yan arabasını yapılandırılmamış bırak.
Sonra nereye?
- Varsayılan konuşma yolu: Konuşma içeriği ve dışarı.
- Yardımcı tekerleklerin nasıl bağlandığı ve paylaşıldığı: Yardımcı Araçlar.