Madde #505Ses & Konuşma/sozluk/voice-cloning
Voice Cloning
Voice Cloning & Voice Conversion (VC)
Türkçe: Ses Klonlama ve Ses Dönüştürme
Ayrıntılı Tanım
Belirli bir hedef kişinin ses tellerinin benzersiz tınısını, tonlamasını, telaffuz alışkanlıklarını ve rezonansını matematiksel bir gömme vektörüne (Speaker Embedding) çıkarıp herhangi bir konuşmaya uygulama teknolojisidir.
Ne İşe Yarar / Çözülen Problem
Film dublajlarında aktörün kendi orijinal ses tonuyla farklı dillerde (İspanyolca, Fransızca) konuşturulmasını veya sesini kaybetmiş ALS hastalarının kendi seslerine kavuşmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Ses içeriği (ne söylendiği) ile konuşmacı kimliği (kimin söylediği) birbirinden ayrıştırılır. İçerik vektörleri hedef konuşmacının ses gömmesiyle (d-vector) birleştirilerek vokoderden geçirilir.
Örnek Senaryo & Pratik Uygulama
Bir erkeğin mikrofona söylediği bir cümlenin, anında dünyaca ünlü bir kadın şarkıcının ses tonuyla ve onun gırtlak nağmeleriyle hoparlörden duyulması.
Benzer Terimlerden Farkı
Zero-Shot TTS metinden ses üretirken; Ses Dönüştürme (Voice Conversion) doğrudan bir insan sesini alıp başka bir insanın sesine dönüştürür.
İlişkili Terimler (3)
Ses, Konuşma ve Müzik Yapay Zekâsı
ASR (Whisper), TTS, Vocoder, Spektrogram analizi ve nöral ses üretimi.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#504)Zero-Shot TTS
Sonraki Terim (#506)VALL-E (Microsoft)