Madde #506Ses & Konuşma/sozluk/vall-e-microsoft
VALL-E (Microsoft)
VALL-E: Neural Codec Language Model (Wang et al., Microsoft 2023)
Türkçe: VALL-E Nöral Kodek Dil Modeli
Ayrıntılı Tanım
Microsoft tarafından TTS problemini bir dil modelleme görevine dönüştüren; EnCodec belirteçleri kullanarak 3 saniyelik akustik prompt üzerinden sıfır örnekle konuşmacının sesini, tonlamasını ve hatta kayıt yapılan odanın yankısını (akustiğini) birebir taklit eden öncü modeldir.
Ne İşe Yarar / Çözülen Problem
Ses sentezinde klasik akustik modeller ile vokoder ayrımını yıkarak; metin ve sesin tek bir otoregresif Transformer çatısı altında birleşebileceğini kanıtlamıştır.
Nasıl Çalışır? (Teknik & Mekanizma)
İki aşamalı çalışır:
1. **Otoregresif Model:** Metin ve akustik önekten 1. RVQ katmanının tokenlarını üretir.
2. **Non-Otoregresif Model:** 1. katmandan geriye kalan diğer 7 RVQ katmanını paralel olarak tahmin eder.
Örnek Senaryo & Pratik Uygulama
3 saniyelik bir yankılı banyo kaydı verdiğinizde, modelin sadece konuşanın sesini değil; banyodaki fayanslardan seken o akustik çınlamayı bile ürettiği yeni sese kusursuzca işlemesi.
Benzer Terimlerden Farkı
Geleneksel TTS modelleri gibi robotik tekdüze tonlama yapmaz; prompt'taki duygu durumunu (sinirli, neşeli, fısıltılı) aynen korur.
İlişkili Terimler (3)
Ses, Konuşma ve Müzik Yapay Zekâsı
ASR (Whisper), TTS, Vocoder, Spektrogram analizi ve nöral ses üretimi.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#505)Voice Cloning
Sonraki Terim (#507)Deepfake Audio & Voice Anti-Spoofing