Madde #513Ses & Konuşma/sozluk/audioldm
AudioLDM
Audio Latent Diffusion Model (Liu et al., 2023)
Türkçe: Ses Gizil Difüzyon Modeli
Ayrıntılı Tanım
Stable Diffusion'ın görüntüdeki gizil uzay mimarisini ses dünyasına uyarlayan; ses spektrogramlarını sürekli bir gizil uzayda difüzyonla temizleyerek yüksek kaliteli ses efektleri ve müzikler üreten temel açık kaynaklı modeldir.
Ne İşe Yarar / Çözülen Problem
Ses difüzyonunu ham spektrogram pikselleri yerine sıkıştırılmış uzayda çalıştırarak tüketici ekran kartlarında saniyeler içinde ses efekti üretilmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
VAE spektrogramı gizil uzaya indirger. Metin CLAP modeliyle vektörleştirilir. Difüzyon U-Net bu gizil uzayda gürültü temizler. VAE ve HiFi-GAN nihai ham ses dalgasını çizer.
Örnek Senaryo & Pratik Uygulama
Stable Diffusion'ın resim yapması gibi; bu kez fırçanın boya yerine ses frekanslarını boyayarak bir şelalenin çağıltısını veya bir lazer tabancasının sesini yoktan var etmesi.
Benzer Terimlerden Farkı
Otoregresif token modellerinin (EnCodec tabanlı) aksine, tamamen difüzyon temelli sürekli bir ses sentezleyicisidir.
İlişkili Terimler (3)
Ses, Konuşma ve Müzik Yapay Zekâsı
ASR (Whisper), TTS, Vocoder, Spektrogram analizi ve nöral ses üretimi.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#512)Text-to-Audio (TTA)
Sonraki Terim (#514)MIDI vs. Audio Generation