Madde #496Ses & Konuşma/sozluk/wav2vec-2-0
Wav2Vec 2.0
Wav2Vec 2.0 (Baevski et al., Meta AI 2020)
Türkçe: Dalga Vektörü 2.0 (Sesin BERT'i)
Ayrıntılı Tanım
Meta AI tarafından geliştirilen; hiçbir yazılı metin etiketi olmadan on binlerce saatlik ham ses dalgasını dinleyerek, sesin içindeki gizli akustik birimleri **maskeleme ve kontrastif öğrenmeyle** kendi kendine öğrenen öz-denetimli (self-supervised) ses modelidir.
Ne İşe Yarar / Çözülen Problem
Sadece 10 dakikalık etiketli ses verisiyle bile inanılmaz başarılı bir konuşma tanıma modeli kurulabilmesini sağlamıştır (düşük kaynaklı diller için devrimdir).
Nasıl Çalışır? (Teknik & Mekanizma)
Ham ses CNN ile işlenir. Gizli temsillerin bir kısmı maskelenir. Model Transformer katmanlarında bu maskeli kısımları Gumbel-Softmax ile kuantalanmış ses sözlüğünden doğru temsil vektörüyle eşleştirmeye zorlanır (Contrastive Loss).
Örnek Senaryo & Pratik Uygulama
Henüz okuma yazma bilmeyen 1 yaşındaki bir bebeğin, evde konuşulan dili aylarca sadece dinleyerek ses tonlarını ve fonemleri beyninde kusursuzca haritalandırması.
Benzer Terimlerden Farkı
Metinden öğrenmez; saf sesin fizikselliğinden öğrenir. NLP'deki BERT ve RoBERTa'nın ses dünyasındaki tam karşılığıdır.
İlişkili Terimler (3)
Ses, Konuşma ve Müzik Yapay Zekâsı
ASR (Whisper), TTS, Vocoder, Spektrogram analizi ve nöral ses üretimi.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#495)Whisper (OpenAI)
Sonraki Terim (#497)Text-to-Speech (TTS)