Masked Language Modeling

Masked Language Modeling (MLM)

Türkçe: Maskeli Dil Modellemesi

Ayrıntılı Tanım

Bir metin dizisinin içindeki bazı kelimeleri rastgele gizleyip (maskeleyip), modelin sadece o gizlenen kelimeleri hem önceki hem de sonraki bağlama bakarak tahmin etmesi üzerine kurulu çift yönlü eğitim tekniğidir.

Ne İşe Yarar / Çözülen Problem

Modelin dili tek bir yönde ezberlemesini engeller; kelimelerin sağındaki ve solundaki tüm anlamsal ilişkileri derinlemesine kavramasını sağlar (BERT'in gizli silahı).

Nasıl Çalışır? (Teknik & Mekanizma)

Metindeki tokenların %15'i seçilir. Bunların %80'i `[MASK]` etiketiyle değiştirilir, %10'u rastgele başka bir kelime yapılır, %10'u sabit bırakılır. Model sadece bu maskeli pozisyonlar üzerinden Cross-Entropy kaybı ile eğitilir.

Örnek Senaryo & Pratik Uygulama

Gazetedeki kelime avı bulmacası: "Türkiye'nin başkenti `[MASK]` şehridir." Cümlenin hem sağına hem soluna bakan insan beyninin oraya doğrudan "Ankara" kelimesini yerleştirmesi.

Benzer Terimlerden Farkı

Causal LM sonraki kelimeyi ararken, Masked LM ortadaki boşluğu iki yönlü bağlamla doldurur.

İlişkili Terimler (3)

#138

BERT

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

#148

Causal Language Modeling

Nedensel / Otoregresif Dil Modellemesi

#120

Self-Supervised Learning

Öz-Denetimli Öğrenme

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#146)Language Model (LM)

Sonraki Terim (#148)Causal Language Modeling