Masked Language Modeling (MLM)

Türkçe: Maskeli Dil Modellemesi

Ayrıntılı Tanım

Eğitim metnindeki tokenların belirli bir yüzdesinin (genellikle %15) gizlenerek (`[MASK]`), modelin cümlenin hem solundaki hem sağındaki tüm bağlama bakıp bu gizli kelimeyi bulmaya zorlandığı çift yönlü ön-eğitim görevidir.

Ne İşe Yarar / Çözülen Problem

Dilin tek bir yönde değil, iki yönlü (bidirectional) olarak çok daha derin anlamsal temsillerle anlaşılmasını sağlar; BERT mimarisinin temelidir.

Nasıl Çalışır? (Teknik & Mekanizma)

Rastgele seçilen tokenların %80'i `[MASK]`, %10'u rastgele başka bir kelime, %10'u ise orijinal haliyle bırakılır. Model sadece bu pozisyonlardaki kelimelerin doğruluğu üzerinden kayıp hesaplar.

Örnek Senaryo & Pratik Uygulama

Gazetedeki kelime avı bulmacası: "Türkiye'nin başkenti `[MASK]` şehridir." Boşluğun hem soluna hem sağına bakarak zihnin doğrudan "Ankara" kelimesine kilitlenmesi.

Benzer Terimlerden Farkı

CLM sadece geçmişe bakıp geleceği üretirken; MLM aynı anda tüm cümleye bakarak boşluğu doldurur (üretim yapamaz ama çok iyi anlar).

İlişkili Terimler (3)

#138

BERT

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

#190

Causal Language Modeling (CLM)

Nedensel / Otoregresif Dil Modellemesi

#185

Transformer Encoder

Transformer Kodlayıcı

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#188)Self-Supervised Pre-Training

Sonraki Terim (#190)Causal Language Modeling (CLM)