Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Causal Masking
#160 Self-Attention#162 Padding Mask
Madde #161Transformers/sozluk/causal-masking

Causal Masking

Causal Masking (Autoregressive Masking / Look-Ahead Mask)

Türkçe: Nedensel Maskeleme / Geleceği Görmezden Gelme Maskesi
Ayrıntılı Tanım
Üretken dil modellerinde (GPT gibi Decoder mimarilerinde) bir kelimenin dikkat puanları hesaplanırken, kendisinden **sonra gelen gelecekteki kelimelere bakmasını engellemek** için dikkat matrisinin üst üçgenine −∞-\infty (eksi sonsuz) eklenmesi işlemidir.
Ne İşe Yarar / Çözülen Problem
Modelin metin tamamlama eğitiminde gelecekteki kelimeleri "kopya çekmesini" engeller; modelin zamansal akışa (nedenselliğe) uygun şekilde adım adım üretmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Dikkat matrisi S=QKTdkS = \frac{Q K^T}{\sqrt{d_k}} üzerine bir üst üçgen matrisi (MM) eklenir: Mij={0eg˘er j≤i−∞eg˘er j>iM_{ij} = \begin{cases} 0 & \text{eğer } j \le i \\ -\infty & \text{eğer } j > i \end{cases} Softmax'a girdiğinde e−∞=0e^{-\infty} = 0 olur; yani gelecekteki kelimelerin dikkat katsayısı tam sıfır yapılır.
Örnek Senaryo & Pratik Uygulama
Bir öğrencinin sınavda sadece çözdüğü soruya ve önceki sorulara bakabilmesi; sonraki sayfaların üzerine siyah bir mukavva konularak geleceğin kapatılması.
Benzer Terimlerden Farkı
Padding Mask geçersiz dolgu boşluklarını gizlerken; Causal Mask gelecekteki gerçek kelimeleri nedensellik ilkesi gereği gizler.
İlişkili Terimler (3)
#162
Padding Mask
Dolgu Maskesi
#148
Causal Language Modeling
Nedensel / Otoregresif Dil Modellemesi
#186
Transformer Decoder
Transformer Kod Çözücü
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#160)Self-Attention
Sonraki Terim (#162)Padding Mask