Madde #162Transformers/sozluk/padding-mask
Padding Mask
Türkçe: Dolgu Maskesi
Ayrıntılı Tanım
Bir yığın (batch) içindeki farklı uzunluktaki cümleleri eşit boyuta getirmek için eklenen anlamsız dolgu tokenlarının (`[PAD]`), dikkat mekanizması tarafından tamamen yok sayılmasını sağlayan maskedir.
Ne İşe Yarar / Çözülen Problem
GPU'ların tensör işlemlerini paralel yapabilmesi için tüm satırların eşit uzunlukta olması şarttır; dolgu maskesi bu teknik zorunluluğun dil anlamını bozmasını engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Girdi dizisindeki `[PAD]` indekslerine karşılık gelen sütunlara dikkat aşamasında atanır. Softmax bu sütunlara sıfır ağırlık verir; model dolgu tokenlarını sanki hiç yokmuş gibi atlar.
Örnek Senaryo & Pratik Uygulama
Farklı boyutlardaki kırılacak eşyaları aynı boyuttaki standart koliye koyup etrafını köpükle doldurmak: Koli açıldığında köpüklerin çöpe atılıp sadece asıl eşyaya odaklanılması.
Benzer Terimlerden Farkı
Causal Mask zamansal sıra kuralıyken, Padding Mask tamamen yığınlama (batching) verimliliği için uygulanan teknik bir filtrelemedir.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#161)Causal Masking
Sonraki Terim (#163)Multi-Head Attention (MHA)