Madde #160Transformers/sozluk/self-attention
Self-Attention
Self-Attention Mechanism (Intra-Attention)
Türkçe: Öz-Dikkat Mekanizması
Ayrıntılı Tanım
Tek bir metin dizisinin içindeki her bir tokenın, aynı dizi içerisindeki diğer **tüm tokenlarla** tek tek anlamsal ilişkisini ve etkileşimini hesaplayarak kendi temsilini zenginleştirdiği mekanizmadır.
Ne İşe Yarar / Çözülen Problem
Cümle içindeki zamirlerin (o, bu, şu) hangi isme işaret ettiğini çözer ve kelimelerin yanındaki bağlama göre dinamik anlam kazanmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Dizideki aynı girdisinden üç ayrı ağırlık matrisiyle , , üretilir. aynı kaynaktan türediği için mekanizmaya "Öz (Self)" dikkat denir.
Örnek Senaryo & Pratik Uygulama
"Banka çalışanları öğle molasında nehir kenarındaki bankta oturdu." Cümledeki birinci "banka" kelimesinin "çalışanlar" kelimesine, ikinci "bank" kelimesinin ise "oturmak" ve "nehir" kelimelerine kalın dikkat ışınları fırlatması.
Benzer Terimlerden Farkı
Cross-Attention iki farklı diziyi (kaynak ve hedef) karşılaştırırken; Self-Attention tek bir dizinin kendi içine ayna tutmasıdır.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#159)Scaled Dot-Product Attention
Sonraki Terim (#161)Causal Masking