Scaled Dot-Product Attention

Türkçe: Ölçeklenmiş Nokta Çarpım Dikkati

Ayrıntılı Tanım

Query (

Q

) ve Key (

K

) matrislerinin iç çarpımını alıp, bunu anahtar boyutunun kareköküne (

\sqrt{d_k}

) bölerek Softmax'tan geçiren ve Value (

V

) matrisiyle çarpan Transformer'ın kurucu temel dikkat fonksiyonudur.

Ne İşe Yarar / Çözülen Problem

Girdideki hangi kelimelerin birbiriyle ne kadar alakalı olduğunu tartar;

\sqrt{d_k}

ölçeklemesi ise büyük boyutlarda Softmax'ın doyum noktasına ulaşıp gradyanların sıfırlanmasını engeller.

Nasıl Çalışır? (Teknik & Mekanizma)

\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V

Q K^T

benzerlik skorlarını üretir;

\sqrt{d_k}

'ya bölmek varyansı 1'de sabit tutar; Softmax bunları ağırlığa çevirir ve

V

bu ağırlıklarla toplanır.

Örnek Senaryo & Pratik Uygulama

Dosya arama sistemi: Elinizdeki arama sorgusu (

Q

), kütüphanedeki dosya etiketleri (

K

) ile kıyaslanır; en yüksek eşleşen dosyaların içindeki bilgiler (

V

) masanıza getirilir.

Benzer Terimlerden Farkı

Bahdanau (Additive) dikkat toplamaya dayanır ve yavaştır; Dot-Product Attention saf matris çarpımına dayanır ve modern GPU'larda ultra hızlı çalışır.

İlişkili Terimler (5)

Ait Olduğu Kategori

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde