Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Linear Attention
#181 Ring Attention#183 Softmax-Free Attention
Madde #182Transformers/sozluk/linear-attention

Linear Attention

Linear Attention (Katharopoulos et al., 2020)

Türkçe: Doğrusal Dikkat Mekanizması
Ayrıntılı Tanım
Standart dikkatin Softmax operasyonunu matris çarpımının birleşme özelliğinden faydalanarak devreden çıkaran ve hesaplama karmaşıklığını dizi uzunluğuna bağlı olarak kareselden (O(N2)O(N^2)) doğrudan **doğrusala (O(N)O(N))** indiren dikkat yaklaşımıdır.
Ne İşe Yarar / Çözülen Problem
Dizi uzunluğu 10 katına çıktığında işlem süresinin 100 katına çıkması darboğazını yıkar; sonsuz uzunluktaki dizilerin sabit bellek maliyetiyle işlenmesinin yolunu açar.
Nasıl Çalışır? (Teknik & Mekanizma)
Çekirdek (kernel) fonksiyonu ϕ\phi kullanılarak Softmax kaldırılır: Attention=(QKT)V  ⟹  Q(KTV)\text{Attention} = (Q K^T) V \implies Q (K^T V) Önce KTVK^T V çarpımı [d×d][d \times d] boyutunda sabit bir durum matrisi üretir; bu matris NN'den tamamen bağımsızdır.
Örnek Senaryo & Pratik Uygulama
Bir sınıftaki 1000 öğrencinin birbirinin yüzüne tek tek bakması (1000×1000=1.000.0001000 \times 1000 = 1.000.000 bakış) yerine; herkesin tahtadaki tek bir ortak özet panosuna bakıp oradan bilgi alması (10001000 bakış).
Benzer Terimlerden Farkı
Standart Softmax dikkat keskin ve yüksek kapasitelidir; Linear Attention ise hızlıdır ancak Softmax'ın seçici odaklanma keskinliğini tam yakalayamayabilir.
İlişkili Terimler (3)
#183
Softmax-Free Attention
Softmax'sız Dikkat
#263
State Space Models (SSM)
Durum Uzayı Modelleri
#266
Mamba
Mamba Mimarisi
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#181)Ring Attention
Sonraki Terim (#183)Softmax-Free Attention