Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Softmax-Free Attention
#182 Linear Attention#184 Cross-Attention
Madde #183Transformers/sozluk/softmax-free-attention

Softmax-Free Attention

Türkçe: Softmax'sız Dikkat
Ayrıntılı Tanım
Dikkat skorlarını normalize etmek için üstel fonksiyon tabanlı Softmax katmanını kullanmak yerine; ReLU, Taylor açılımı veya basitleştirilmiş normalizasyon fonksiyonları kullanan dikkat tasarımlarının genel adıdır.
Ne İşe Yarar / Çözülen Problem
Donanım seviyesinde Softmax'ın hesaplanması pahalı olan üstel işlemlerini (exe^x) ortadan kaldırır ve matrislerin birleşme kuralıyla yeniden gruplanarak doğrusallaşmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Skorlama Sim(Q,K)=f(Q)f(K)T\text{Sim}(Q, K) = f(Q) f(K)^T olarak ifade edilir. ff genellikle pozitif bir aktivasyondur (örneğin ReLU\text{ReLU} veya ELU+1\text{ELU} + 1).
Örnek Senaryo & Pratik Uygulama
Bir ses düğmesini logaritmik karmaşık bir potansiyometre yerine, düz bir kaydırmalı doğrusal cetvelle kontrol etmek.
Benzer Terimlerden Farkı
Klasik Transformer'ın en temel bileşeni olan Softmax'ı feda ederek hesaplama hızını ve donanım verimini öncelemesidir.
İlişkili Terimler (3)
#182
Linear Attention
Doğrusal Dikkat Mekanizması
#159
Scaled Dot-Product Attention
Ölçeklenmiş Nokta Çarpım Dikkati
#91
Softmax
Yumuşak Maksimum Fonksiyonu
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#182)Linear Attention
Sonraki Terim (#184)Cross-Attention