Madde #172Transformers/sozluk/local-attention
Local Attention
Türkçe: Yerel Dikkat
Ayrıntılı Tanım
Dikkat hesaplamasını metnin tamamı yerine sadece hedeflenen tokenın fiziksel olarak yakın çevresindeki sınırlı bir blok veya pencere ile kısıtlayan dikkat yaklaşımlarının genel adıdır.
Ne İşe Yarar / Çözülen Problem
Çok uzun sekanslarda hesaplama maliyetini düşürür; dildeki en güçlü anlamsal bağların genellikle yakın komşuluklarda bulunması gerçeğini sömürür.
Nasıl Çalışır? (Teknik & Mekanizma)
Uzak tokenlar arasındaki dikkat matrisi hesaplanmadan doğrudan sıfır kabul edilir. Matris seyrek (sparse) bloklar halinde çözülür.
Örnek Senaryo & Pratik Uygulama
Bir mahalle bakkalının şehirdeki tüm vatandaşları tanımaya çalışmak yerine, sadece kendi sokağındaki 50 esnaf ve sakini tanıması.
Benzer Terimlerden Farkı
Küresel (Global) dikkat tüm evreni tararken, Yerel dikkat yalnızca mikroskobik komşuluğa odaklanır.
İlişkili Terimler (2)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#171)Sliding-Window Attention
Sonraki Terim (#173)Longformer