Madde #171Transformers/sozluk/sliding-window-attention
Sliding-Window Attention
Sliding-Window Attention (Local Windowed Attention)
Türkçe: Kayan Pencereli Dikkat
Ayrıntılı Tanım
Her tokenın dizideki tüm tokenlara bakması yerine, yalnızca sabit genişlikteki yerel bir pencere içerisindeki (örneğin sağındaki ve solundaki son token, örn: 4096 token) komşularına dikkat kesildiği seyrek dikkat türüdür.
Ne İşe Yarar / Çözülen Problem
Tam dikkatin karesel hesaplama karmaşıklığını () doğrusal karmaşıklığa () düşürür; Mistral-7B modelinin temel hız sırrıdır.
Nasıl Çalışır? (Teknik & Mekanizma)
Dikkat maskesi sadece bant köşegen boyunca açık bırakılır. Ancak derin katmanlar boyunca bilgi üst üste bindikçe, ağın efektif alıcı alanı (receptive field) katman sayısı kadar genişler.
Örnek Senaryo & Pratik Uygulama
Bir trenin raylar üzerinde giderken sadece önündeki 500 metrelik aydınlatılmış alana (pencere) odaklanması; tren ilerledikçe pencerenin de raylar boyunca kayarak tüm yolu taraması.
Benzer Terimlerden Farkı
Global tam dikkat tüm metni aynı anda görür; Kayan Pencere ise yerel adımlarla ilerler ve belleği sabit bir tavan sınırında kilitler.
İlişkili Terimler (2)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#170)Grouped-Query Attention (GQA)
Sonraki Terim (#172)Local Attention