Madde #164Transformers/sozluk/attention-heads
Attention Heads
Türkçe: Dikkat Başlıkları
Ayrıntılı Tanım
Multi-Head Attention mimarisi içerisinde, her biri kendi bağımsız projeksiyon ağırlıklarına sahip olan bireysel dikkat hesaplama üniteleridir.
Ne İşe Yarar / Çözülen Problem
Sinir ağındaki uzmanlaşmayı sağlar: Kimi başlık özne ile yüklemi bağlarken, kimi başlık zamirleri isme bağlar, kimi başlık ise sadece bir önceki kelimeye odaklanır.
Nasıl Çalışır? (Teknik & Mekanizma)
Katmandaki her başlık paralel olarak kendi boyutlu dikkat matrisini oluşturur. Mekanistik yorumlanabilirlik (mechanistic interpretability) çalışmalarında belirli başlıkların (örneğin Induction Heads) somut görevleri olduğu kanıtlanmıştır.
Örnek Senaryo & Pratik Uygulama
Bir orkestrayı dinlerken kemanlara odaklanan sol kulak ile aynı anda kontrbasa odaklanan sağ kulağın beyinde iki ayrı ses hattı kurması.
Benzer Terimlerden Farkı
Katmanın kendisi değil; bir katmanın içindeki paralel çalışan mikro anlamsal işlemcilerdir.
İlişkili Terimler (2)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#163)Multi-Head Attention (MHA)
Sonraki Terim (#165)Query (Q)