Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Multi-Head Attention (MHA)
#162 Padding Mask#164 Attention Heads
Madde #163Transformers/sozluk/multi-head-attention-mha

Multi-Head Attention (MHA)

Türkçe: Çok Başlı Dikkat Mekanizması
Ayrıntılı Tanım
Q,K,VQ, K, V vektörlerini tek bir büyük dikkat işlemine sokmak yerine, hh adet farklı alt uzaya (başlığa) projekte edip her birinde bağımsız dikkat hesaplayan ve sonuçları uç uca ekleyip (concat) birleştiren mimaridir.
Ne İşe Yarar / Çözülen Problem
Tek bir dikkat odağı aynı anda hem gramere hem özne-nesne bağına hem de kafiyeye odaklanamaz. MHA, modelin cümleye aynı anda onlarca farklı perspektiften bakmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Model boyutu d=4096d=4096 ve başlık sayısı h=32h=32 ise, her başlık dk=128d_k = 128 boyutlu küçük matrislerle çalışır: MHA(Q,K,V)=Concat(head1,...,headh)WO\text{MHA}(Q,K,V) = \text{Concat}(\text{head}_1, ..., \text{head}_h) W_O
Örnek Senaryo & Pratik Uygulama
Bir futbol maçını izleyen 8 farklı kamera ve analist: 1. kamera sadece ofsayt çizgisine, 2. kamera kalecinin duruşuna, 3. kamera hakemin kararlarına odaklanır; maç sonunda tüm raporlar tek bir dosyada birleştirilir.
Benzer Terimlerden Farkı
Tek başlı dikkat (Single-Head) sadece tek bir baskın ilişkiyi yakalarken; Multi-Head çoklu anlamsal kanalları eşzamanlı izler.
İlişkili Terimler (4)
#164
Attention Heads
Dikkat Başlıkları
#169
Multi-Query Attention (MQA)
Çoklu Sorgulu Dikkat
#170
Grouped-Query Attention (GQA)
Gruplanmış Sorgulu Dikkat
#159
Scaled Dot-Product Attention
Ölçeklenmiş Nokta Çarpım Dikkati
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#162)Padding Mask
Sonraki Terim (#164)Attention Heads