Madde #170Transformers/sozluk/grouped-query-attention-gqa
Grouped-Query Attention (GQA)
Grouped-Query Attention (Ainslie et al., 2023)
Türkçe: Gruplanmış Sorgulu Dikkat
Ayrıntılı Tanım
MHA ile MQA arasında altın bir orta yol kuran; sorgu başlıklarını () belirli gruplara ayıran ve **her grubun kendi içinde tek bir ortak ve başlığı** paylaştığı modern mimaridir.
Ne İşe Yarar / Çözülen Problem
MHA kalitesine neredeyse birebir yakın kalite sunarken, KV-Cache bellek boyutunu ve bellek bant genişliği darboğazını 4 ila 8 kat azaltır (LLaMA-2 70B, LLaMA-3 ve Mistral'in tercihidir).
Nasıl Çalışır? (Teknik & Mekanizma)
Örneğin 32 adet başlığı 8 gruba ayrılır. Her grupta 4 adet başlığı bulunur ve bu 4 başlık tek bir ve başlığını paylaşır (toplamda 8 ve 8 başlığı).
Örnek Senaryo & Pratik Uygulama
32 kişilik bir sınıfta herkesin ayrı ders kitabı alması yerine (MHA) ya da tüm sınıfın tek bir kitabı paylaşmaya çalışması yerine (MQA); 4'er kişilik 8 çalışma masası kurulup her masaya birer kitap verilmesi (GQA).
Benzer Terimlerden Farkı
MHA'nın yüksek VRAM tüketimi ile MQA'nın kalite kaybı arasındaki mükemmel mühendislik dengesidir.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#169)Multi-Query Attention (MQA)
Sonraki Terim (#171)Sliding-Window Attention