Multi-Query Attention (MQA)

Multi-Query Attention (Shazeer, 2019)

Türkçe: Çoklu Sorgulu Dikkat

Ayrıntılı Tanım

Multi-Head Attention'da her dikkat başlığı için ayrı

K

V

tutmak yerine; tüm sorgu başlıklarının **tek bir ortak Key ve tek bir ortak Value** başlığını paylaştığı dikkat tasarımıdır.

Ne İşe Yarar / Çözülen Problem

KV-Cache'in GPU VRAM'inde kapladığı devasa bellek ayak izini başlık sayısı (

h

) oranında (örneğin 32 kat veya 64 kat) küçültür; çıkarım hızını uçurur.

Nasıl Çalışır? (Teknik & Mekanizma)

Örneğin 32 adet

Q

başlığı varken, yalnızca 1 adet

K

ve 1 adet

V

başlığı üretilir. Tüm

Q

başlıkları aynı

K

V

ile çarpılır.

Örnek Senaryo & Pratik Uygulama

32 farklı dedektifin (32 Query) araştırma yaparken masada duran tek bir ortak ansiklopediyi (1 Key, 1 Value) birlikte incelemesi.

Benzer Terimlerden Farkı

MHA'da

h

adet K ve V vardır; MQA'da sadece 1 adet K ve V vardır. Belleği inanılmaz rahatlatır ancak modelin temsil kapasitesinde hafif bir düşüş yaşanabilir.

İlişkili Terimler (3)

Ait Olduğu Kategori

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde