Mamba-2

Mamba-2 Architecture (Dao & Gu, 2024)

Türkçe: Mamba-2 Mimarisi

Ayrıntılı Tanım

Durum Uzayı İkiliği (SSD) teorisi üzerine inşa edilen; Mamba'nın temel çekirdeğini doğrudan GPU Tensör Çekirdeklerinde (Tensor Cores) devasa blok matris çarpımları yapacak şekilde yeniden tasarlayan ikinci nesil mimaridir.

Ne İşe Yarar / Çözülen Problem

Orijinal Mamba'nın standart GPU matris donanımlarını tam verimle kullanamaması kısıtını çözer; eğitim hızını 2 ila 8 kat artırarak modern LLM boyutlarında rekabetçi hale getirir.

Nasıl Çalışır? (Teknik & Mekanizma)

Durum boyutu

N

16'dan 64 veya 128'e çıkarılır. Attention'daki Multi-Head mantığına benzer şekilde Multi-Head SSM yapısına geçilir. Hesaplama blok matris çarpanlarına bölünür.

Örnek Senaryo & Pratik Uygulama

Formula 1 yarış arabasına standart binek araba motoru yerine doğrudan jet motoru takmak: Mamba felsefesinin saf donanım gücüyle buluşması.

Benzer Terimlerden Farkı

Orijinal Mamba özel yazılmış donanım kodlarına muhtaçken, Mamba-2 saf matris çarpımı hızına odaklanır ve çok daha büyük durum boyutlarını destekler.

İlişkili Terimler (3)

Structured State Space Duality (SSD)

Yapılandırılmış Durum Uzayı İkiliği

#163