Madde #266MoE & SSM/sozluk/mamba
Mamba
Mamba Architecture (Gu & Dao, 2023)
Türkçe: Mamba Mimarisi
Ayrıntılı Tanım
Seçici Durum Uzayı mekanizmasını, modern donanımların (GPU SRAM ve HBM) bellek hiyerarşisine göre tasarlanmış **donanım-farkındalıklı paralel tarama (Hardware-Aware Parallel Scan)** algoritmasıyla birleştiren devrimci Transformer alternatifi derin öğrenme mimarisidir.
Ne İşe Yarar / Çözülen Problem
Transformer kalitesinde dil anlama ve üretme başarısı gösterirken; karesel dikkat () yerine doğrusal işlem () sunar ve çıkarımda KV-Cache gerektirmediği için devasa bellek tasarrufu sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Attention bloklarını tamamen kaldırır. Bunun yerine Seçici SSM katmanları ve 1D evrişimleri birleştirir. GPU belleğindeki yavaş HBM transferlerini önlemek için ara durumlar hızlı SRAM çipinde hesaplanır.
Örnek Senaryo & Pratik Uygulama
Kara Mamba yılanı benzetimi: Hızlı, çevik ve hiçbir engele takılmadan kilometrelerce yolu düz bir çizgide kayarak akması; Transformer gibi her adımda durup arkasına bakmaması.
Benzer Terimlerden Farkı
Transformer çıkarımda geçmiş uzadıkça yavaşlar ve VRAM'i tüketir; Mamba ise ilk kelimede de 1 milyonuncu kelimede de aynı sabit hız ve sabit bellekle üretir.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#265)Selective State Space Model
Sonraki Terim (#267)Parallel Scan