Madde #268MoE & SSM/sozluk/structured-state-space-duality-ssd
Structured State Space Duality (SSD)
Türkçe: Yapılandırılmış Durum Uzayı İkiliği
Ayrıntılı Tanım
Durum Uzayı Modelleri (SSM) ile Doğrusal Dikkat (Linear Attention) mekanizmalarının matematiksel olarak **aynı madalyonun iki farklı yüzü olduğunu** kanıtlayan teorik çerçevedir (Dao & Gu, 2024).
Ne İşe Yarar / Çözülen Problem
İki farklı araştırma dünyasını birleştirir; SSM algoritmalarının doğrudan optimize edilmiş hızlı matris çarpım donanımları (GPU Tensor Cores) üzerinde çalıştırılmasının kapısını açmıştır.
Nasıl Çalışır? (Teknik & Mekanizma)
Durum uzayı matrisi , skaler bir sönümleme katsayısına indirgendiğinde; SSM hesaplamasının 1-semiband yarı-ayrılabilir matris çarpımına ve özel bir maskeli dikkat işlemine birebir denk olduğu ispatlanır.
Örnek Senaryo & Pratik Uygulama
Dalga-parçacık ikiliği benzetimi: Işığın duruma göre dalga, duruma göre parçacık gibi davranması gibi; Mamba'nın da matematiksel olarak hem bir durum uzayı hem de bir dikkat mekanizması olduğunun keşfi.
Benzer Terimlerden Farkı
Yeni bir mimari değil; Mamba ile Transformer'lar arasındaki teorik köprüyü kuran matematiksel teoridir.
İlişkili Terimler (2)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#267)Parallel Scan
Sonraki Terim (#269)Mamba-2