Madde #271MoE & SSM/sozluk/jamba
Jamba
Jamba (AI21 Labs, 2024)
Türkçe: Jamba Mimarisi
Ayrıntılı Tanım
AI21 Labs tarafından sunulan; **Mamba (SSM), Transformer (Attention) ve Mixture of Experts (MoE)** teknolojilerini tek bir kurumsal üretim modelinde birleştiren ilk büyük ölçekli hibrit açık kaynaklı modeldir.
Ne İşe Yarar / Çözülen Problem
256K gibi devasa bağlam pencerelerinde tek bir 80 GB GPU üzerinde rekor çıkarım hızı ve minimum bellek ayak izi sunar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bloklar "Jamba Bloğu" olarak paketlenir: 1:7 oranında Attention/Mamba katmanı kullanılır ve her iki katmandan biri 16 uzmanlı (Top-2) bir MoE katmanıyla güçlendirilir.
Örnek Senaryo & Pratik Uygulama
300 sayfalık bir finansal sözleşmeyi sisteme yüklediğinizde, modelin hem anında ilk cevabı üretmesi hem de sözleşmenin 142. sayfasındaki tek bir paragrafı milisaniyede bulup çıkarması.
Benzer Terimlerden Farkı
Sadece teorik bir deney değil; endüstri standardı seviyesinde eğitilmiş ilk devasa Mamba-Attention-MoE sentezidir.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#270)Hybrid SSM-Transformer
Sonraki Terim (#272)KIMILINEAR