Madde #245MoE & SSM/sozluk/sparse-models
Sparse Models
Sparse Neural Networks
Türkçe: Seyrek Modeller
Ayrıntılı Tanım
Devasa bir toplam parametre kapasitesine sahip olmasına rağmen, işlenen her bir veri parçacığı (token) için parametrelerin **yalnızca çok küçük bir alt kümesini koşullu olarak devreye sokan** mimaridir.
Ne İşe Yarar / Çözülen Problem
Hesaplama maliyetini (FLOP) ve çıkarım gecikmesini fırlatmadan modelin hafıza ve dünya bilgisi kapasitesini yüz milyarlarca parametreye ölçeklemeyi mümkün kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bir yönlendirici (Router) veya kapılama mekanizması girdiyi tartar ve ağdaki yolların %90'ından fazlasını kapatıp sadece ilgili %5-10'luk hesaplama bloklarını çalıştırır.
Örnek Senaryo & Pratik Uygulama
1000 odalı devasa bir kütüphanede araştırma yaparken; her konu için 1000 odayı birden gezmek yerine sadece ilgili konunun bulunduğu 2 odaya girip çıkmak.
Benzer Terimlerden Farkı
Yoğun modeller "herkes her işe koşsun" derken; Seyrek modeller "işi sadece uzmanına devret" prensibiyle çalışır.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#244)Dense Models
Sonraki Terim (#246)Mixture of Experts (MoE)