Madde #244MoE & SSM/sozluk/dense-models
Dense Models
Dense (Monolithic) Neural Networks
Türkçe: Yoğun / Monolitik Modeller
Ayrıntılı Tanım
Girdiye gelen her bir kelime, piksel veya token için model bünyesindeki parametrelerin **tamamını istisnasız olarak aktive eden ve çalıştıran** geleneksel sinir ağı mimarisidir.
Ne İşe Yarar / Çözülen Problem
Mimarisi ve donanım optimizasyonu son derece basittir; parametrelerin tamamı her işlemde güncellendiği için küçük ve orta ölçeklerde yüksek bilgi yoğunluğu sunar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bir girdi vektörü , modelin tüm katmanlarındaki tüm ağırlık matrisleriyle () tam matris çarpımına girer. FLOP maliyeti doğrudan toplam parametre sayısıyla orantılıdır ().
Örnek Senaryo & Pratik Uygulama
Bir soru sorduğunuzda şirketteki 1000 çalışanın tamamının aynı anda masalarından kalkıp toplantı odasına doluşması ve tek bir kelime için hepsinin birden kafa yorması.
Benzer Terimlerden Farkı
Seyrek (Sparse) modeller girdi başına parametrelerin sadece küçük bir kısmını seçerken; Yoğun modeller tüm ağırlıkları zorunlu olarak ateşler.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#243)Reinforcement Learning with Verifiable Rewards (RLVR)
Sonraki Terim (#245)Sparse Models