Madde #249MoE & SSM/sozluk/router-collapse
Router Collapse
Router Collapse (Representation Collapse in MoE)
Türkçe: Yönlendirici Çökmesi / Uzman Tekelleşmesi
Ayrıntılı Tanım
MoE modelinin eğitimi sırasında yönlendiricinin erken safhalarda şans eseri biraz daha iyi öğrenmiş 1-2 popüler uzmana aşırı yüklenmesi, tüm tokenları bu uzmanlara göndermesi ve diğer uzmanların hiçbir şey öğrenemeyerek körelmesi patolojisidir.
Ne İşe Yarar / Çözülen Problem
MoE modellerinin en büyük eğitim felaketidir; 64 uzmanlı bir modelin fiilen tek bir yoğun modele çökmesini tanımlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Geriye yayılım sadece seçilen uzmanları güncellediği için, seçilen uzmanlar daha da güçlenir; seçilmeyen uzmanlar ise sıfır gradyan alarak zombi haline gelir (zengin daha zengin olur matris paradoksu).
Örnek Senaryo & Pratik Uygulama
Bir restoranda 10 garson varken şefin tüm siparişleri sürekli en sevdiği tek bir garsona vermesi; o garsonun yorgunluktan bayılması, diğer 9 garsonun ise işi tamamen unutması.
Benzer Terimlerden Farkı
Modelin çökmesi değil, uzmanlar arası iş bölümü demokrasisinin iflas etmesidir.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#248)Gating Network
Sonraki Terim (#250)Load Balancing Loss