Madde #257MoE & SSM/sozluk/expert-choice-routing
Expert-Choice Routing
Expert-Choice Routing (Zhou et al., Google 2022)
Türkçe: Uzman Seçimli Yönlendirme
Ayrıntılı Tanım
Token-Choice mantığını tersine çevirerek; **her bir uzmanın kendisine sunulan tüm token havuzu içerisinden en iyi anladığı sabit sayıda adet tokenı seçtiği** yönlendirme yöntemidir.
Ne İşe Yarar / Çözülen Problem
Uzmanlar arasındaki yük dengesizliğini matematiksel olarak kökünden çözer; her uzmanın yükü baştan sabitlendiği için hiçbir uzman boş kalmaz veya aşırı yüklenmez.
Nasıl Çalışır? (Teknik & Mekanizma)
Yönlendirme matrisi transpoze edilir. Her uzman kendi kapasite faktörüne () göre en yüksek skor verdiği tokenları bünyesine çeker. Bazı tokenlar birden fazla uzman tarafından kapılırken, bazı önemsiz tokenlar hiç seçilmeyebilir.
Örnek Senaryo & Pratik Uygulama
Yetenek yarışması seçmeleri: Yarışmacıların jüri seçmesi yerine; jüri üyelerinin sahnedeki 100 yarışmacı arasından kendi takımlarına almak istedikleri 5'er kişiyi tek tek seçip alması.
Benzer Terimlerden Farkı
Token-Choice'ta yük dengeleme kaybı şartken; Expert-Choice doğası gereği mükemmel dengelidir, yardımcı kayba ihtiyaç duymaz.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#256)Token-Choice Routing
Sonraki Terim (#258)Switch Transformers