Madde #247MoE & SSM/sozluk/router-network
Router Network
Router Network (Routing Mechanism)
Türkçe: Yönlendirici Ağ
Ayrıntılı Tanım
Mixture of Experts mimarisinde her bir girdi tokenının temsil vektörünü analiz ederek, o tokenın hangi uzman ağlara gönderileceğini milisaniyeler içinde belirleyen karar verici küçük sinir ağıdır.
Ne İşe Yarar / Çözülen Problem
Girdinin içeriği ile uzmanların uzmanlık alanları arasındaki en doğru eşleşmeyi kurarak seyreklik verimini maksimize eder.
Nasıl Çalışır? (Teknik & Mekanizma)
Token vektörü , öğrenilebilir bir yönlendirici matrisi ile çarpılır: . Elde edilen skorlar Softmax ile olasılığa dönüştürülür ve en yüksek puanı alan uzmanlar seçilir.
Örnek Senaryo & Pratik Uygulama
Postanedeki otomatik mektup ayrıştırma makinesi: Zarfın üzerindeki posta kodunu okuyup mektubu ilgili şehrin çuvalına fırlatan optik ayırıcı kol.
Benzer Terimlerden Farkı
Ağır hesaplamayı yapan uzman değildir; uzmanların kapısını açan hafif bir trafik polisidir.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#246)Mixture of Experts (MoE)
Sonraki Terim (#248)Gating Network