Madde #253MoE & SSM/sozluk/shared-experts

Shared Experts

Shared (Isolated) Experts

Türkçe: Paylaşımlı / Daimi Uzmanlar
Ayrıntılı Tanım
Yönlendiricinin kararına bırakılmaksızın, **her bir token için istisnasız olarak daima devrede olan** sabit uzman ağlarıdır.
Ne İşe Yarar / Çözülen Problem
Dildeki temel gramer, noktalama ve ortak mantık kalıplarının yönlendiriciler arasında gereksiz yere çekişme yaratmasını engeller; ortak bilgiyi tek merkezde toplar.
Nasıl Çalışır? (Teknik & Mekanizma)
Toplam çıktı ikiye ayrılır: Sabit paylaşımlı uzmanların çıktısı doğrudan eklenir, geri kalan rota ise yönlendirilen ince taneli uzmanlardan toplanır: y=Eshared(x)+∑i∈TopKG(x)iEi(x)y = E_{shared}(x) + \sum_{i \in \text{TopK}} G(x)_i E_i(x)
Örnek Senaryo & Pratik Uygulama
Bir cerrahi ameliyat timi: Anestezi uzmanı ve başhemşire (paylaşımlı uzmanlar) ameliyat türü ne olursa olsun masada sabittir; ameliyatın türüne göre beyin cerrahı veya kalp cerrahı (yönlendirilen uzmanlar) odaya çağrılır.
Benzer Terimlerden Farkı
Seyrek yönlendirmenin dışındadır; yoğun bir çekirdek gibi daima ateşlenir.
İlişkili Terimler (3)
Ait Olduğu Kategori

Seyrek, Koşullu ve Hibrit Mimariler

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#252)Fine-Grained Experts
Sonraki Terim (#254)DeepSeekMoE