Madde #246MoE & SSM/sozluk/mixture-of-experts-moe
Mixture of Experts (MoE)
Türkçe: Uzmanlar Karışımı Mimarisi
Ayrıntılı Tanım
Standart Transformer katmanındaki devasa FFN bloğunu, paralel çalışan çok sayıda bağımsız küçük alt ağa (**uzmanlara / experts**) bölen ve her tokenı bir yönlendirici aracılığıyla bu uzmanlardan sadece birkaçına gönderen mimaridir.
Ne İşe Yarar / Çözülen Problem
Trilyon parametreli modellerin (GPT-4, Mixtral 8x7B, DeepSeek-V3), sanki çok daha küçük bir modelmiş gibi düşük donanım maliyetiyle ışık hızında çalışmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Katman çıktısı seçilen uzmanların çıktılarının ağırlıklı toplamıdır:
Burada yönlendiricinin ürettiği kapılama katsayısı, ise . uzmanın çıktısıdır. Çoğu uzman için 'dır.
Örnek Senaryo & Pratik Uygulama
Bir hastanenin acil servisi: Gelen hasta şikayetine göre danışma tarafından doğrudan ya kardiyoloğa ya ortopediste yönlendirilir; tüm branş hekimleri aynı hastanın başına toplanmaz.
Benzer Terimlerden Farkı
Klasik Transformer her kelimeye aynı katmanı dayatırken; MoE her kelimeye özel bir uzman heyeti atar.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#245)Sparse Models
Sonraki Terim (#247)Router Network