Madde #258MoE & SSM/sozluk/switch-transformers
Switch Transformers
Switch Transformers (Fedus et al., Google 2021)
Türkçe: Anahtarlamalı Dönüştürücüler
Ayrıntılı Tanım
Her token için birden fazla uzman seçmek yerine yönlendirmeyi radikal bir sadelikle **yalnızca tek bir uzmana ()** indirgeyen ve trilyon parametreli modellerin önünü açan mimaridir.
Ne İşe Yarar / Çözülen Problem
Uzmanlar arası iletişim trafiğini ve yönlendirme hesaplama yükünü en aza indirir; devasa modellerin süper bilgisayarlarda basit bir anahtarlama (switch) mantığıyla eğitilmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
seçilir. Token doğrudan yönlendiricinin en yüksek skor verdiği tek bir uzmana postalanır. İletişim hacmi 'ye göre yarı yarıya düşer.
Örnek Senaryo & Pratik Uygulama
Tren rayı makası (Switch): Trenin vagonunu iki farklı hatta bölmeye çalışmak yerine ray makasını tek bir hatta kilitleyip vagonu doğrudan o istasyona yönlendirmek.
Benzer Terimlerden Farkı
Çoklu uzman kombinasyonunu terk edip mutlak hesaplama hızını ve sadeliği öncelemesidir.
İlişkili Terimler (3)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#257)Expert-Choice Routing
Sonraki Terim (#259)Top-1 Gating