Top-1 Gating

Türkçe: Tekli Uzman Kapılama

Ayrıntılı Tanım

Girdideki her token için mevcut tüm uzman havuzundan kesinlikle sadece en yüksek olasılığa sahip tek bir uzmanın (

K=1

) çalıştırılması kuralıdır.

Ne İşe Yarar / Çözülen Problem

Çıkarım sırasında en düşük FLOP maliyetini ve en düşük bellek bant genişliği tüketimini garanti eder.

Nasıl Çalışır? (Teknik & Mekanizma)

y = E_{\arg\max_i H(x)_i}(x)

Çıktı hiçbir harmanlama veya ağırlıklı toplama gerektirmeden doğrudan o tek uzmandan döner.

Örnek Senaryo & Pratik Uygulama

Bir tercüme bürosuna gelen Fransızca metni sadece tek bir Fransızca tercümanına teslim etmek.

Benzer Terimlerden Farkı

Top-2'nin sağladığı uzmanlar arası sentez ve yumuşak geçiş kabiliyetinden yoksundur; yönlendirici bir hata yaparsa telafisi yoktur.

İlişkili Terimler (3)

Ait Olduğu Kategori

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde