Top-2 Gating

Türkçe: İkili Uzman Kapılama

Ayrıntılı Tanım

Her token için en yüksek skoru alan **iki farklı uzmanın (

K=2

)** seçildiği; bu iki uzmanın çıktılarının kapı ağırlıklarıyla toplanarak nihai sonucun üretildiği klasik MoE standardıdır.

Ne İşe Yarar / Çözülen Problem

Tek uzmanın yapabileceği hataları ikinci bir uzmanla dengeler; uzmanlar arasında bilgi geçişkenliği ve ortak akıl kurar (Mixtral 8x7B standardı).

Nasıl Çalışır? (Teknik & Mekanizma)

En iyi iki uzman (

i_1, i_2

) seçilir. Skorları kendi aralarında tekrar normalize edilir:

y = \tilde{g}_1 E_{i_1}(x) + \tilde{g}_2 E_{i_2}(x)

Örnek Senaryo & Pratik Uygulama

Tıbbi bir konsültasyon: Hastayı tek bir doktora bırakmayıp, teşhis için iki farklı uzman doktorun ortak imzasını almak.

Benzer Terimlerden Farkı

Top-1'e göre iki kat daha fazla FFN hesaplaması gerektirir ancak model kalitesi ve akıl yürütme kararlılığı çok daha yüksektir.

İlişkili Terimler (2)

Ait Olduğu Kategori

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde