Top-K Routing

Türkçe: En İyi K-Uzman Yönlendirmesi

Ayrıntılı Tanım

Yönlendirici ağın ürettiği olasılık puanlarına göre sıralama yaparak, her token için yalnızca **en yüksek puanı alan ilk

K

adet uzmanı (genellikle

K=1

veya

K=2

)** aktive eden seçim stratejisidir.

Ne İşe Yarar / Çözülen Problem

Geriye kalan tüm uzmanların hesaplama maliyetini anında sıfırlayarak ağın seyreklik (sparsity) avantajını fiilen hayata geçirir.

Nasıl Çalışır? (Teknik & Mekanizma)

Puan vektöründen en büyük

K

eleman seçilir. Seçilmeyen tüm uzmanların katsayısı

-\infty

yapılarak Softmax ile

0

'a kilitlenir. Çıktı sadece bu

K

uzmandan geçer.

Örnek Senaryo & Pratik Uygulama

Bir yarışmada 50 jüri üyesinden sadece konuyu en iyi bilen ilk 2 jürinin mikrofonunu açıp diğer 48 jüriyi susturmak.

Benzer Terimlerden Farkı

Tüm uzmanları çalıştırmak yerine kesin bir eşik filtresi koyar.

İlişkili Terimler (4)

Ait Olduğu Kategori

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde