Load Balancing Loss

Load Balancing Loss (Auxiliary Loss)

Türkçe: Yük Dengeleme Kaybı

Ayrıntılı Tanım

Yönlendirici çökmesini engellemek için ana model kaybına eklenen; yönlendiriciyi tokenları tüm uzmanlar arasında **mümkün olduğunca eşit ve dengeli dağıtmaya** zorlayan matematiksel ceza fonksiyonudur.

Ne İşe Yarar / Çözülen Problem

Hiçbir uzmanın atıl kalmamasını ve hiçbir GPU'nun aşırı yük altında kilitlenmemesini garanti eder.

Nasıl Çalışır? (Teknik & Mekanizma)

Bir yığındaki tokenların uzmanlara dağılma frekansı (

f_i

) ile yönlendiricinin uzmanlara verdiği ortalama olasılık katsayısı (

P_i

) arasındaki korelasyon cezalandırılır:

\mathcal{L}_{balance} = \alpha \cdot E \sum_{i=1}^{E} f_i P_i

Örnek Senaryo & Pratik Uygulama

Banka şubesindeki sıramatik sistemi: Hangi gişenin önünde kuyruk azaldıysa sıradaki müşteriyi doğrudan o boş gişeye sevk ederek veznedarların eşit çalışmasını sağlamak.

Benzer Terimlerden Farkı

Modelin dil öğrenmesine odaklanmaz; tamamen donanım ve uzman yük dağılımını adil tutmak için konulmuş harici bir regülarizasyondur.

İlişkili Terimler (3)

#249

Router Collapse

Yönlendirici Çökmesi / Uzman Tekelleşmesi

#251

Auxiliary Balancing Loss

Yardımcı Kayıpsız Dengeleme

#246

Mixture of Experts (MoE)

Uzmanlar Karışımı Mimarisi

Ait Olduğu Kategori

Seyrek, Koşullu ve Hibrit Mimariler

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#249)Router Collapse

Sonraki Terim (#251)Auxiliary Balancing Loss