Auxiliary Balancing Loss

Auxiliary Loss-Free Balancing

Türkçe: Yardımcı Kayıpsız Dengeleme

Ayrıntılı Tanım

Geleneksel yük dengeleme kayıplarının modelin asıl dil öğrenme hedefini saptırmasını önlemek amacıyla; kayıp fonksiyonuna ceza eklemek yerine yönlendiricinin uzman eşiklerine **dinamik dinamik sapma (bias) terimleri** ekleyerek denge kuran modern yaklaşımdır.

Ne İşe Yarar / Çözülen Problem

Yük dengeleme kaybının modelin genel zekâsını ve mantık yeteneğini köreltmesi (performans cezası ödetmesi) sorununu çözer (DeepSeek-V3 bu sayede rekor kırmıştır).

Nasıl Çalışır? (Teknik & Mekanizma)

Bir uzmanın kapasitesi dolduğunda, yönlendirici matrisi cezalandırılmaz; sadece o uzmanın yönlendirme skoruna geçici bir negatif sapma eklenir (

s_i + b_i

). Gradyanlar ana modelden temiz kalır.

Örnek Senaryo & Pratik Uygulama

Otoyol gişelerinde ceza kesmek yerine; yoğun gişelerin önüne hafif hız kesici kasisler koyarak araçların doğal olarak boş gişelere yönelmesini sağlamak.

Benzer Terimlerden Farkı

Kayıp fonksiyonuna (