Sözlüğe Dön/Klasik Makine Öğrenmesi ve İstatistiksel Kuram/Weight Decay
#27 Ridge Regression#29 Decision Trees
Madde #28ML & Kuram/sozluk/weight-decay

Weight Decay

Türkçe: Ağırlık Azaltımı / Sönümlenmesi
Ayrıntılı Tanım
Sinir ağlarının eğitimi sırasında her optimizasyon adımında model ağırlıklarını değerleriyle orantılı olarak doğrudan küçülten bir regülarizasyon yöntemidir.
Ne İşe Yarar / Çözülen Problem
Sinir ağındaki bağlantı ağırlıklarının devasa sayılara ulaşıp modeli patlatmasını ve ezberciliği engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Standart SGD altında matematiksel olarak L2L_2 regülarizasyonuna denktir: wt+1=(1−ηλ)wt−η∇L(wt)w_{t+1} = (1 - \eta \lambda) w_t - \eta \nabla L(w_t) Ağırlık her adımda (1−ηλ)(1 - \eta \lambda) çarpanıyla hafifçe küçültülür.
Örnek Senaryo & Pratik Uygulama
İnsan beyninde kullanılmayan sinirsel bağlantıların biyolojik olarak zamanla budanması ve zayıflatılması (synaptic pruning).
Benzer Terimlerden Farkı
L2L_2 kayıp fonksiyonuna eklenen bir ceza iken, Weight Decay optimizasyon adımına doğrudan uygulanan bir operasyondur (AdamW farkı buradan doğar).
İlişkili Terimler (3)
#26
L2 Regularization
L2 Regülarizasyonu
#15
AdamW
Ayrıştırılmış Ağırlık Azaltımlı Adam
#8
Stochastic Gradient Descent (SGD)
Stokastik (Rastlantısal) Gradyan İnişi
Ait Olduğu Kategori

Klasik Makine Öğrenmesi ve İstatistiksel Kuram

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#27)Ridge Regression
Sonraki Terim (#29)Decision Trees