AdamW

Adam with Decoupled Weight Decay

Türkçe: Ayrıştırılmış Ağırlık Azaltımlı Adam

Ayrıntılı Tanım

Standart Adam algoritmasında

L_2

regülarizasyonunun gradyan hesaplamasıyla karışıp etkisini kaybetmesi hatasını, ağırlık azaltımını (weight decay) doğrudan parametre güncellemesine bağlayarak çözen versiyondur.

Ne İşe Yarar / Çözülen Problem

LLM ve modern Transformer modellerinde modelin aşırı ezberlemesini (overfitting) engeller ve genelleme performansını ciddi şekilde artırır.

Nasıl Çalışır? (Teknik & Mekanizma)

Standart

L_2

kaybı gradyana eklenmez. Bunun yerine parametre güncelleme adımında doğrudan model ağırlığı belirli bir oranda eritilir:

\theta_{t+1} = \theta_t - \eta \lambda \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t

Örnek Senaryo & Pratik Uygulama

Transformer (GPT/BERT) eğitimlerinin neredeyse tamamında standart optimizasyon motoru olarak kullanılması.

Benzer Terimlerden Farkı

Klasik Adam'da weight decay gradyan karelerine bölünürken, AdamW'de doğrudan ağırlıktan düşülür (decoupled).

İlişkili Terimler (3)

#14

Adam (Adaptive Moment Estimation)

Uyarlanabilir Moment Tahmini

#28

Weight Decay

Ağırlık Azaltımı / Sönümlenmesi

#26

L2 Regularization

L2 Regülarizasyonu

Ait Olduğu Kategori

Klasik Makine Öğrenmesi ve İstatistiksel Kuram

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#14)Adam (Adaptive Moment Estimation)

Sonraki Terim (#16)Feature Engineering