Dropout

Dropout Regularization

Türkçe: Düşürme / Seyreltme Regülarizasyonu

Ayrıntılı Tanım

Modelin eğitimi sırasında her ileri besleme adımında nöronların belirli bir olasılıkla (

p

, örn: %50) rastgele seçilerek geçici olarak devreden çıkarılması (sıfırlanması) tekniğidir.

Ne İşe Yarar / Çözülen Problem

Nöronların birbirine bağımlı hale gelmesini (co-adaptation) ve modelin eğitim verisini ezberlemesini (overfitting) engelleyen en devrimci regülarizasyon yöntemidir (Srivastava & Hinton 2014).

Nasıl Çalışır? (Teknik & Mekanizma)

Seçilen nöronların aktivasyonu 0 yapılır. Çıkarım (inference/test) aşamasında ise tüm nöronlar devrededir ancak çıktılar

1-p

ile çarpılır (veya eğitimde Inverted Dropout ile

\frac{1}{1-p}

ile ölçeklenir).

Örnek Senaryo & Pratik Uygulama

Futbol takımının antrenmanında her gün rastgele 3 as oyuncunun oynatılmaması; böylece takımın tek bir yıldıza bağımlı kalmayıp her oyuncunun sorumluluk almayı öğrenmesi.

Benzer Terimlerden Farkı

Model parametrelerini cezalandırmaz (