Vanishing Gradients

Vanishing Gradient Problem

Türkçe: Gradyan Kaybolması / Sönümlenmesi Problemi

Ayrıntılı Tanım

Geriye yayılım sırasında zincir kuralı işletilirken, 1'den küçük türev değerlerinin peş peşe çarpılması sonucu gradyanların ilk katmanlara ulaştığında sıfıra yaklaşması ve modelin öğrenmeyi durdurması problemidir.

Ne İşe Yarar / Çözülen Problem

1990'larda ve 2000'lerin başında sinir ağlarının neden 3-4 katmandan daha derine gidemediğini açıklar; modern derin öğrenme mimarilerinin doğuş sebebidir.

Nasıl Çalışır? (Teknik & Mekanizma)

Sigmoid'in maksimum türevi 0.25'tir. 10 katman geriye gittiğinizde

(0.25)^{10} \approx 0.00000095

olur. Ağırlık güncellemesi

\Delta w \approx 0

haline gelir.

Örnek Senaryo & Pratik Uygulama

Kulaktan kulağa oynayan 20 kişi: İlk baştaki kişinin söylediği fısıltı 15. kişiye geldiğinde tamamen yok olur; sondaki kişi ilk kişinin ne dediğini asla öğrenemez.

Benzer Terimlerden Farkı

Exploding gradients sayıları sonsuza uçururken, Vanishing gradients sayıları sıfıra gömer.

İlişkili Terimler (4)

#82

Exploding Gradients

Gradyan Patlaması Problemi

#85

ReLU

Düzeltilmiş Doğrusal Birim

#93

Residual Connections

Artık Bağlantılar / Kestirme Yollar