Exploding Gradients

Exploding Gradient Problem

Türkçe: Gradyan Patlaması Problemi

Ayrıntılı Tanım

Geriye yayılım sırasında 1'den büyük türevlerin ve ağırlıkların zincirleme çarpılması sonucu gradyanların katlanarak büyümesi, ağırlıkların `NaN` (Not a Number) değerine dönüşmesi ve eğitimin çökmesidir.

Ne İşe Yarar / Çözülen Problem

Model eğitiminde kayıp değerinin aniden sonsuza uçması ve parametrelerin bozulması krizini açıklar.

Nasıl Çalışır? (Teknik & Mekanizma)

Katman matrislerinin en büyük tekil değeri 1'den büyük olduğunda adımlar devasa hale gelir. Model kayıp fonksiyonunun zemininde kararlı inmek yerine uzayın boşluğuna fırlar.

Örnek Senaryo & Pratik Uygulama

Çığ felaketi: Dağın tepesinden yuvarlanan minik bir kartopunun (türev), aşağıya indikçe devasa bir kaya kütlesine dönüşüp vadiyi yerle bir etmesi.

Benzer Terimlerden Farkı

Vanishing gradients modeli dondurur, Exploding gradients ise modeli paramparça eder.

İlişkili Terimler (3)

#81

Vanishing Gradients

Gradyan Kaybolması / Sönümlenmesi Problemi