Gradient Clipping

Türkçe: Gradyan Kırpma

Ayrıntılı Tanım

Eğitim sırasında hesaplanan gradyan vektörünün büyüklüğü belirlenen bir eşik değerini aştığında, gradyanın yönünü bozmadan büyüklüğünü bu eşiğe zorla indirgeme işlemidir.

Ne İşe Yarar / Çözülen Problem

Gradyan patlaması (exploding gradients) yüzünden model parametrelerinin `NaN` olmasını ve eğitimin çökmesini kesin olarak engeller.

Nasıl Çalışır? (Teknik & Mekanizma)

Norm kırpma (Clip by Norm) kullanılır:

\text{Eğer } \|g\| > c \implies g \leftarrow g \cdot \frac{c}{\|g\|}

Gradyanın yönü tamamen aynı kalır, sadece adım boyu güvenli bir sınıra hapsedilir.

Örnek Senaryo & Pratik Uygulama

Hızlı giden bir spor arabaya hız sabitleyici (limitör) takmak: Gaz pedalına ne kadar basılırsa basılsın hızın 120 km/s sınırını geçmesine izin vermemek.

Benzer Terimlerden Farkı

Gradyanları sıfırlamaz veya yok etmez; sadece vektörün normunu ölçekler. Özellikle RNN ve Transformer eğitiminde güvenlik kilididir.

İlişkili Terimler (3)

#82

Exploding Gradients

Gradyan Patlaması Problemi

#73

Backpropagation

Geriye Yayılım Algoritması

#14

Adam (Adaptive Moment Estimation)

Uyarlanabilir Moment Tahmini

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#105)Early Stopping

Sonraki Terim (#107)Learning Rate Schedule