RMSProp

Root Mean Square Propagation

Türkçe: Kök Ortalama Kare Yayılımı

Ayrıntılı Tanım

Her parametre için öğrenme oranını (learning rate), o parametrenin geçmiş gradyan karelerinin üstel hareketli ortalamasına bölerek otomatik olarak uyarlayan algoritmadır.

Ne İşe Yarar / Çözülen Problem

Çok dik eksenlerde büyük adımlar atıp patlamayı, düz eksenlerde ise çok küçük adımlar atıp takılı kalmayı engeller; her eksene özel hız ayarı yapar.

Nasıl Çalışır? (Teknik & Mekanizma)

Gradyan karelerinin ortalaması

v_t = \beta v_{t-1} + (1-\beta)g_t^2

. Güncelleme:

\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{v_t + \epsilon}} \cdot g_t

Örnek Senaryo & Pratik Uygulama

Arazi aracının akıllı süspansiyon sistemi: Çok engebeli dik yolda tekerlek dönüşünü yavaşlatıp yumuşatırken, düz asfaltta tam gaz basması.

Benzer Terimlerden Farkı

AdaGrad'ın gradyanları sürekli toplayarak öğrenme oranını zamanla sıfırlayıp öğrenmeyi durdurması hatasını, üstel sönümleme ile çözer.

İlişkili Terimler (3)

#12

AdaGrad

Uyarlanabilir Gradyan Algoritması

#14

Adam (Adaptive Moment Estimation)

Uyarlanabilir Moment Tahmini

#107

Learning Rate Schedule

Öğrenme Oranı Çizelgelemesi / Zamanlaması

Ait Olduğu Kategori

Klasik Makine Öğrenmesi ve İstatistiksel Kuram

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#10)Momentum

Sonraki Terim (#12)AdaGrad