Momentum

Momentum (Gradient Descent with Momentum)

Türkçe: İvme / Momentum Yöntemi

Ayrıntılı Tanım

Gradyan inişi sırasında geçmiş adımların yönünü ve hızını belirli bir katsayıyla hafızada tutarak, aynı yönde giden güncellemeleri hızlandıran, zıt yönlü titreşimleri sönümleyen tekniktir.

Ne İşe Yarar / Çözülen Problem

Özellikle dar vadilerde (ravines) gradyanın bir o duvara bir bu duvara çarparak ilerlemeyi yavaşlatması problemini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Fizikteki hız mantığı:

v_t = \beta v_{t-1} + \eta \nabla L(\theta)

\theta = \theta - v_t

\beta

genellikle 0.9 seçilir.

Örnek Senaryo & Pratik Uygulama

Tepeden aşağı yuvarlanan ağır bir demir bilye benzetimi: Bilye küçük çukurlara takılmaz, kendi ivmesiyle düzensiz tümsekleri aşıp hızla dip noktaya akar.

Benzer Terimlerden Farkı

Standart SGD geçmiş adımları tamamen unuturken, Momentum geçmişin ağırlıklı hareketli ortalamasını taşır.

İlişkili Terimler (3)

Mini-Batch SGD

Küçük Yığın Stokastik Gradyan İnişi

#11

RMSProp

Kök Ortalama Kare Yayılımı

#14

Adam (Adaptive Moment Estimation)

Uyarlanabilir Moment Tahmini

Ait Olduğu Kategori

Klasik Makine Öğrenmesi ve İstatistiksel Kuram

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#9)Mini-Batch SGD

Sonraki Terim (#11)RMSProp