Madde #8ML & Kuram/sozluk/stochastic-gradient-descent-sgd
Stochastic Gradient Descent (SGD)
Türkçe: Stokastik (Rastlantısal) Gradyan İnişi
Ayrıntılı Tanım
Model parametrelerini eğitirken her adımda tüm veri seti yerine yalnızca rastgele seçilmiş **tek bir veri örneğini** kullanarak gradyan hesaplayan optimizasyon yöntemidir.
Ne İşe Yarar / Çözülen Problem
Milyonlarca veriyi belleğe sığdıramama ve eğitim adımlarının saatlerce sürmesi problemini çözer; son derece hızlı adım atar.
Nasıl Çalışır? (Teknik & Mekanizma)
Tek bir örneği için:
Tekil verinin gürültüsü yüksek olduğu için kayıp yüzeyinde zikzaklar çizer ancak bu zikzaklar yerel minimumlardan (local minima) kaçmayı kolaylaştırır.
Örnek Senaryo & Pratik Uygulama
Sisli havada koşan sabırsız dağcı: Bastığı tek bir taşın eğimine bakıp hemen koşar; çok sendeler ama hızla aşağı iner.
Benzer Terimlerden Farkı
Full-Batch'e göre çok daha gürültülü (noisy) ama hesaplama maliyeti bakımından binlerce kat daha hızlıdır.
İlişkili Terimler (3)
Klasik Makine Öğrenmesi ve İstatistiksel Kuram
Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.
Toplam Terim:68 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#7)Full-Batch Gradient Descent
Sonraki Terim (#9)Mini-Batch SGD