Madde #107Derin Öğrenme/sozluk/learning-rate-schedule
Learning Rate Schedule
Learning Rate Schedule (LR Scheduling)
Türkçe: Öğrenme Oranı Çizelgelemesi / Zamanlaması
Ayrıntılı Tanım
Modelin eğitimi boyunca adım büyüklüğünü belirleyen öğrenme oranını (learning rate) sabit tutmak yerine, önceden belirlenmiş bir matematiksel kurala göre dinamik olarak değiştiren yaklaşımdır.
Ne İşe Yarar / Çözülen Problem
Başlangıçta büyük adımlarla hızla ilerlemeyi, eğitim sonuna doğru ise küçük adımlarla en dip noktaya hassas iniş yapmayı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Adım sayısına () bağlı olarak bir fonksiyonu işletilir (adım azaltma, üssel sönümleme, kosinüs eğrisi gibi).
Örnek Senaryo & Pratik Uygulama
Paraşütle iniş yapan komando: Yere yaklaşana kadar serbest düşüşle hızla iner, yere yaklaşınca paraşütünü açıp milimetrik ve yavaş bir iniş yapar.
Benzer Terimlerden Farkı
Adam gibi optimize ediciler her parametre için öğrenme hızını uyarırken; Schedule global temel öğrenme hızını zamanla dönüştürür.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#106)Gradient Clipping
Sonraki Terim (#108)Cosine Annealing