Step Decay

Step Decay Learning Rate

Türkçe: Adımlı / Basamaklı Düşüş

Ayrıntılı Tanım

Öğrenme oranını belirli epoch aralıklarında (örneğin her 30 epoch'ta bir) sabit bir çarpanla (örneğin 0.1 ile çarparak) aniden düşüren klasik zamanlama yöntemidir.

Ne İşe Yarar / Çözülen Problem

Eğitimin belirli platolara takıldığı anlarda adımı küçülterek o platodan çıkıp daha derin minimumlara inmeyi tetikler.

Nasıl Çalışır? (Teknik & Mekanizma)

Merdiven basamağı şeklinde grafik çizer:

\eta = \eta_0 \cdot \gamma^{\lfloor epoch / s \rfloor}

Örnek Senaryo & Pratik Uygulama

Merdivenden inmek: Bir kata inip koridoru tararsınız, sonra bir alt basamağa inip daha ince arama yaparsınız.

Benzer Terimlerden Farkı

Pürüzsüz değildir; öğrenme oranının düştüğü adımlarda kayıp grafiğinde dikey ani düşüşler gözlemlenir.

İlişkili Terimler (3)

#107

Learning Rate Schedule

Öğrenme Oranı Çizelgelemesi / Zamanlaması

#108

Cosine Annealing

Kosinüs Tavlamalı Öğrenme Oranı

#109

Warmup

Isınma Aşaması

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#109)Warmup

Sonraki Terim (#111)Recurrent Neural Network (RNN)