Madde #109Derin Öğrenme/sozluk/warmup
Warmup
Learning Rate Warmup
Türkçe: Isınma Aşaması
Ayrıntılı Tanım
Eğitimin ilk birkaç yüz veya bin adımında öğrenme oranını sıfırdan veya çok küçük bir değerden başlayarak hedef seviyeye doğru yavaşça yükselten tekniktir.
Ne İşe Yarar / Çözülen Problem
Model ağırlıkları başlangıçta rastgele olduğu için ilk adımlarda üretilen devasa ve dengesiz gradyanların henüz yeni başlayan modeli darmadağın etmesini engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Genellikle doğrusal artış (linear warmup) uygulanır: . Isınma bittikten sonra Cosine Annealing gibi düşüş stratejilerine geçilir.
Örnek Senaryo & Pratik Uygulama
Ağır bir antrenmandan önce sporcunun kaslarını ısıtması: Doğrudan 150 kilo haltere girmek yerine hafif esnemelerle kalbi ve eklemleri hazırlamak.
Benzer Terimlerden Farkı
Düşüş değil; eğitimin sadece en başındaki bilinçli bir yükseliş evresidir. Transformer eğitimlerinin vazgeçilmezidir.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#108)Cosine Annealing
Sonraki Terim (#110)Step Decay