Madde #100Derin Öğrenme/sozluk/post-ln
Post-LN
Post-Layer Normalization
Türkçe: Son Katman Normalizasyonu
Ayrıntılı Tanım
Orijinal 2017 "Attention Is All You Need" Transformer makalesinde kullanılan; Layer Normalization işleminin artık toplama yapıldıktan **hemen sonra** uygulandığı mimaridir.
Ne İşe Yarar / Çözülen Problem
Teorik olarak derin katmanlarda daha zengin temsil kapasitesi sunabilir ancak eğitimi son derece zordur.
Nasıl Çalışır? (Teknik & Mekanizma)
Her blokta artık akış normalizasyonla sıkıştırılır; bu da geriye yayılımda erken katmanlara ulaşan gradyanların küçülmesine yol açar.
Örnek Senaryo & Pratik Uygulama
Orijinal Vaswani vd. (2017) Transformer ve BERT mimarisi.
Benzer Terimlerden Farkı
Pre-LN'e göre çok hassastır; çok dikkatli bir öğrenme oranı ısınması (warmup) yapılmazsa eğitim daha ilk adımda patlar veya kilitlenir.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#99)Pre-LN
Sonraki Terim (#101)Group Normalization