Madde #78Derin Öğrenme/sozluk/weight-initialization
Weight Initialization
Türkçe: Ağırlık Başlatma / İlklendirme
Ayrıntılı Tanım
Sinir ağı eğitilmeye başlanmadan önce, matrislerdeki ağırlık parametrelerine atanan ilk sayısal değerlerin dağılımını belirleme stratejisidir.
Ne İşe Yarar / Çözülen Problem
Ağırlıklar çok büyük başlatılırsa sinir ağı patlar (exploding gradients); çok küçük başlatılırsa sinyal sönümlenir ve kaybolur (vanishing gradients). Doğru başlatma eğitimin başlamasını mümkün kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
Katmandan katmana geçerken sinyalin varyansının sabit kalması hedeflenir. Girdi ve çıktı nöron sayısına göre varyans formülleri hesaplanır: .
Örnek Senaryo & Pratik Uygulama
Bir ses sisteminin mikser ayarları: Başlangıç sesini ne hoparlörleri patlatacak kadar sonuna kadar açmak ne de duyulmayacak kadar kısmak; tam kıvamında açılış seviyesine getirmek.
Benzer Terimlerden Farkı
Eğitimin bir parçası değildir; eğitim başlamadan önceki t=0 anındaki ilk tohumlama işlemidir.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#77)Symmetry Breaking
Sonraki Terim (#79)Xavier/Glorot Initialization