Madde #80Derin Öğrenme/sozluk/he-kaiming-initialization
He/Kaiming Initialization
He / Kaiming Initialization
Türkçe: He (Kaiming) Başlatması
Ayrıntılı Tanım
Kaiming He tarafından geliştirilen; girdilerin yarısını sıfırlayan **ReLU ve türevi** aktivasyon fonksiyonlarına özel olarak uyarlanmış ağırlık başlatma metodudur.
Ne İşe Yarar / Çözülen Problem
ReLU fonksiyonu negatif değerleri sıfırladığı için sinyal gücü katmandan katmana geçtikçe yarı yarıya düşer. He başlatması bu kaybı telafi eder.
Nasıl Çalışır? (Teknik & Mekanizma)
Xavier formülündeki pay 2 ile çarpılarak sinyal iki kat güçlendirilir:
Örnek Senaryo & Pratik Uygulama
Suyun yarısının sızdığı delikli bir boru hattında, borunun sonuna istenen debide su ulaşabilmesi için suyun boru girişinden iki kat daha tazyikli pompalanması.
Benzer Terimlerden Farkı
Xavier nöronların iki yönlü çalıştığını varsayarken, He başlatması ReLU'nun nöronların yarısını kapattığını hesaba katarak başlatma gücünü ikiye katlar.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#79)Xavier/Glorot Initialization
Sonraki Terim (#81)Vanishing Gradients