Xavier/Glorot Initialization

Xavier / Glorot Initialization

Türkçe: Xavier (Glorot) Başlatması

Ayrıntılı Tanım

Xavier Glorot ve Yoshua Bengio tarafından geliştirilen; özellikle **Sigmoid ve Tanh** aktivasyon fonksiyonları kullanan ağlarda sinyalin varyansını girişten çıkışa kadar sabit tutan ağırlık başlatma tekniğidir.

Ne İşe Yarar / Çözülen Problem

Derin ağların ilk katmanlarında gradyanların yok olmasını veya doyum noktasına ulaşıp eğitimin kilitlenmesini engeller.

Nasıl Çalışır? (Teknik & Mekanizma)

Ağırlıklar, girdi boyutu (

n_{in}

) ve çıktı boyutu (

n_{out}

) dikkate alınarak şu varyansla normalize edilmiş normal veya düzgün dağılımdan seçilir:

Var(W) = \frac{2}{n_{in} + n_{out}}

Örnek Senaryo & Pratik Uygulama

Akustik bir tünelde konuşan birinin sesinin ne yankı yapıp sağır etmesi ne de tünelin ortasında tamamen kaybolması; tünelin sonuna kadar aynı berraklıkta gitmesi.

Benzer Terimlerden Farkı

ReLU gibi negatif bölgeyi sıfırlayan fonksiyonlarda yetersiz kalır; bu yüzden sadece simetrik/doyumlu fonksiyonlar (Tanh/Sigmoid) için idealdir.

İlişkili Terimler (3)

#80

He/Kaiming Initialization

He (Kaiming) Başlatması

#78

Weight Initialization

Ağırlık Başlatma / İlklendirme

#84

Hyperbolic Tangent (Tanh)

Hiperbolik Tanjant Fonksiyonu

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#78)Weight Initialization

Sonraki Terim (#80)He/Kaiming Initialization