Sözlüğe Dön/Derin Öğrenme Temelleri ve Temsil Öğrenmesi/Batch Normalization
#96 Internal Covariate Shift#98 Layer Normalization
Madde #97Derin Öğrenme/sozluk/batch-normalization

Batch Normalization

Batch Normalization (BatchNorm)

Türkçe: Yığın Normalizasyonu
Ayrıntılı Tanım
Eğitilen mini-batch içerisindeki tüm örneklerin özelliklerini, **özellik boyutu boyunca (batch ekseninde)** ortalamasını 0, varyansını 1 yapacak şekilde normalize eden ve iki öğrenilebilir parametreyle (γ,β\gamma, \beta) ölçekleyen tekniktir.
Ne İşe Yarar / Çözülen Problem
Dahili eşdeğişken kaymasını azaltır, çok daha yüksek öğrenme oranları kullanılmasına izin verir ve eğitimi dramatik biçimde hızlandırır (Ioffe & Szegedy 2015).
Nasıl Çalışır? (Teknik & Mekanizma)
x^=x−μBσB2+ϵ,y=γx^+β\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \quad y = \gamma \hat{x} + \beta Eğitimde batch istatistikleri kullanılırken, çıkarımda (inference) koşu ortalamaları (running mean/variance) kullanılır.
Örnek Senaryo & Pratik Uygulama
Üniversite sınavındaki standart puanlama (çan eğrisi): O yıl sorular çok zor veya çok kolay olsa bile, o gruptaki öğrencilerin notları standardize edilerek adil bir ortalamaya oturtulur.
Benzer Terimlerden Farkı
Batch boyutuna bağımlıdır; batch boyutu çok küçük olduğunda (örneğin 2 veya 4) istatistikler gürültülü olur ve çöker. Bu yüzden NLP ve Transformer'larda tercih edilmez.
İlişkili Terimler (3)
#98
Layer Normalization
Katman Normalizasyonu
#101
Group Normalization
Grup Normalizasyonu
#96
Internal Covariate Shift
Dahili Eşdeğişken Kayması
Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#96)Internal Covariate Shift
Sonraki Terim (#98)Layer Normalization