Sözlüğe Dön/Derin Öğrenme Temelleri ve Temsil Öğrenmesi/Layer Normalization
#97 Batch Normalization#99 Pre-LN
Madde #98Derin Öğrenme/sozluk/layer-normalization

Layer Normalization

Layer Normalization (LayerNorm)

Türkçe: Katman Normalizasyonu
Ayrıntılı Tanım
Normalizasyonu diğer veri örneklerine (batch'e) bakmadan, yalnızca **tek bir veri örneğinin kendi gizli özellikleri (katman boyutu) boyunca** gerçekleştiren normalizasyon tekniğidir.
Ne İşe Yarar / Çözülen Problem
BatchNorm'un küçük batch'lerde bozulması ve değişken uzunluktaki ardışık metin dizilerinde (NLP) çalışamaması sorununu çözer; LLM ve Transformer dünyasının kalbidir.
Nasıl Çalışır? (Teknik & Mekanizma)
μ=1H∑i=1Hxi,σ2=1H∑i=1H(xi−μ)2,x^=x−μσ2+ϵ⊙γ+β\mu = \frac{1}{H}\sum_{i=1}^H x_i, \quad \sigma^2 = \frac{1}{H}\sum_{i=1}^H (x_i - \mu)^2, \quad \hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \odot \gamma + \beta Hesaplama batch'ten tamamen bağımsızdır; tek bir cümlenin kelime vektörü kendi içinde dengelenir.
Örnek Senaryo & Pratik Uygulama
Bir öğrencinin karnesindeki tüm ders notlarını başka öğrencilere bakmadan sadece kendi derslerinin ortalamasına göre kendi içinde normalize etmek.
Benzer Terimlerden Farkı
BatchNorm sütun boyunca (tüm batch boyunca) normalizasyon yaparken; LayerNorm satır boyunca (tek bir örneğin kendi özellikleri boyunca) yapar.
İlişkili Terimler (3)
#97
Batch Normalization
Yığın Normalizasyonu
#99
Pre-LN
Ön Katman Normalizasyonu
#100
Post-LN
Son Katman Normalizasyonu
Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#97)Batch Normalization
Sonraki Terim (#99)Pre-LN