Internal Covariate Shift

Türkçe: Dahili Eşdeğişken Kayması

Ayrıntılı Tanım

Sinir ağı eğitilirken önceki katmanların ağırlıkları sürekli güncellendiği için, sonraki katmanların girdilerinin dağılımının her adımda kontrolsüz biçimde değişmesi fenomenidir.

Ne İşe Yarar / Çözülen Problem

Derin ağların neden çok düşük öğrenme hızları gerektirdiğini ve neden yavaş eğitildiğini açıklar; Normalizasyon katmanlarının (BatchNorm, LayerNorm) icadına zemin hazırlamıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

Bir katman tam belirli bir veri dağılımına adapte olmuşken, alt katman parametrelerini değiştirir; üst katmanın zemini sürekli kayar ve baştan öğrenmek zorunda kalır.

Örnek Senaryo & Pratik Uygulama

Hareket eden bir zemin üzerinde koşmaya çalışan sporcu: Koşucu adımlarını ayarlamaya çalışırken altındaki bant sürekli hız ve yön değiştirir, koşucu bir türlü hızlanamaz.

Benzer Terimlerden Farkı

Harici veri dağılımı kayması (dataset shift) değil; ağın kendi iç katmanları arasındaki koordinasyon bozulmasıdır.

İlişkili Terimler (2)

Katman Normalizasyonu

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#95)Residual Streams

Sonraki Terim (#97)Batch Normalization