Madde #77Derin Öğrenme/sozluk/symmetry-breaking
Symmetry Breaking
Türkçe: Simetri Kırma
Ayrıntılı Tanım
Bir yapay sinir ağındaki nöronların hepsinin aynı başlangıç ağırlıklarına sahip olması durumunda hepsinin tıpatıp aynı gradyanı alıp aynı şeyi öğrenmesini engellemek için ağırlıkları kasıtlı olarak farklı/rastgele başlatma ilkesidir.
Ne İşe Yarar / Çözülen Problem
Tüm ağırlıklar sıfır başlatılırsa ağda 1 milyon nöron dahi olsa hepsi tek bir nöron gibi davranır; simetri kırılarak her nöronun farklı bir özelliği öğrenmesi sağlanır.
Nasıl Çalışır? (Teknik & Mekanizma)
Ağırlık matrisleri sıfır yerine sıfıra çok yakın küçük rastgele sayılarla (Gaussian veya Uniform dağılım) doldurulur. Böylece her nöronun türevi farklılaşır.
Örnek Senaryo & Pratik Uygulama
Bir dedektif ekibinin olay yerine gittiğinde hepsinin aynı tek bir ayak izine bakması yerine; her dedektifin farklı bir ipucuna (parmak izi, kırık cam, kasa) yönelmesi.
Benzer Terimlerden Farkı
Bir optimizasyon algoritması değil, sinir ağlarının çalışabilmesi için zorunlu olan temel bir ağırlık başlatma kuralıdır.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#76)Gradient Checkpointing
Sonraki Terim (#78)Weight Initialization