Residual Connections

Residual Connections (Shortcut Connections)

Türkçe: Artık Bağlantılar / Kestirme Yollar

Ayrıntılı Tanım

Bir katmanın girdisinin, katmandaki dönüşümlerden geçtikten sonra elde edilen çıktıya **doğrudan toplanarak (

x + F(x)

)** eklenmesini sağlayan mimari tasarımdır.

Ne İşe Yarar / Çözülen Problem

Derin ağlarda katman sayısı arttıkça eğitimin imkansızlaşması (bozulma/degradation problemi) krizini çözer; yüzlerce katmanlı ağların eğitilmesinin önünü açmıştır (ResNet 2015).

Nasıl Çalışır? (Teknik & Mekanizma)

Katman artık tüm fonksiyonu sıfırdan öğrenmek yerine, girdiye eklenmesi gereken farkı (artığı - residual) öğrenir:

y = F(x) + x

Geriye yayılımda türev alındığında

\frac{\partial y}{\partial x} = \frac{\partial F}{\partial x} + 1

olur; paydaki "+1" gradyanın engelsiz bir otoyol gibi en başa akmasını sağlar.

Örnek Senaryo & Pratik Uygulama

Şehir içi tıkalı sokakların üzerine inşa edilen ekspres otoyol viyadüğü: Trafiğe takılmak istemeyen araçlar doğrudan üst yoldan hedef noktaya akar.

Benzer Terimlerden Farkı

Ağın bilgi akışını kesintiye uğratmaz; bilginin kaybolmadan korunmasını garanti eden bir güvenlik hattıdır.

İlişkili Terimler (4)

Residual Network (ResNet)

Artık Ağ / ResNet

#151

Transformer Architecture

Transformer (Dönüştürücü) Mimarisi

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#92)Softplus

Sonraki Terim (#94)Skip Connections