Sözlüğe Dön/Derin Öğrenme Temelleri ve Temsil Öğrenmesi/LeakyReLU
#85 ReLU#87 ELU
Madde #86Derin Öğrenme/sozluk/leakyrelu

LeakyReLU

Leaky Rectified Linear Unit

Türkçe: Sızıntılı ReLU
Ayrıntılı Tanım
ReLU'nun negatif bölgede tamamen 0 verip nöronların kalıcı olarak ölmesine (Dying ReLU) engel olmak için, negatif girdilere sıfıra yakın küçük bir eğim (genellikle 0.01) veren fonksiyondur.
Ne İşe Yarar / Çözülen Problem
Bir nöron bir kez negatif tarafa düşerse gradyanı sıfır olur ve bir daha asla uyanamaz. LeakyReLU nörona küçük bir yaşam sızıntısı vererek uyanmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
f(x)={xeg˘er x>0αxeg˘er x≤0f(x) = \begin{cases} x & \text{eğer } x > 0 \\ \alpha x & \text{eğer } x \le 0 \end{cases} Burada α\alpha genellikle 0.01 gibi sabit küçük bir sayıdır.
Örnek Senaryo & Pratik Uygulama
Tam kapanmayan, hafif damlatan bir musluk: Suyu kestiğinizde bile damlayan küçük sızıntı sayesinde boruda akış olduğunu anlarsınız.
Benzer Terimlerden Farkı
ReLU negatif bölgede düz bir çizgi çekerken, LeakyReLU negatif bölgede hafif aşağı eğimli bir doğru çizer.
İlişkili Terimler (3)
#85
ReLU
Düzeltilmiş Doğrusal Birim
#87
ELU
Üstel Doğrusal Birim
#88
GELU
Gauss Hata Doğrusal Birimi
Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#85)ReLU
Sonraki Terim (#87)ELU