Sözlüğe Dön/Derin Öğrenme Temelleri ve Temsil Öğrenmesi/GELU
#87 ELU#89 GLU
Madde #88Derin Öğrenme/sozluk/gelu

GELU

Gaussian Error Linear Unit

Türkçe: Gauss Hata Doğrusal Birimi
Ayrıntılı Tanım
Girdiyi, standart normal dağılımın kümülatif olasılığı ile çarparak ağırlıklandıran; modern LLM'lerin (BERT, GPT-2, GPT-3) standart olarak kullandığı olasılıksal aktivasyon fonksiyonudur.
Ne İşe Yarar / Çözülen Problem
ReLU'nun sıfır noktasındaki sert kırılmasını ortadan kaldırır; girdinin büyüklüğüne göre nöronun aktifleşme olasılığını sürekli ve türevlenebilir kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
GELU(x)=x⋅Φ(x)=x⋅P(X≤x),X∼N(0,1)\text{GELU}(x) = x \cdot \Phi(x) = x \cdot P(X \le x), \quad X \sim \mathcal{N}(0, 1) Yaklaşık formülü: 0.5x(1+tanh⁡(2/π(x+0.044715x3)))0.5x(1 + \tanh(\sqrt{2/\pi}(x + 0.044715x^3))).
Örnek Senaryo & Pratik Uygulama
Kuantum tünelleme benzetimi: Nöronun açık ya da kapalı olması kesin bir şalter değil; girdi değerine göre yumuşak bir olasılık perdesidir.
Benzer Terimlerden Farkı
ReLU deterministiktir; GELU ise girdiyi bir Gauss filtresinden geçirerek pürüzsüzleştirir. Transformer modellerinin fiili standardıdır.
İlişkili Terimler (3)
#85
ReLU
Düzeltilmiş Doğrusal Birim
#90
SwiGLU
Swish Kapılı Doğrusal Birim
#151
Transformer Architecture
Transformer (Dönüştürücü) Mimarisi
Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#87)ELU
Sonraki Terim (#89)GLU