Sözlüğe Dön/Derin Öğrenme Temelleri ve Temsil Öğrenmesi/SwiGLU
#89 GLU#91 Softmax
Madde #90Derin Öğrenme/sozluk/swiglu

SwiGLU

Swish Gated Linear Unit

Türkçe: Swish Kapılı Doğrusal Birim
Ayrıntılı Tanım
GLU kapılama mimarisinde Sigmoid yerine **Swish (SiLU)** fonksiyonunu kullanan; LLaMA, PaLM, Mistral ve modern açık kaynaklı tüm büyük dil modellerinin FFN bloklarında kullanılan son teknoloji aktivasyon mekanizmasıdır.
Ne İşe Yarar / Çözülen Problem
Standart ReLU veya GELU katmanlarına kıyasla aynı parametre sayısında çok daha yüksek dil anlama ve akıl yürütme performansı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
SwiGLU(x)=Swish(xW)⊗(xV)\text{SwiGLU}(x) = \text{Swish}(x W) \otimes (x V) Burada Swish(z)=z⋅σ(βz)\text{Swish}(z) = z \cdot \sigma(\beta z) formülündedir. Üç farklı ağırlık matrisi (W,V,W2W, V, W_2) ile çalışır.
Örnek Senaryo & Pratik Uygulama
LLaMA-3 mimarisinin feed-forward katmanını açtığınızda karşınıza çıkan kalbi oluşturan formül.
Benzer Terimlerden Farkı
Standart FFN iki matris çarpımı yaparken (W1W_1 ve W2W_2), SwiGLU kapılama yaptığı için üç matris çarpımı gerektirir; bu yüzden iç katman boyutu 83d\frac{8}{3}d oranında ayarlanır.
İlişkili Terimler (3)
#89
GLU
Kapılı Doğrusal Birim
#88
GELU
Gauss Hata Doğrusal Birimi
#187
Transformer Feed-Forward Network
Transformer İleri Beslemeli Ağ Bloğu
Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#89)GLU
Sonraki Terim (#91)Softmax