Transformer Feed-Forward Network

Transformer Feed-Forward Network (FFN / MLP Block)

Türkçe: Transformer İleri Beslemeli Ağ Bloğu

Ayrıntılı Tanım

Her Transformer bloğunda dikkat mekanizmasının hemen ardından gelen; her bir token vektörüne diğer tokenlardan tamamen bağımsız olarak uygulanan iki katmanlı doğrusal olmayan derin projeksiyon katmanıdır.

Ne İşe Yarar / Çözülen Problem

Dikkat mekanizması kelimeler arasında sadece bilgi taşır ve harmanlar; asıl gerçek dünya bilgisini, olgusal hafızayı (factual knowledge) depolayan ve işleyen yer bu FFN katmanıdır.

Nasıl Çalışır? (Teknik & Mekanizma)

Genellikle gizli boyutu 4 katına genişletir (

d_{model} \rightarrow 4d_{model}

), bir aktivasyon fonksiyonundan (GELU veya SwiGLU) geçirir ve tekrar orijinal boyuta daraltır:

\text{FFN}(x) = \text{Activation}(x W_1 + b_1) W_2 + b_2

Örnek Senaryo & Pratik Uygulama

Kütüphaneden kitapları toplayıp masaya getiren araştırmacı (Dikkat Mekanizması) ve masadaki bilgileri beyninde sentezleyip yeni fikirlere dönüştüren düşünürün zihni (FFN Bloğu).

Benzer Terimlerden Farkı

Dikkat katmanı tokenlar arası etkileşim kurarken; FFN her tokenı tek başına izole bir odaya alır ve derinlemesine dönüştürür. Model parametrelerinin yaklaşık üçte ikisi burada yaşar.

İlişkili Terimler (4)

#88

GELU

Gauss Hata Doğrusal Birimi

#90

SwiGLU

Swish Kapılı Doğrusal Birim

#163

Multi-Head Attention (MHA)

Çok Başlı Dikkat Mekanizması

#95

Residual Streams