Residual Streams

Türkçe: Artık Akışlar

Ayrıntılı Tanım

Transformer mimarisinde modelin başından sonuna kadar uzanan, her dikkat (attention) ve FFN katmanının bilgiyi silmeden üzerine sadece yeni bilgiler "yazıp okuduğu" merkezi bilgi otoyoludur.

Ne İşe Yarar / Çözülen Problem

Transformer bloklarının devasa parametrelerine rağmen bilgiyi unutmadan, birbiriyle çakışmadan katmanlar boyunca senkronize taşımasını sağlar; mekanistik yorumlanabilirliğin (mechanistic interpretability) kalbidir.

Nasıl Çalışır? (Teknik & Mekanizma)

Girdi token gömmesi akışa bırakılır:

x_0

. 1. blok dikkat katar:

x_1 = x_0 + \text{Attn}(x_0)

. Sonra FFN katar:

x_2 = x_1 + \text{FFN}(x_1)

. Akış sürekli toplanarak büyür.

Örnek Senaryo & Pratik Uygulama

Bir paylaşımlı Google Docs belgesi: Her uzman katman belgeyi baştan yazmaz; sadece belgedeki ilgili paragrafa kendi dipnotunu veya yorumunu ekler.

Benzer Terimlerden Farkı

ResNet'teki basit ikili artık blokların aksine, Transformer'da onlarca katmanın ortaklaşa kullandığı tek bir ana veri veri yolu (shared bus) felsefesidir.

İlişkili Terimler (3)

#93

Residual Connections

Artık Bağlantılar / Kestirme Yollar

#151

Transformer Architecture

Transformer (Dönüştürücü) Mimarisi

#163

Multi-Head Attention (MHA)

Çok Başlı Dikkat Mekanizması

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#94)Skip Connections

Sonraki Terim (#96)Internal Covariate Shift