Madde #151Transformers/sozluk/transformer-architecture
Transformer Architecture
Transformer Architecture (Vaswani et al., 2017)
Türkçe: Transformer (Dönüştürücü) Mimarisi
Ayrıntılı Tanım
Yinelemeli döngüleri (RNN) ve evrişimleri (CNN) tamamen terk ederek, dizideki tüm elemanlar arasındaki ilişkileri paralel olarak hesaplayan "Öz-Dikkat" (Self-Attention) mekanizmasına dayalı çığır açıcı derin öğrenme mimarisidir.
Ne İşe Yarar / Çözülen Problem
RNN'lerin kelimeleri tek tek sıralı okuma zorunluluğundan doğan yavaşlığı ve donanım (GPU) paralelleştirme imkansızlığını ortadan kaldırır; yüz milyarlarca parametreli modern LLM çağını başlatmıştır.
Nasıl Çalışır? (Teknik & Mekanizma)
Encoder ve Decoder bloklarından oluşur. Her blokta Çok Başlı Dikkat (Multi-Head Attention), Katman Normalizasyonu (LayerNorm), Artık Bağlantılar (Residual Connections) ve İleri Beslemeli Ağ (FFN) bulunur. Dizideki tüm tokenlar aynı anda matris çarpımlarıyla işlenir.
Örnek Senaryo & Pratik Uygulama
Sol tarafta bir kitabı hece hece büyüteçle okuyan yavaş bir keşiş (RNN), sağ tarafta ise aynı kitabın tüm sayfalarını havaya saçıp saniyede tek bir bakışla tüm ilişkileri eşzamanlı gören süper kahraman (Transformer).
Benzer Terimlerden Farkı
RNN zamansal bir zincirdir ( adım); Transformer ise tüm kelimelerin birbiriyle doğrudan görüştüğü tam bağlantılı bir grafiktir ( ardışık işlem).
İlişkili Terimler (5)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#150)Character-Level Embeddings
Sonraki Terim (#152)Positional Encoding