Transformer Encoder

Transformer Encoder (Kodlayıcı Blok)

Türkçe: Transformer Kodlayıcı

Ayrıntılı Tanım

Girdi metnini alan, hiçbir nedensel maskeleme yapmadan tüm kelimelerin birbirine çift yönlü (bidirectional) olarak bakmasını sağlayan ve zengin anlamsal bağlam vektörleri üreten Transformer bileşenidir.

Ne İşe Yarar / Çözülen Problem

Metin anlama, doküman sınıflandırma, varlık çıkarma (NER) ve görsel analiz görevleri için metnin fotoğrafını çeker gibi derinlemesine analiz edilmesini sağlar (BERT ve ViT'in temelidir).

Nasıl Çalışır? (Teknik & Mekanizma)

İki ana alt katmandan oluşur: Çift Yönlü Multi-Head Self-Attention ve İleri Beslemeli Ağ (FFN). Her alt katmanın etrafında Residual Connection ve Layer Normalization bulunur.

Örnek Senaryo & Pratik Uygulama

Bir editörün önündeki makaleyi masaya serip, kırmızı kalemle hem ileriye hem geriye okumalar yaparak paragrafın ana temasını ve gizli şifrelerini çözmesi.

Benzer Terimlerden Farkı

Geleceği maskelemez; serbestçe iki yöne de bakar. Bu yüzden metin üretemez ama metni çok iyi anlar.

İlişkili Terimler (2)

#186

Transformer Decoder

Transformer Kod Çözücü

#138

BERT

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#184)Cross-Attention

Sonraki Terim (#186)Transformer Decoder