Cross-Attention

Cross-Attention (Encoder-Decoder Attention)

Türkçe: Çapraz Dikkat Mekanizması

Ayrıntılı Tanım

Sorguların (

Q

) bir kaynaktan (örneğin Decoder veya metin komutu), Anahtar (

K

) ve Değerlerin (

V

) ise tamamen **farklı bir kaynaktan** (örneğin Encoder veya görsel gömmeler) geldiği iki modüllü dikkat türüdür.

Ne İşe Yarar / Çözülen Problem

İki farklı veri akışı arasında köprü kurar: Makine çevirisinde kaynak dilden hedef dile bilgi aktarır; Stable Diffusion gibi modellerde ise yazılan metin komutu ile üretilen görsel pikselleri birbirine kilitler.

Nasıl Çalışır? (Teknik & Mekanizma)

Q = X_{hedef} W_Q, \quad K = Y_{kaynak} W_K, \quad V = Y_{kaynak} W_V

Dekoder kendi ürettiği kelimeyle (

Q

), enkoderin sunduğu orijinal cümlenin anahtarlarını (

K

) eşleştirip içeriği (

V

) çeker.

Örnek Senaryo & Pratik Uygulama

Bir simültane tercüman: Kulaklığından İngilizce konuşmayı dinler (

K, V

); ağzından ise Türkçe kelimeler üretir (

Q

). Türkçe cümleyi kurarken kulağındaki İngilizce kavramlara çapraz referans verir.

Benzer Terimlerden Farkı

Self-Attention'da

Q, K, V

aynı girdiden çıkar; Cross-Attention'da ise

Q

ile

K, V

iki farklı dünyanın girdileridir.

İlişkili Terimler (3)

#160

Self-Attention

Öz-Dikkat Mekanizması

#185

Transformer Encoder

Transformer Kodlayıcı

#186

Transformer Decoder

Transformer Kod Çözücü

Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#183)Softmax-Free Attention

Sonraki Terim (#185)Transformer Encoder