Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Positional Encoding
#151 Transformer Architecture#153 Sinusoidal Positional Encoding
Madde #152Transformers/sozluk/positional-encoding

Positional Encoding

Türkçe: Konumsal Kodlama
Ayrıntılı Tanım
Transformer mimarisi tüm kelimeleri aynı anda (permütasyon-değişmez biçimde) işlediği için, kelimelerin cümle içindeki sıra bilgisini (1., 2., 3. kelime) temsil eden vektörlerin kelime gömmelerine eklenmesi işlemidir.
Ne İşe Yarar / Çözülen Problem
Sıra bilgisi olmazsa model için "Ali topu attı" cümlesi ile "Attı topu Ali" veya "Top Ali'yi attı" tamamen farksız hale gelir. Anlamsal sıralama krizini çözer.
Nasıl Çalışır? (Teknik & Mekanizma)
Kelimenin anlamsal gömme vektörüne (EtokenE_{token}), bulunduğu pozisyona göre üretilen bir konum vektörü (PposP_{pos}) eleman bazında toplanır: E~=Etoken+Ppos\tilde{E} = E_{token} + P_{pos}
Örnek Senaryo & Pratik Uygulama
Bir orkestradaki müzisyenlerin boyunlarına oturdukları koltuk numaralarını (1A, 1B, 2A...) asmak; böylece herkes aynı anda çalsa bile şef kimin nerede oturduğunu şaşırmaz.
Benzer Terimlerden Farkı
Kelimenin "ne" olduğunu değil, dizide "nerede" durduğunu kodlar.
İlişkili Terimler (3)
#153
Sinusoidal Positional Encoding
Sinüzoidal / Trigonometrik Konumsal Kodlama
#154
Learned Positional Encoding
Öğrenilebilir Konumsal Gömme
#155
Rotary Position Embedding (RoPE)
Döner Konumsal Gömme
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#151)Transformer Architecture
Sonraki Terim (#153)Sinusoidal Positional Encoding