Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Sinusoidal Positional Encoding
#152 Positional Encoding#154 Learned Positional Encoding
Madde #153Transformers/sozluk/sinusoidal-positional-encoding

Sinusoidal Positional Encoding

Sinusoidal (Trigonometric) Positional Encoding

Türkçe: Sinüzoidal / Trigonometrik Konumsal Kodlama
Ayrıntılı Tanım
Orijinal Transformer makalesinde önerilen; farklı frekanslardaki sinüs ve kosinüs dalga fonksiyonlarını kullanarak her pozisyon için deterministik ve matematiksel olarak benzersiz bir koordinat deseni üreten yöntemdir.
Ne İşe Yarar / Çözülen Problem
Modelin eğitim sırasında görmediği uzunluktaki metin dizilerine bile teorik olarak genelleme yapabilmesini sağlar; sıfır parametre maliyetiyle sıra üretir.
Nasıl Çalışır? (Teknik & Mekanizma)
Çift indeksler için sinüs, tek indeksler için kosinüs kullanılır: PE(pos,2i)=sin⁡(pos100002i/d),PE(pos,2i+1)=cos⁡(pos100002i/d)PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right) Düşük boyutlar hızlı dalgalanırken, yüksek boyutlar çok yavaş salınır (ikili sayı sistemindeki bitler gibi).
Örnek Senaryo & Pratik Uygulama
Analog bir duvar saatinin akrep, yelkovan ve saniye kolları: Saniye hızla döner, yelkovan dakikada bir, akrep saatte bir. Üçünün açısına bakarak günün tam anı benzersiz biçimde bilinir.
Benzer Terimlerden Farkı
Öğrenilmez (sabit kuraldır), parametre içermez ve ağırlık güncellemesi gerektirmez.
İlişkili Terimler (3)
#152
Positional Encoding
Konumsal Kodlama
#154
Learned Positional Encoding
Öğrenilebilir Konumsal Gömme
#155
Rotary Position Embedding (RoPE)
Döner Konumsal Gömme
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#152)Positional Encoding
Sonraki Terim (#154)Learned Positional Encoding