Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Learned Positional Encoding
#153 Sinusoidal Positional Encoding#155 Rotary Position Embedding (RoPE)
Madde #154Transformers/sozluk/learned-positional-encoding

Learned Positional Encoding

Learned (Absolute) Positional Embedding

Türkçe: Öğrenilebilir Konumsal Gömme
Ayrıntılı Tanım
Konum vektörlerini sabit bir matematik formülüyle üretmek yerine, her pozisyon indeksi (0, 1, 2, ..., L−1L-1) için rastgele başlatılan ve modelin eğitimi sırasında gradyan inişi ile öğrenilen parametre matrisidir.
Ne İşe Yarar / Çözülen Problem
Modelin pozisyon temsillerini göreve göre en esnek ve optimize şekilde bizzat kendisinin öğrenmesini sağlar (BERT ve GPT-2 bu yöntemi kullanır).
Nasıl Çalışır? (Teknik & Mekanizma)
Boyutu [Lmax,dmodel][L_{max}, d_{model}] olan bir gömme tablosu (lookup table) tutulur. pos=5pos=5 indeksi doğrudan bu tablonun 5. satırındaki ağırlık vektörünü çeker.
Örnek Senaryo & Pratik Uygulama
Bir sınıftaki masalara sabit numara çakmak yerine, öğrencilerin sınıfta oturdukça kendi aralarındaki mesafeleri ve en iyi yerleşim düzenini deneme yanılma ile oturtması.
Benzer Terimlerden Farkı
Eğitim sırasında belirlenen maksimum uzunluk (LmaxL_{max}, örn: 2048 token) aşılamaz; 2049. token geldiğinde model kilitlenir, uzatılamaz.
İlişkili Terimler (3)
#152
Positional Encoding
Konumsal Kodlama
#153
Sinusoidal Positional Encoding
Sinüzoidal / Trigonometrik Konumsal Kodlama
#155
Rotary Position Embedding (RoPE)
Döner Konumsal Gömme
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#153)Sinusoidal Positional Encoding
Sonraki Terim (#155)Rotary Position Embedding (RoPE)