Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/Rotary Position Embedding (RoPE)
#154 Learned Positional Encoding#156 Attention with Linear Biases (ALiBi)
Madde #155Transformers/sozluk/rotary-position-embedding-rope

Rotary Position Embedding (RoPE)

Türkçe: Döner Konumsal Gömme
Ayrıntılı Tanım
Su et al. (2021) tarafından geliştirilen; token vektörlerini kompleks düzlemde 2D dilimlere ayırıp, tokenın dizideki pozisyonuyla orantılı bir açıyla döndürerek mutlak konum üzerinden mükemmel **göreli (relative)** konum ilişkisi kuran tekniktir.
Ne İşe Yarar / Çözülen Problem
Modern açık kaynaklı LLM'lerin (LLaMA-1/2/3, Mistral, Qwen, DeepSeek) endüstri standardıdır; bağlam penceresini (context window) 4K'dan 128K'ya hatta 1M tokena genişletmenin anahtarıdır.
Nasıl Çalışır? (Teknik & Mekanizma)
Query (QQ) ve Key (KK) vektörleri 2'şerli boyut çiftlerine ayrılır ve rotasyon matrisiyle (RΘ,mR_{\Theta, m}) çarpılır. İki token arasındaki iç çarpım (⟨Rmq,Rnk⟩\langle R_m q, R_n k \rangle), yalnızca aralarındaki göreli farka (m−nm - n) bağlı hale gelir.
Örnek Senaryo & Pratik Uygulama
Dans pistindeki çiftler: Her dansçı bulunduğu adım numarasına göre kendi ekseni etrafında döner. İki dansçının birbirine göre bakış açısı sadece aralarındaki adım farkına bağlıdır; pistin başında mı sonunda mı oldukları fark etmez.
Benzer Terimlerden Farkı
Vektöre toplama (++) yapmaz; vektörü rotasyon matrisiyle çarpar (×\times). Vektörün normunu (boyunu) bozmaz, sadece yönünü çevirir.
İlişkili Terimler (3)
#156
Attention with Linear Biases (ALiBi)
Doğrusal Sapmalı Dikkat
#157
NTK-Aware Scaled Attention
Nöral Teğet Çekirdeği Tabanlı Ölçekli Dikkat
#158
YaRN
YaRN (Gelişmiş RoPE Uzatma Metodu)
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#154)Learned Positional Encoding
Sonraki Terim (#156)Attention with Linear Biases (ALiBi)