Decoupled Rotary Embedding

Decoupled Rotary Position Embedding

Türkçe: Ayrıştırılmış Döner Konumsal Gömme

Ayrıntılı Tanım

Multi-Head Latent Attention (MLA) mimarisinde, konumsal rotasyon bilgisinin (RoPE) gizil sıkıştırma matrisleriyle çarpışıp bozulmasını önlemek için; konumsal bilginin

Q

K

vektörlerinden **bağımsız ayrı bir hat olarak** taşındığı tekniktir.

Ne İşe Yarar / Çözülen Problem

Düşük dereceli sıkıştırma (Low-Rank Compression) yapıldığında RoPE matrisleri yüzünden matrislerin absorbe edilememesi (birleştirilememesi) matematiksel krizini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Ana

K

vektörü sıkıştırılırken, konumsal bilgi için küçük bir ek vektör (

k_t^R

) üretilir ve buna RoPE uygulanır. Dikkat skoru:

\text{Skor} = q_{nokta}^T k_{nokta} + q_R^T k_R

şeklinde iki bağımsız bileşenin toplamı olarak hesaplanır.

Örnek Senaryo & Pratik Uygulama

Bir diplomatik kuryenin evrak çantası: Gizli yazışma belgelerini (içerik) sıkıştırıp çantaya koyarken, belgenin tarih ve varış pulunu (konum) çantanın dışındaki şeffaf cebe koyup birbirinden ayırmak.

Benzer Terimlerden Farkı

Standart RoPE doğrudan içerik vektörünün üzerine uygulanırken; burada konum ve içerik iki ayrı paralel hatta ayrıştırılır.

İlişkili Terimler (3)

#155

Rotary Position Embedding (RoPE)

Döner Konumsal Gömme

#174

Multi-Head Latent Attention (MLA)

Çok Başlı Gizil Dikkat

#176

Matrix Absorption Trick

Matris Absorpsiyonu / Yutma Numarası

Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#174)Multi-Head Latent Attention (MLA)

Sonraki Terim (#176)Matrix Absorption Trick