Madde #158Transformers/sozluk/yarn
YaRN
Yet another RoPE extensioN method (YaRN)
Türkçe: YaRN (Gelişmiş RoPE Uzatma Metodu)
Ayrıntılı Tanım
Peng et al. (2023) tarafından geliştirilen; NTK-Aware yöntemini frekans bantlarına ayırarak (yüksek, orta, düşük) dikkat sıcaklığını (temperature) düzelten ve açık kaynaklı modellerin bağlam penceresini 64K-128K seviyesine başarıyla uçuran en popüler RoPE uzatma tekniğidir.
Ne İşe Yarar / Çözülen Problem
Çok uzun bağlamlarda Softmax dağılımının aşırı düzleşmesi (entropi artışı) yüzünden modelin metindeki kilit bilgiyi kaçırmasını (Needle In A Haystack zaafını) engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Boyutlar üç gruba ayrılır: Hiç ölçeklenmeyen yüksek frekanslar, kısmen enterpole edilen orta frekanslar ve tamamen enterpole edilen düşük frekanslar. Ayrıca dikkat skorları bir sıcaklık faktörü ile yeniden ölçeklenir.
Örnek Senaryo & Pratik Uygulama
Bir orkestrada bas seslerin (düşük frekans) yankılanmasını sağlarken, keman ve flüt gibi ince tiz seslerin (yüksek frekans) tane tane net duyulmasını sağlayan profesyonel stüdyo mikseri.
Benzer Terimlerden Farkı
Saf NTK'ya kıyasla çok daha az eğitim adımıyla (örneğin hedef uzunluğun sadece %0.1'i kadar veriyle) kusursuz sonuç verir.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#157)NTK-Aware Scaled Attention
Sonraki Terim (#159)Scaled Dot-Product Attention