Madde #157Transformers/sozluk/ntk-aware-scaled-attention
NTK-Aware Scaled Attention
Neural Tangent Kernel (NTK) Aware Scaled RoPE
Türkçe: Nöral Teğet Çekirdeği Tabanlı Ölçekli Dikkat
Ayrıntılı Tanım
Reddit kullanıcısı bloc97 tarafından keşfedilen; RoPE kullanan modellerde bağlam uzunluğunu artırırken yüksek frekansları koruyup sadece düşük frekansları ölçekleyerek modelin ince ayar (fine-tuning) yapmadan çok daha uzun metinleri anlamasını sağlayan yöntemdir.
Ne İşe Yarar / Çözülen Problem
Klasik doğrusal pozisyon interpolasyonunun (Linear RoPE Interpolation) yerel ayrıntıları ve yüksek frekanslı dilbilgisi bağlamını bulanıklaştırması sorununu çözer.
Nasıl Çalışır? (Teknik & Mekanizma)
RoPE'nin taban frekansı olan değeri, uzatılma katsayısı 'ya bağlı olarak formülüyle dinamik olarak yeniden ölçeklenir.
Örnek Senaryo & Pratik Uygulama
Bir haritayı yakınlaştırıp uzaklaştırmak (Zoom): Haritayı sadece çekiştirip pikselleri bozmak yerine, ana yolların netliğini koruyarak arka plandaki arazi koordinatlarını esnetmek.
Benzer Terimlerden Farkı
Basit doğrusal interpolasyon tüm boyutları aynı oranda bölerken, NTK-Aware yüksek ve alçak frekanslara farklı matematiksel muamele yapar.
İlişkili Terimler (2)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#156)Attention with Linear Biases (ALiBi)
Sonraki Terim (#158)YaRN