Madde #180Transformers/sozluk/radixattention
RadixAttention
RadixAttention (SGLang)
Türkçe: Radix Tabanlı Dikkat (Ağaç Önbelleklemesi)
Ayrıntılı Tanım
Farklı komutlar ve oturumlar arasındaki ortak token öneklerini ve dallanmalarını bir **Radix Ağacı (Radix Tree / Trie)** veri yapısında modelleyerek KV-Cache'in dinamik olarak yeniden kullanılmasını sağlayan yüksek performanslı çıkarım motoru algoritmasıdır (SGLang).
Ne İşe Yarar / Çözülen Problem
Ajanların ağaç aramaları yaparken (Tree of Thoughts), az örnekli (few-shot) öğrenmede ve çoklu yanıtlarda ortak geçmişin defalarca hesaplanmasını önleyerek çıkarım motorlarını katbekat hızlandırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Tüm KV-Cache blokları bir radix ağacında saklanır. Yeni bir sorgu geldiğinde ağaçta en uzun önek eşleşmesi (longest prefix match) bulunur. Önbellekteki dallar doğrudan hafıza işaretçileriyle (pointers) bağlanır; LRU politikasıyla kullanılmayan dallar tahliye edilir.
Örnek Senaryo & Pratik Uygulama
Bir dosya dizini ağacı: `/Mahkeme/Davalar/2026/Dava1` ve `/Mahkeme/Davalar/2026/Dava2`. İlk üç klasörün içeriği ortak olduğu için diskte tek bir kopya olarak tutulup iki ayrı dala paylaştırılması.
Benzer Terimlerden Farkı
Doğrusal tek boyutlu önek önbelleklemesinin aksine, çok yönlü çatallanan ağaç yapılarında (tree-structured reasoning) çalışabilen en gelişmiş önbellek yöneticisidir.
İlişkili Terimler (2)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#179)Prefix Caching
Sonraki Terim (#181)Ring Attention