Madde #179Transformers/sozluk/prefix-caching
Prefix Caching
Türkçe: Önek Önbelleklemesi
Ayrıntılı Tanım
Modelin önüne gelen metin dizisinin başlangıç kısmını (önekini) analiz eden ve bu önek daha önce başka bir sorguda işlenmişse, o kısmın KV-Cache bloklarını yeni gelen isteğe anında kopyalayan mimari belleklemedir.
Ne İşe Yarar / Çözülen Problem
Çok turlu sohbetlerde (multi-turn chat) konuşma uzadıkça her yeni soruda tüm sohbet geçmişini tekrar tekrar kodlama hamallığını ortadan kaldırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Metin dizisi belirteç tokenlarına ayrılır. 1. tokendan . tokana kadar olan blokların hash değeri ile KV-Cache bellek blokları haritalanır. Model hesaplamaya doğrudan . tokendan başlar.
Örnek Senaryo & Pratik Uygulama
Bir avukatla konuşurken her yeni soru sorduğunuzda dosyanın ilk 100 sayfasını avukata baştan okutmamak; avukatın o ilk 100 sayfayı aklında tutup kaldığı yerden devam etmesi.
Benzer Terimlerden Farkı
Prompt Caching ile yakından ilişkilidir; Prefix Caching işin algoritmik tensör seviyesindeki token eşleme motorudur.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#178)Prompt Caching
Sonraki Terim (#180)RadixAttention