Madde #178Transformers/sozluk/prompt-caching
Prompt Caching
Türkçe: Komut İstemi Önbelleklemesi
Ayrıntılı Tanım
Kullanıcıların veya sistemlerin LLM'e tekrar tekrar gönderdiği uzun sistem talimatlarının, bağlam belgelerinin veya API şablonlarının önceden işlenmiş KV durumlarını sunucu belleğinde hazır tutarak mükerrer hesaplamayı engelleyen sistemdir.
Ne İşe Yarar / Çözülen Problem
Özellikle RAG ve yapay zekâ ajanlarında (Agents) ilk token üretim süresini (Time-To-First-Token - TTFT) %80-90 oranında düşürür ve API maliyetlerini yarı yarıya indirir.
Nasıl Çalışır? (Teknik & Mekanizma)
Sisteme gelen komutun öneki (prefix hash) kontrol edilir. Eğer önbellekte eşleşme bulunursa, o metin parçası için dikkat hesaplaması atlanır ve önbellekteki hazır KV tensörleri doğrudan oturuma yüklenir.
Örnek Senaryo & Pratik Uygulama
Bir restoranda her müşteriye baştan sıfırdan çorba kaynatmak yerine; dev kazanda pişen günün çorbasını kepçeyle kaseye anında doldurup masaya göndermek.
Benzer Terimlerden Farkı
KV-Cache tek bir oturum içindeki kelime üretimini hızlandırırken; Prompt Caching farklı kullanıcılar veya ardışık istekler arasındaki sabit metin bloklarını paylaşır.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#177)TransMLA
Sonraki Terim (#179)Prefix Caching