Sözlüğe Dön/Transformer Mimarisi ve Dikkat Mekanizmaları/KV-Cache
#167 Value (V)#169 Multi-Query Attention (MQA)
Madde #168Transformers/sozluk/kv-cache

KV-Cache

Key-Value Caching

Türkçe: Anahtar-Değer Önbelleklemesi
Ayrıntılı Tanım
Üretken dil modellerinde (LLM çıkarımında), geçmiş adımlarda üretilmiş kelimelerin KK ve VV tensörlerini GPU belleğinde saklayarak, her yeni kelime üretildiğinde tüm geçmişi sıfırdan tekrar hesaplama külfetini ortadan kaldıran çıkarım optimizasyonudur.
Ne İşe Yarar / Çözülen Problem
Çıkarım karmaşıklığını O(N2)O(N^2) işlem maliyetinden O(N)O(N) seviyesine indirir; ChatGPT gibi modellerin her yeni kelimeyi milisaniyeler içinde anlık yazmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Yeni gelen tek bir token için sadece tek bir qtq_t üretilir. Geçmiş tokenların K1:t−1K_{1:t-1} ve V1:t−1V_{1:t-1} tensörleri VRAM'den okunur, yeni tokenın ktk_t ve vtv_t'si önbelleğe eklenir. Tek satırlık matris çarpımı yapılır.
Örnek Senaryo & Pratik Uygulama
Bir yazarın roman yazarken her yeni cümle kurduğunda önceki 500 sayfayı baştan sona tekrar daktilo etmek yerine; eski sayfaları masanın kenarına dizip sadece en son sayfaya yeni kelimeyi eklemesi.
Benzer Terimlerden Farkı
Hesaplama süresini (compute) dramatik biçimde düşürür ancak karşılığında devasa miktarda GPU belleği (VRAM) tüketir.
İlişkili Terimler (2)
#169
Multi-Query Attention (MQA)
Çoklu Sorgulu Dikkat
#170
Grouped-Query Attention (GQA)
Gruplanmış Sorgulu Dikkat
Ait Olduğu Kategori

Transformer Mimarisi ve Dikkat Mekanizmaları

Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.

Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#167)Value (V)
Sonraki Terim (#169)Multi-Query Attention (MQA)