Madde #422Kuantalama & Dağıtım/sozluk/kv-cache-quantization
KV-Cache Quantization
Key-Value Cache Quantization (KVCache INT8 / INT4 / FP8)
Türkçe: KV-Önbellek Kuantalaması
Ayrıntılı Tanım
Çıkarım sırasında üretilen geçmiş tokenların bellekte saklanan Key ve Value tensörlerini 16-bit (FP16) formatında tutmak yerine; 8-bit (INT8/FP8) veya 4-bit formatlarına sıkıştırarak saklama tekniğidir.
Ne İşe Yarar / Çözülen Problem
Uzun metinlerde ve çoklu kullanıcılı sunucularda model ağırlıklarından bile daha fazla yer kaplayan KV-Cache bellek krizini çözer; aynı ekran kartında bağlam uzunluğunu 2 ila 4 katına çıkarmayı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Her yeni token üretildiğinde, hesaplanan ve tensörleri bir ölçekleme katsayısıyla tamsayıya yuvarlanarak önbelleğe yazılır. Dikkat işlemi hesaplanırken anlık olarak açılarak çarpıma sokulur.
Örnek Senaryo & Pratik Uygulama
Bir kütüphanecinin okuyucuların getirdiği iade kitapları rafa kaldırmadan önce sayfalarını mikrofilme çekip rafa koyması; böylece kütüphane arşivinde 4 kat daha fazla yer açılması.
Benzer Terimlerden Farkı
Modelin ağırlıklarını değil; çıkarım anında dinamik olarak büyüyen konuşma geçmişi hafızasını sıkıştırır.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#421)Kernel Fusion (Katman Birleştirme)
Sonraki Terim (#423)Time-To-First-Token (TTFT)