Sözlüğe Dön/Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım/Weight-Only vs. Weight-Activation Quantization
Madde #401Kuantalama & Dağıtım/sozluk/weight-only-vs-weight-activation-quantization
Weight-Only vs. Weight-Activation Quantization
Weight-Only (W4A16 / W8A16) vs. Weight-Activation (W8A8 / W4A4)
Türkçe: Yalnızca Ağırlık vs. Ağırlık-Aktivasyon Kuantalaması
Ayrıntılı Tanım
* **Weight-Only:** Sadece diskte ve VRAM'de duran ağırlık matrislerinin sıkıştırıldığı, hesaplama anında bu sayıların FP16'ya açılarak çarpıldığı yaklaşım.
* **Weight-Activation:** Hem ağırlıkların hem de katmanlar arasında akan dinamik aktivasyon tensörlerinin kuantalanıp saf INT8/INT4 işlemcilerde çarpıldığı yaklaşım.
Ne İşe Yarar / Çözülen Problem
LLM çıkarımında darboğazın nerede olduğuna (bellek bant genişliği mi yoksa işlemci hızı mı) göre en doğru donanım verimini seçmeyi sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
LLM'lerde tekil kullanıcı isteklerinde darboğaz bellek bant genişliğidir; bu yüzden Weight-Only (W4A16) olağanüstü hızlıdır. Yüksek eşzamanlı toplu isteklerde (batched serving) ise hesaplama darboğazı oluşur; bu yüzden Weight-Activation (W8A8 - SmoothQuant) tercih edilir.
Örnek Senaryo & Pratik Uygulama
* *Weight-Only:* Bavuldaki eşyaları vakumlayıp uçağa yüklemek; otelde bavulu açıp eşyaları normal kullanmak.
* *Weight-Activation:* Eşyaları hiç açmadan, tüm tatili minik vakumlu paketlerle geçirmeye çalışmak.
Benzer Terimlerden Farkı
Weight-Only'nin uygulanması çok kolay ve kayıpsızdır; Weight-Activation ise aykırı aktivasyonlar (outliers) yüzünden çok daha karmaşık algoritmalar ister.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#400)Quantization-Aware Training (QAT)
Sonraki Terim (#402)Knowledge Distillation