SmoothQuant

SmoothQuant (Xiao et al., MIT 2022)

Türkçe: Pürüzsüzleştirici Kuantalama

Ayrıntılı Tanım

Büyük dil modellerinde aktivasyon tensörlerinde aniden ortaya çıkan ve kuantalamayı imkansız kılan devasa aykırı değerleri (activation outliers), matematiksel bir dengeleme katsayısıyla **aktivasyonlardan alıp ağırlık matrislerinin üzerine transfer eden** ve böylece hem ağırlıkların hem aktivasyonların **INT8 (W8A8)** olarak çalışmasını sağlayan yöntemdir.

Ne İşe Yarar / Çözülen Problem

LLM'lerin sadece ağırlıklarını değil, aktivasyonlarını da INT8 yaparak GPU'nun en hızlı çekirdeklerinde (INT8 Tensor Cores) tam donanım hızlanması elde etmesini sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Aktivasyonlar ile ağırlıklar arasına ölçekleme faktörü

s

konur:

Y = (X \cdot \text{diag}(s)^{-1}) \cdot (\text{diag}(s) \cdot W) = \hat{X} \cdot \hat{W}

Aktivasyondaki dev sivri tepeler ezilir; yük ağırlıkların pürüzsüz zeminine dağıtılır.

Örnek Senaryo & Pratik Uygulama

Aşırı sivri ve sivri bir tepeyi (aykırı aktivasyon) tıraşlayıp, oradan çıkan toprağı yanındaki hafif çukura (ağırlıklara) doldurarak tüm araziyi asfalt dökmeye hazır pürüzsüz bir zemin haline getirmek.

Benzer Terimlerden Farkı

Weight-Only değildir; aktivasyonları da 8-bit yaparak çıkarım motorlarında gerçek donanım seviyesi hızlanma sağlar.

İlişkili Terimler (2)

#401

Weight-Only vs. Weight-Activation Quantization

Yalnızca Ağırlık vs. Ağırlık-Aktivasyon Kuantalaması

#407

Activation-Aware Weight Quantization (AWQ)

Aktivasyon-Farkındalıklı Ağırlık Kuantalaması

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#408)GPTQ

Sonraki Terim (#410)Speculative Decoding