GPTQ

Accurate Post-Training Quantization for Generative Pre-trained Transformers (Frantar et al., 2022)

Türkçe: GPT Modelleri İçin Hassas Eğitim Sonrası Kuantalama

Ayrıntılı Tanım

İkinci dereceden Taylor açılımı ve Hessian matrisinin tersini kullanarak (Optimal Brain Surgeon mantığı); ağırlıkları tek tek kuantalarken oluşan matematiksel yuvarlama hatasını **komşu henüz kuantalanmamış ağırlıkların üzerine dağıtarak telafi eden** katman bazlı kuantalama algoritmasıdır.

Ne İşe Yarar / Çözülen Problem

175 milyar parametrelik dev modellerin bile sadece birkaç saat içinde tek bir GPU üzerinde neredeyse sıfır kayıpla 4-bit ve 3-bit seviyesine indirilmesini sağlamıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

Ağırlık matrisinin sütunları sırayla işlenir. Bir sütun kuantalandığında oluşan hata vektörü

w_q - w

, ters Hessian matrisi (

H^{-1}

) kullanılarak kalan sütunlara telafi payı olarak dağıtılır (

O(d^3)

yerine Cholesky ayrışımı ile optimize edilir).

Örnek Senaryo & Pratik Uygulama

İnce ayarlı bir mekanik saatin dişlilerini taşlamak: Bir dişliyi biraz fazla yonttuğunuzda saatin geri kalmaması için komşu dişliyi hemen milimetrik olarak öne doğru çekip dengeyi korumak.

Benzer Terimlerden Farkı

Saf yuvarlama yapmaz; komşu ağırlıkları dinamik olarak düzelterek kuantalama hatasını kendi içinde absorbe eder.

İlişkili Terimler (2)

#407

Activation-Aware Weight Quantization (AWQ)

Aktivasyon-Farkındalıklı Ağırlık Kuantalaması

#399

Post-Training Quantization (PTQ)

Eğitim Sonrası Kuantalama

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#407)Activation-Aware Weight Quantization (AWQ)

Sonraki Terim (#409)SmoothQuant