Quantization

Weight & Activation Quantization

Türkçe: Kuantalama / Sayısal Hassasiyet İndirgeme

Ayrıntılı Tanım

Modelin ağırlıklarını ve aktivasyon tensörlerini temsil eden yüksek hassasiyetli kayan noktalı sayıları (örneğin 32-bit FP32 veya 16-bit FP16), çok daha az bit kaplayan tamsayılara (örneğin 8-bit INT8, 4-bit INT4 veya 2-bit formatlarına) yuvarlayarak sıkıştırma işlemidir.

Ne İşe Yarar / Çözülen Problem

Modelin VRAM tüketimini 2 ila 4 kat azaltır; bellek bant genişliği darboğazını kırarak token üretim hızını fırlatır.

Nasıl Çalışır? (Teknik & Mekanizma)

Doğrusal bir ölçekleme çarpanı (

S

) ve sıfır noktası (

Z

) kullanılır:

q = \text{clip}\left(\text{round}\left(\frac{x}{S}\right) + Z, q_{min}, q_{max}\right)

Donanım seviyesinde matris çarpımları tamsayı komut setleriyle (INT8 Tensor Cores) çok daha hızlı işlenir.

Örnek Senaryo & Pratik Uygulama

Bir boy ölçümünde milimetrenin binde birini hesaplamak yerine (FP32), herkesin boyunu santimetre tamsayısına yuvarlayarak (INT8) defterde 4 kat yer kazanmak ve hesaplamayı hızlandırmak.

Benzer Terimlerden Farkı

Modelin mimarisini veya nöron sayısını değiştirmez; sadece nöronların içindeki sayıların kaç bitlik çekmecelerde saklandığını değiştirir.

İlişkili Terimler (4)

#399

Post-Training Quantization (PTQ)

Eğitim Sonrası Kuantalama

#400

Quantization-Aware Training (QAT)

Kuantalama-Farkındalıklı Eğitim

#407

Activation-Aware Weight Quantization (AWQ)

Aktivasyon-Farkındalıklı Ağırlık Kuantalaması