Sözlüğe Dön/Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım/Activation-Aware Weight Quantization (AWQ)
Madde #407Kuantalama & Dağıtım/sozluk/activation-aware-weight-quantization-awq
Activation-Aware Weight Quantization (AWQ)
Activation-aware Weight Quantization (Lin et al., MIT 2023)
Türkçe: Aktivasyon-Farkındalıklı Ağırlık Kuantalaması
Ayrıntılı Tanım
Modeldeki tüm ağırlıkların eşit derecede önemli olmadığını; sadece **büyük ve kritik aktivasyonlar üreten %1'lik seçkin ağırlık grubunu (salient weights) tespit edip bu ağırlıkları FP16'da koruyarak**, kalan %99'luk ağırlığı 4-bit'e yuvarlayan donanım dostu kuantalama algoritmasıdır.
Ne İşe Yarar / Çözülen Problem
4-bit kuantalamada modelin akıl yürütme ve dil yeteneklerinde yaşanan kırılmaları önler; çıkarım motorlarında (vLLM, TGI) olağanüstü yüksek işlem performansı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Aktivasyon büyüklüklerine göre ağırlıklar ölçeklenir. Kritik ağırlıklar için donanımsal karmaşayı önlemek amacıyla ağırlıklar fiziksel olarak FP16 bırakılmaz; bunun yerine aktivasyonları dengeleyen matematiksel koruyucu çarpanlar ( ve ) uygulanır.
Örnek Senaryo & Pratik Uygulama
Bir holdingin bütçe kısıtlamasına gitmesi: Şirketteki en kritik %1'lik kilit yöneticilerin ve mühendislerin maaşına hiç dokunmayıp (yüksek hassasiyet), genel ofis harcamalarında %75 tasarruf yaparak şirketin kârlılığını hiç bozmadan küçülmek.
Benzer Terimlerden Farkı
GPTQ matris tersiyle uğraşırken; AWQ sadece aktivasyon büyüklüklerine odaklanır, genelleme yeteneği çok daha sağlamdır ve aşırı ezberlemez.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#406)Safetensors
Sonraki Terim (#408)GPTQ