Madde #400Kuantalama & Dağıtım/sozluk/quantization-aware-training-qat
Quantization-Aware Training (QAT)
Türkçe: Kuantalama-Farkındalıklı Eğitim
Ayrıntılı Tanım
Model henüz eğitim aşamasındayken (veya ince ayar sırasında); ileri geçişte kuantalama yuvarlama hatalarını simüle eden sahte kuantalama (fake quantization) modülleri kullanarak modelin düşük hassasiyete alışmasını sağlayan yöntemdir.
Ne İşe Yarar / Çözülen Problem
PTQ'nun özellikle 4-bit ve 2-bit gibi ultra düşük hassasiyetlerde yaşadığı keskin doğruluk kaybını engeller; modelin kuantalanmış haliyle bile orijinal FP16 doğruluğuna birebir yakın kalmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
İleri geçişte sayılar yuvarlanır (quantize edilir). Geriye yayılımda yuvarlama fonksiyonunun türevi tanımsız olduğu için Düz Geçiş Tahmincisi (Straight-Through Estimator - STE) kullanılır: . Ağırlıklar kuantalama gürültüsünü telafi edecek şekilde güncellenir.
Örnek Senaryo & Pratik Uygulama
Bir askeri birliğin gerçek savaşa gitmeden önce kasten çamurlu, kısıtlı ve zorlu parkurlarda (sahte gürültü altında) eğitilmesi; sahaya çıktığında kısıtlı imkanlara rağmen hiç bocalama yaşamaması.
Benzer Terimlerden Farkı
PTQ'dan çok daha yüksek doğruluk sunar ancak modelin baştan veya uzun süre GPU üzerinde yeniden eğitilmesini gerektirir.
İlişkili Terimler (2)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#399)Post-Training Quantization (PTQ)
Sonraki Terim (#401)Weight-Only vs. Weight-Activation Quantization