Madde #399Kuantalama & Dağıtım/sozluk/post-training-quantization-ptq
Post-Training Quantization (PTQ)
Türkçe: Eğitim Sonrası Kuantalama
Ayrıntılı Tanım
Modelin eğitimi tamamen bittikten sonra, hiçbir pahalı geri yayılım veya yeniden eğitim yapmadan; sadece küçük bir kalibrasyon veri kümesi üzerinde ağırlıkları matematiksel formüllerle doğrudan 8-bit veya 4-bit'e dönüştürme yöntemidir.
Ne İşe Yarar / Çözülen Problem
Sıfır GPU eğitim maliyetiyle birkaç dakika içinde devasa bir modeli sıkıştırmayı sağlar; açık kaynak dünyasındaki GGUF ve AWQ dönüşümlerinin arkasındaki temel motordur.
Nasıl Çalışır? (Teknik & Mekanizma)
Model birkaç yüz örnek veri üzerinde ileri geçiş yapar. Katmanlardaki aktivasyonların tepe değerleri (min/max dinamik aralıkları) kaydedilir; bu aralıklara göre en az bilgi kaybı yaratacak optimal ölçek katsayıları hesaplanır.
Örnek Senaryo & Pratik Uygulama
Dikilmiş ve tamamlanmış bir takım elbiseyi terzinin sadece paçalarından ve kollarından küçük iğnelerle dakikalar içinde mankene tam oturacak şekilde katlayıp uyarlaması.
Benzer Terimlerden Farkı
QAT gibi haftalarca yeniden eğitim istemez; saniyeler veya dakikalar içinde tamamlanan çevrimdışı bir operasyondur.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#398)Pruning
Sonraki Terim (#400)Quantization-Aware Training (QAT)