Madde #405Kuantalama & Dağıtım/sozluk/exl2-exllamav2
EXL2 (ExLlamaV2)
ExLlamaV2 Format / Engine (turboderp)
Türkçe: ExLlamaV2 Kuantalama Formatı
Ayrıntılı Tanım
Modern NVIDIA GPU'larda tüketici kartları için özel olarak optimize edilmiş; tek bir model içinde katman bazında karma bit genişliklerine (örneğin ortalama 3.5 bit, 4.2 bit gibi **kesirli bit kuantalamasına**) izin veren yüksek hızlı çıkarım formatıdır.
Ne İşe Yarar / Çözülen Problem
4-bit'in VRAM'e sığmadığı, 3-bit'in ise modelin beynini yaktığı sınır durumlarda; tam aradaki 3.5 bit gibi esnek boyutlarla modelin ekran kartına tamı tamına sığmasını ve rekor token/saniye hızına ulaşmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Katmanların önem derecesi ölçülür. Hassas katmanlar 5-bit veya 6-bit bırakılırken, gürültüye dayanıklı katmanlar 2-bit veya 3-bit'e çekilir. Özel el yazımı CUDA çekirdekleriyle (kernels) GPU'nun tensör birimlerini tam kapasite doyurur.
Örnek Senaryo & Pratik Uygulama
Bagaj hakkı 20 kg olan bir yolcunun çantasını tartıya koyup tam 19.9 kg'a ayarlaması; ne 1 gram fazla ne 1 gram eksik bırakarak çantayı optimize etmesi.
Benzer Terimlerden Farkı
Katı 4-bit sınırına takılmaz; kesirli (fractional) bitlerle çalışır ve saf GPU odaklı hızda dünyadaki en agresif çıkarım motorlarından biridir.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#404)MLX
Sonraki Terim (#406)Safetensors