Madde #421Kuantalama & Dağıtım/sozluk/kernel-fusion
Kernel Fusion (Katman Birleştirme)
Operator / Kernel Fusion
Türkçe: İşleç / Çekirdek Birleştirme
Ayrıntılı Tanım
Sinir ağındaki ardışık küçük matematiksel işlemleri (örneğin Matris Çarpımı + Bias Ekleme + ReLU Aktivasyonu) GPU üzerinde ayrı ayrı üç operasyon olarak çalıştırmak yerine; bu işlemleri **tek bir birleşik GPU fonksiyonunda (tek bir CUDA çekirdeğinde)** birleştirerek çalıştırma optimizasyonudur.
Ne İşe Yarar / Çözülen Problem
GPU'nun en büyük düşmanı olan ara tensörleri sürekli yavaş ana belleğe (VRAM) yazıp tekrar okuma (bellek transfer gecikmesi) darboğazını ortadan kaldırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Veri GPU'nun hızlı yerel SRAM yazmaçlarına bir kez yüklenir. Çarpma, toplama ve aktivasyon aynı yazmaç üzerinde peş peşe hesaplanır ve nihai sonuç ana belleğe tek bir hamlede yazılır.
Örnek Senaryo & Pratik Uygulama
Bir aşçının yemeği pişirirken malzemeyi tencereden tabağa, tabaktan tekrar tavaya aktarması yerine; tüm pişirme ve soslama işlemlerini tek bir tencerenin içinde art arda tamamlayıp doğrudan masaya servis etmesi.
Benzer Terimlerden Farkı
Matematiksel sonucu değiştirmez; sadece donanım seviyesindeki gereksiz veri transfer adımlarını tek bir fonksiyon çatısı altında eritir.
İlişkili Terimler (2)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#420)LM Studio
Sonraki Terim (#422)KV-Cache Quantization