Madde #469Donanım & GPU/sozluk/compute-bound-vs-memory-bound
Compute-Bound vs. Memory-Bound
Compute-Bound vs. Memory-Bound Regimes
Türkçe: Hesaplama-Kısıtlı ve Bellek-Kısıtlı Çalışma Rejimleri
Ayrıntılı Tanım
Bir yapay zekâ işleminin hız sınırının, işlemcinin saniyede yapabileceği matematiksel işlem kapasitesine mi (**Compute-Bound / Aritmetik Darboğaz**) yoksa verilerin bellekten işlemciye taşınma hızına mı (**Memory-Bound / Bant Genişliği Darboğazı**) takıldığını tanımlayan kavramdır.
Ne İşe Yarar / Çözülen Problem
Donanım optimizasyonunda nereye müdahale edilmesi gerektiğini gösterir: Çıkarımda işlemci çekirdeklerini artırmak mı yoksa bellek bant genişliğini artırmak mı gerekir sorusunun yanıtıdır.
Nasıl Çalışır? (Teknik & Mekanizma)
Aritmetik Yoğunluk (Aritmetic Intensity: FLOP / Bayt) ile ölçülür. Büyük matris çarpımları ve Prefill fazı Compute-bound'dur. Tekil token üretimi (Decode) ve Dropout ise Memory-bound'dur.
Örnek Senaryo & Pratik Uygulama
* *Compute-Bound:* Bir fırında un ve su boldur ama hamuru yoğurup fırına atacak aşçı sayısı yetersizdir (işlemci yetişemez).
* *Memory-Bound:* Fırında 50 aşçı boş beklemektedir ama kamyon yolda kaldığı için un çuvalları fırına bir türlü gelemez (veri transferi yetişemez).
Benzer Terimlerden Farkı
İki zıt darboğazdır; LLM çıkarımının en büyük düşmanı bellek kısıtlılığıdır (Memory-Bound).
İlişkili Terimler (3)
Donanım, Hesaplama Mimarisi ve GPU Hızlandırma
NVIDIA GPU mimarileri, TPU, Tensor Core, HBM, FP8/FP16 hesaplama ve CUDA.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#468)Mixed Precision Training (Karma Hassasiyetli Eğitim)
Sonraki Terim (#470)Memory Bandwidth (Bellek Bant Genişliği)