Memory Bandwidth (Bellek Bant Genişliği)

Memory Bandwidth (GB/s or TB/s)

Türkçe: Bellek Bant Genişliği

Ayrıntılı Tanım

Verilerin ana bellekten (VRAM / HBM) alınıp GPU'nun işlem çekirdeklerine (SM / Tensor Cores) birim zamanda (saniyede) ne kadar yüksek bir hacimle aktarılabildiğini gösteren hız ölçüsüdür (örn. 3.35 TB/s).

Ne İşe Yarar / Çözülen Problem

LLM çıkarımında (özellikle tekil kullanıcı Decode aşamasında) token üretim hızını belirleyen **bir numaralı sınırlayıcı faktördür**.

Nasıl Çalışır? (Teknik & Mekanizma)

Bir kelime üretmek için 70 milyar parametrelik modelin tüm ağırlıkları (140 GB veri) VRAM'den tek tek okunmak zorundadır. Bant genişliğiniz ne kadar darsa, kelime akış hızınız o kadar yavaşlar:

\text{Maksimum Hız (Token/s)} \approx \frac{\text{Bellek Bant Geni\c{s}li\breve{g}i (Bayt/s)}}{\text{Model Boyutu (Bayt)}}

Örnek Senaryo & Pratik Uygulama

Yangın hortumunun çapı: Depoda milyonlarca ton su olsa bile (bellek kapasitesi), hortum incecikse suyu alevlere yavaş yavaş fışkırtabilirsiniz. Bant genişliği hortumun kalınlığıdır.

Benzer Terimlerden Farkı

Bellek Kapasitesi (VRAM boyutu: 80 GB) modelin sığıp sığmayacağını; Bant Genişliği (TB/s) ise o modelin ne kadar hızlı akacağını belirler.

İlişkili Terimler (3)

#472

High Bandwidth Memory (HBM)

Yüksek Bant Genişlikli Bellek

#469

Compute-Bound vs. Memory-Bound

Hesaplama-Kısıtlı ve Bellek-Kısıtlı Çalışma Rejimleri

#471

Roofline Model

Çatı Hattı Modeli

Ait Olduğu Kategori

Donanım, Hesaplama Mimarisi ve GPU Hızlandırma

NVIDIA GPU mimarileri, TPU, Tensor Core, HBM, FP8/FP16 hesaplama ve CUDA.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#469)Compute-Bound vs. Memory-Bound

Sonraki Terim (#471)Roofline Model