ZeRO Stage 2

ZeRO-Stage 2 (Gradient Partitioning)

Türkçe: ZeRO Aşama 2 (Gradyan Parçalama)

Ayrıntılı Tanım

Optimize edici durumlarına ek olarak, modelin hesaplanan **gradyan tensörlerini de** GPU'lar arasında paylaştıran ve işi biten gradyanları anında bellekten tahliye eden aşamadır.

Ne İşe Yarar / Çözülen Problem

Geriye yayılım sırasındaki devasa gradyan belleği yükünü ortadan kaldırarak bellek tasarrufunu 8 kata kadar çıkarır.

Nasıl Çalışır? (Teknik & Mekanizma)

Bir katmanın gradyanı hesaplandığı anda sadece o katmandan sorumlu olan GPU'ya gönderilir (Reduce-Scatter); diğer GPU'lar gradyanı hemen hafızadan siler.

Örnek Senaryo & Pratik Uygulama

Sınav kağıtlarını okuyan hocaların puanları anında not çizelgesine işleyip kağıtları hemen arşive kaldırması; masada kağıt biriktirmemesi.

Benzer Terimlerden Farkı

Model parametreleri hâlâ her GPU'da tam kopya olarak durur; ancak gradyanlar ve optimize edici durumları parçalanmıştır.

İlişkili Terimler (3)

#204

ZeRO Stage 1

ZeRO Aşama 1 (Optimize Edici Durumu Parçalama)

#206

ZeRO Stage 3

ZeRO Aşama 3 (Parametre Parçalama / Tam Parçalama)

#73