ZeRO Stage 1

ZeRO-Stage 1 (Optimizer State Partitioning)

Türkçe: ZeRO Aşama 1 (Optimize Edici Durumu Parçalama)

Ayrıntılı Tanım

AdamW optimize edicisinin FP32 formatında sakladığı devasa momentum ve varyans durumlarını (FP16 model boyutunun 8 katı bellek tutar) tüm GPU'lara eşit olarak paylaştıran ilk aşamadır.

Ne İşe Yarar / Çözülen Problem

İletişim maliyetini hiç artırmadan GPU başına bellek tüketimini yaklaşık 4 kat azaltır; modellerin VRAM patlamasını engeller.

Nasıl Çalışır? (Teknik & Mekanizma)

N

adet GPU varsa, her GPU parametrelerin sadece

\frac{1}{N}

'lik kısmının Adam durumlarını saklar ve sadece o kısmı günceller.

Örnek Senaryo & Pratik Uygulama

Defterin arkasındaki karalama ve hesaplama sayfalarını tek bir defterde tutmak yerine ekip arkadaşlarına bölüştürmek.

Benzer Terimlerden Farkı

Model parametrelerine ve gradyanlara dokunmaz; sadece Adam'ın arka plan hafızasını parçalar.

İlişkili Terimler (3)

#203

ZeRO

Sıfır Artıklıklı Optimize Edici

#205

ZeRO Stage 2

ZeRO Aşama 2 (Gradyan Parçalama)

#14

Adam (Adaptive Moment Estimation)

Uyarlanabilir Moment Tahmini

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#203)ZeRO

Sonraki Terim (#205)ZeRO Stage 2