ZeRO

Zero Redundancy Optimizer (DeepSpeed - Microsoft)

Türkçe: Sıfır Artıklıklı Optimize Edici

Ayrıntılı Tanım

Veri paralelliğinin sağladığı hesaplama hızını korurken; GPU'lar arasında gereksiz yere yinelenen (redundant) optimizasyon durumlarını, gradyanları ve model parametrelerini parçalayarak (shard) bellek israfını sıfırlayan bellek optimizasyon paradigmasıdır.

Ne İşe Yarar / Çözülen Problem

Model paralelliğinin getirdiği karmaşık kodlama ve iletişim hantallığına gerek kalmadan, sadece veri paralelliği mantığıyla yüz milyarlarca parametreli modellerin eğitilmesini sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Belleği tüketen 3 ana unsuru kademeli olarak GPU'lara paylaştırır: ZeRO-1 (Optimize Edici Durumları), ZeRO-2 (+ Gradyanlar), ZeRO-3 (+ Model Parametreleri).

Örnek Senaryo & Pratik Uygulama

4 kişilik bir çalışma grubunda herkesin kütüphanedeki 1000 sayfalık aynı ansiklopediyi kendi masasına satın alması yerine; 250'şer sayfasını bölüşüp gerektiğinde yan masadan sayfayı ödünç alıp geri vermesi.

Benzer Terimlerden Farkı

Model mimarisini bozmaz; sadece eğitim hafızasını (FP16/FP32 durumlarını) küme geneline akıllıca paylaştırır.

İlişkili Terimler (2)

#207

Fully Sharded Data Parallel (FSDP)

Tam Parçalanmış Veri Paralelliği

#15

AdamW

Ayrıştırılmış Ağırlık Azaltımlı Adam

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#202)Expert Parallelism

Sonraki Terim (#204)ZeRO Stage 1