Madde #206LLM & Fine-Tuning/sozluk/zero-stage-3
ZeRO Stage 3
ZeRO-Stage 3 (Parameter Partitioning)
Türkçe: ZeRO Aşama 3 (Parametre Parçalama / Tam Parçalama)
Ayrıntılı Tanım
Modelin bizzat kendisini oluşturan **ağırlık parametrelerini de** parçalayan; hiçbir GPU'da modelin tam bir kopyasını bırakmayan ve parametreleri ileri/geri geçiş anında anlık olarak transfer eden tam parçalama aşamasıdır.
Ne İşe Yarar / Çözülen Problem
Bellek tüketimini GPU sayısıyla doğrusal oranda böler (); trilyon parametreli modellerin bile saf veri paralelliği mantığıyla eğitilmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bir katmanın sırası geldiğinde `All-Gather` ile diğer GPU'lardan ağırlıklar anlık toplanır, çarpım yapılır ve ağırlıklar derhal bellekten silinir.
Örnek Senaryo & Pratik Uygulama
Bir tiyatro oyununda oyuncunun sadece sahneye çıkacağı anda kendi replik kağıdını eline alıp okuması, sahneden iner inmez kağıdı çöpe atması.
Benzer Terimlerden Farkı
İletişim yükü Stage 1 ve 2'ye göre yaklaşık %50 artar; ancak bellek tasarrufu teorik olarak sınırsızdır. FSDP'nin temelini oluşturur.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#205)ZeRO Stage 2
Sonraki Terim (#207)Fully Sharded Data Parallel (FSDP)