Madde #197LLM & Fine-Tuning/sozluk/data-parallelism
Data Parallelism
Data Parallelism (DP)
Türkçe: Veri Paralelliği
Ayrıntılı Tanım
Modelin parametrelerinin birebir aynı kopyasının her bir GPU'da tutulduğu, ancak devasa eğitim yığınının (batch) parçalara bölünerek her GPU'ya farklı bir veri grubunun verildiği en yaygın dağıtık eğitim biçimidir.
Ne İşe Yarar / Çözülen Problem
Model tek bir GPU'ya sığdığı sürece, veri işleme hacmini ve eğitim hızını GPU sayısıyla neredeyse doğrusal olarak artırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Her GPU kendi mini-batch'i üzerinde ileri ve geri geçiş yapar, yerel gradyanları hesaplar. Tüm GPU'lar All-Reduce iletişim protokolüyle gradyanlarını toplar, ortalamasını alır ve aynı anda güncellenir.
Örnek Senaryo & Pratik Uygulama
Aynı ders kitabına sahip 8 farklı öğrencinin, 800 sayfalık test kitabının 100'er sayfasını bölüşüp çözmesi; sonra bir araya gelip yaptıkları hataların ortak değerlendirmesini çıkarması.
Benzer Terimlerden Farkı
Model bölünmez, sadece veri bölünür. Eğer model tek bir GPU'nun VRAM'ine sığmıyorsa Data Parallelism tek başına iflas eder.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#196)Distributed Training
Sonraki Terim (#198)Distributed Data Parallel (DDP)