Fully Sharded Data Parallel (FSDP)

Fully Sharded Data Parallel (PyTorch FSDP)

Türkçe: Tam Parçalanmış Veri Paralelliği

Ayrıntılı Tanım

Microsoft'un ZeRO-3 mimarisinin PyTorch çekirdeğine yerel (native) ve yüksek performanslı olarak entegre edilmiş endüstri standardı versiyonudur.

Ne İşe Yarar / Çözülen Problem

DDP'nin sığmadığı büyük modelleri, harici kütüphanelere (DeepSpeed gibi) bağımlı kalmadan saf PyTorch ile devasa GPU kümelerinde kolayca eğitmeyi sağlar (Meta'nın LLaMA modellerini eğittiği motordur).

Nasıl Çalışır? (Teknik & Mekanizma)

Model bloklarını katman katman paketler (wrapping). İleri geçişte katmanın ağırlıklarını toplar, hesaplar ve atar; geri geçişte aynısını tekrarlar.

Örnek Senaryo & Pratik Uygulama

LLaMA-2 ve LLaMA-3'ün binlerce H100 GPU üzerinde pürüzsüzce eğitilmesini sağlayan arka plandaki ana orkestra şefi.

Benzer Terimlerden Farkı

DDP modeli her karta kopyalarken; FSDP modeli kartlara parçalar (sharding).

İlişkili Terimler (3)

#198

Distributed Data Parallel (DDP)

Dağıtık Veri Paralelliği (Çok İş parçacıklı DDP)

#206

ZeRO Stage 3

ZeRO Aşama 3 (Parametre Parçalama / Tam Parçalama)

#196

Distributed Training

Dağıtık Eğitim

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#206)ZeRO Stage 3

Sonraki Terim (#208)Supervised Fine-Tuning (SFT)