Distributed Data Parallel (DDP)

Distributed Data Parallel (PyTorch DDP)

Türkçe: Dağıtık Veri Paralelliği (Çok İş parçacıklı DDP)

Ayrıntılı Tanım

PyTorch'un her bir GPU için işletim sistemi düzeyinde tamamen bağımsız bir süreç (process) başlatan; Global Interpreter Lock (GIL) kısıtını aşarak gradyan iletişimini hesaplama ile örtüştüren (overlapping) yüksek performanslı modülüdür.

Ne İşe Yarar / Çözülen Problem

Eski nesil `DataParallel` modülünün tek bir ana GPU'yu darboğaza sokması ve Python thread kilidi yüzünden yavaşlaması sorununu çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Her GPU bağımsız çalışır. Geri yayılım sırasında bir katmanın gradyanı hesaplandığı anda (tüm katmanların bitmesi beklenmeden) arka planda Ring-AllReduce ile iletişim başlatılır.

Örnek Senaryo & Pratik Uygulama

8 şeritli otobanda gişe kuyruğu olmadan her aracın kendi şeridinde tam gaz akması ve telsizle anlık koordinasyon kurması.

Benzer Terimlerden Farkı

Eski `DataParallel` tek süreç ve çoklu iş parçacığı (multi-threading) kullanırken; DDP gerçek çoklu süreç (multi-processing) kullanır.

İlişkili Terimler (3)

Fully Sharded Data Parallel (FSDP)

Tam Parçalanmış Veri Paralelliği

#181