Distributed Training

Distributed Deep Learning Training

Türkçe: Dağıtık Eğitim

Ayrıntılı Tanım

Tek bir GPU'nun belleğine veya işlem gücüne sığmayan dev modellerin ve veri kümelerinin, yüzlerce veya binlerce GPU/TPU kümesine bölünerek koordineli biçimde eğitilmesi mimarisidir.

Ne İşe Yarar / Çözülen Problem

Tek bir bilgisayarda eğitilmesi onlarca yıl sürecek modellerin haftalar içinde tamamlanmasını mümkün kılar.

Nasıl Çalışır? (Teknik & Mekanizma)

Ağ mimarisi yüksek hızlı ara bağlantılar (InfiniBand, NVLink) üzerinden haberleşir. Veri, tensör veya katmanlar cihazlar arasında paylaştırılır; gradyanlar senkronize edilir.

Örnek Senaryo & Pratik Uygulama

Devasa bir piramidi tek bir işçinin yapmaya çalışması yerine; binlerce organize işçinin aynı anda taş blokları yerleştirmesi.

Benzer Terimlerden Farkı

Tek GPU üzerinde yapılan lokal eğitimin çok düğümlü (multi-node) süper bilgisayar ölçeğine taşınmış halidir.

İlişkili Terimler (3)