Tensor Parallelism

Tensor Parallelism (TP / Megatron-LM)

Türkçe: Tensör Paralelliği / Matris İçi Paralellik

Ayrıntılı Tanım

Tek bir katmanın içindeki devasa ağırlık matrislerini (örneğin dikkat projeksiyonlarını veya MLP katmanlarını) satır veya sütun bazında birden fazla GPU'ya bölerek aynı katmanın hesaplamasını eşzamanlı yapan tekniktir.

Ne İşe Yarar / Çözülen Problem

Katman bazlı bölünmelerdeki bekleme sürelerini ortadan kaldırır; tek bir katmanın tek bir GPU'ya sığmadığı dev modelleri çalıştırır.

Nasıl Çalışır? (Teknik & Mekanizma)

Megatron-LM yaklaşımı kullanılır: MLP'nin ilk matrisi sütun bazında (

W_1 = [W_{1,1} \mid W_{1,2}]

), ikinci matrisi satır bazında bölünür. Arada sadece tek bir All-Reduce iletişimi yapılarak matris çarpımı tamamlanır.

Örnek Senaryo & Pratik Uygulama

Çok büyük bir halıyı tek bir kişinin dokuyamaması; yan yana duran iki ustanın aynı anda halının sağ ve sol yarısını dokuyup ortada deseni birleştirmesi.

Benzer Terimlerden Farkı

Çok yüksek NVLink bant genişliği gerektirir; bu yüzden genellikle sadece aynı sunucu (node) içindeki GPU'lar arasında uygulanır.

İlişkili Terimler (3)

#201

Pipeline Parallelism

Boru Hattı Paralelliği

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#199)Model Parallelism

Sonraki Terim (#201)Pipeline Parallelism