Model Parallelism

Model Parallelism (MP)

Türkçe: Model Paralelliği

Ayrıntılı Tanım

Bir yapay zekâ modelinin boyutunun tek bir GPU'nun belleğine (VRAM) sığmayacak kadar büyük olduğu durumlarda, modelin mimarisinin ve parametrelerinin birden fazla GPU'ya paylaştırılması işlemidir.

Ne İşe Yarar / Çözülen Problem

70B, 405B gibi tek bir karta asla sığamayacak devasa LLM'lerin eğitilmesini ve çalıştırılmasını mümkün kılar.

Nasıl Çalışır? (Teknik & Mekanizma)

İki temel şekilde yapılır: Ya katmanlar arka arkaya dizilerek GPU'lara bölünür (Pipeline Parallelism) ya da tek bir matris parçalara ayrılarak aynı anda çarpılır (Tensor Parallelism).

Örnek Senaryo & Pratik Uygulama

Tek bir kamyona sığmayan devasa bir heykeli parçalara ayırıp 4 ayrı tıra yüklemek ve hedef noktada parçaları birleştirmek.

Benzer Terimlerden Farkı

Veri paralelliğinde veri bölünürken, model paralelliğinde modelin bizzat kendisi parçalanır.

İlişkili Terimler (3)

#200

Tensor Parallelism

Tensör Paralelliği / Matris İçi Paralellik

#201

Pipeline Parallelism

Boru Hattı Paralelliği

#203