Madde #202LLM & Fine-Tuning/sozluk/expert-parallelism
Expert Parallelism
Expert Parallelism (EP)
Türkçe: Uzman Paralelliği
Ayrıntılı Tanım
Karışım Uzmanları (Mixture of Experts - MoE) mimarilerinde, farklı uzman katmanlarını (expert networks) farklı GPU'lara dağıtarak; her GPU'nun yalnızca kendisine yönlendirilen tokenların uzmanlarını çalıştırmasını sağlayan dağıtık yöntemdir.
Ne İşe Yarar / Çözülen Problem
Yüz milyarlarca parametreli MoE modellerinin yüzlerce bağımsız uzmanını küme genelinde bellek dengesiyle barındırmayı çözer.
Nasıl Çalışır? (Teknik & Mekanizma)
Yönlendirici (Router) hangi tokenın hangi uzmana gideceğini belirler. All-to-All iletişimi ile tokenlar ilgili uzmanın bulunduğu GPU'ya postalanır; hesaplama bittikten sonra tekrar orijinal cihazlarına geri toplanır.
Örnek Senaryo & Pratik Uygulama
Bir hastanedeki poliklinikler: Göz hastalarının göz doktorunun odasına, kalp hastalarının kardiyoloji katına yönlendirilmesi; tedavisi bitenlerin danışmada buluşması.
Benzer Terimlerden Farkı
Standart katmanları değil; sadece MoE mimarisine özgü koşullu çalışan uzman bloklarını dağıtır.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#201)Pipeline Parallelism
Sonraki Terim (#203)ZeRO