Madde #267MoE & SSM/sozluk/parallel-scan
Parallel Scan
Parallel Associative Scan (Blelloch Scan)
Türkçe: Paralel İlişkisel Tarama
Ayrıntılı Tanım
Yinelemeli (özyinelemeli) ardışık bir döngüyü, birleşme özelliği (associativity) gösteren ikili ağaç operasyonları sayesinde GPU üzerinde **paralel olarak zaman adımında** hesaplayan temel algoritmadır.
Ne İşe Yarar / Çözülen Problem
Mamba gibi özyinelemeli durum modellerinin eğitim sırasında RNN'ler gibi tek tek adımları bekleyip yavaşlamasını engeller; eğitimi Transformer gibi tam paralel kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
Girdi elemanları ikili ağaç şeklinde yukarı doğru toplanır (up-sweep), ardından kökten aşağıya doğru ara durumlar dağıtılır (down-sweep). 1000 adımlık ardışık bir zincir yaklaşık 10 paralel adımda çözülür.
Örnek Senaryo & Pratik Uygulama
8 kişilik bir grubun para toplaması: Parayı elden ele 8 turda dolaştırmak yerine; ikişerli eşleşip toplamaları, sonra 4'erli birleşip toplamı anında bulmaları.
Benzer Terimlerden Farkı
Sıralı döngülerin GPU paralelliğine feda edilmeden hızlandırılmasını sağlayan matematiksel köprüdür.
İlişkili Terimler (2)
Seyrek, Koşullu ve Hibrit Mimariler
Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.
Toplam Terim:29 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#266)Mamba
Sonraki Terim (#268)Structured State Space Duality (SSD)