Madde #416Kuantalama & Dağıtım/sozluk/flashattention
FlashAttention
FlashAttention: Fast and Memory-Efficient Exact Attention (Dao et al., 2022)
Türkçe: Flaş Dikkat (Bellek-Verimli Hızlı Dikkat)
Ayrıntılı Tanım
Standart dikkatin 'lik devasa ara dikkat matrisini GPU'nun yavaş ana belleğine (HBM) hiç yazmadan; hesaplamayı GPU'nun ultra hızlı yerel çip-üstü belleğinde (SRAM) **bloklar halinde (tiling) ve çevrimiçi Softmax hilesiyle** gerçekleştiren donanım-farkındalıklı algoritmadır.
Ne İşe Yarar / Çözülen Problem
Transformer'ların bellek tüketimini kareselden doğrusala () indirir; hiçbir yaklaşık hesap veya doğruluk kaybı olmadan eğitimi ve çıkarımı 2 ila 4 kat hızlandırır (tüm modern yapay zekânın ortak altyapısıdır).
Nasıl Çalışır? (Teknik & Mekanizma)
Matrisler küçük bloklara bölünür. Blok SRAM'e çekilir, yerel Softmax hesaplanır ve ara matris HBM'e yazılmadan doğrudan Value ile çarpılıp sonuca eklenir. Geriye yayılımda ara matris hafızadan okunmaz, anında tekrar hesaplanır (Recomputation).
Örnek Senaryo & Pratik Uygulama
Ağır bir matematik işlemini yaparken masanın üzerindeki küçük not kağıdına (SRAM) hızlıca karalamalar yapıp sadece sonucu ana deftere yazmak; her ara toplama için odanın öbür ucundaki kütüphane rafına (HBM) yürüyüp geri gelmemek.
Benzer Terimlerden Farkı
Seyrek veya yaklaşık bir dikkat değildir; matematiksel olarak standart Scaled Dot-Product Attention ile tıpatıp aynı kesin (exact) sonucu verir.
İlişkili Terimler (2)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#415)Prefill vs. Decode Phase
Sonraki Terim (#417)vLLM