Madde #181Transformers/sozluk/ring-attention
Ring Attention
Ring Attention (Liu et al., 2023)
Türkçe: Halka Dikkat Mekanizması
Ayrıntılı Tanım
Milyonlarca token uzunluğundaki devasa metin dizilerini birden fazla GPU'ya dağıtarak; her GPU kendi Query bloğunu sabit tutarken, Key ve Value tensörlerini GPU'lar arasında dairesel bir halka (ring) şeklinde döndürerek hesaplayan dağıtık dikkat algoritmasıdır.
Ne İşe Yarar / Çözülen Problem
Tek bir GPU belleğine asla sığmayacak 1 milyon ila 10 milyon token uzunluğundaki devasa bağlam pencerelerinin (örneğin Gemini 1.5 Pro) belleği patlatmadan eğitilmesini ve çalıştırılmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
GPU'lar mantıksal bir halka oluşturur. Her cihaz yerel dikkatini hesaplarken, eşzamanlı olarak Key ve Value bloklarını bir sonraki komşu cihaza ağ üzerinden (ring communication) fırlatır. İletişim ile hesaplama mükemmel şekilde üst üste biner (overlap).
Örnek Senaryo & Pratik Uygulama
Yangın söndüren itfaiye zinciri: İnsanlar yerlerinden kıpırdamaz, ellerindeki su kovalarını (KV tensörleri) elden ele dairesel olarak birbirine aktararak yangını hiç duraksamadan söndürürler.
Benzer Terimlerden Farkı
Standart tensör paralelliğinde tüm cihazların birbirine veri göndermesi (all-to-all) ağı kilitlerken; Ring Attention sadece halkadaki komşusuna veri atarak ağı rahatlatır.
İlişkili Terimler (1)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#180)RadixAttention
Sonraki Terim (#182)Linear Attention