Madde #156Transformers/sozluk/attention-with-linear-biases-alibi
Attention with Linear Biases (ALiBi)
Türkçe: Doğrusal Sapmalı Dikkat
Ayrıntılı Tanım
Press et al. (2021) tarafından sunulan; kelime gömmelerine hiçbir konumsal vektör eklemeyip, dikkat skorları hesaplanırken () aradaki token mesafesiyle orantılı sabit ve negatif bir eğim (ceza) ekleyen konumsal yöntemdir.
Ne İşe Yarar / Çözülen Problem
Model 1024 tokenla eğitilse bile çıkarım (inference) anında hiçbir ek eğitim olmadan 2048 veya 4096 tokene kadar uzayabilmesini (uzun bağlama sıfır maliyetli ekstrapolasyon) sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Dikkat matrisine doğrudan statik bir ceza eklenir:
Burada her dikkat başlığı (head) için farklı seçilen sabit bir eğim katsayısıdır; uzak kelimelerin dikkat puanı doğrusal olarak bastırılır.
Örnek Senaryo & Pratik Uygulama
Ses dalgasının fiziksel yayılımı: Yakındaki konuşmacının sesini çok net duyarken, arkadaki sıralara doğru ses şiddetinin doğrusal bir mesafeyle kısılması.
Benzer Terimlerden Farkı
RoPE açılarla matris döndürürken; ALiBi dikkat matrisine saf doğrusal mesafe cezası çıkarır.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#155)Rotary Position Embedding (RoPE)
Sonraki Terim (#157)NTK-Aware Scaled Attention