Madde #173Transformers/sozluk/longformer
Longformer
Longformer (Beltagy et al., 2020)
Türkçe: Uzun Metin Dönüştürücüsü
Ayrıntılı Tanım
Kayan pencereli yerel dikkat ile belirli kritik tokenlara (örneğin soru köklerine veya `[CLS]` tokenına) atanan **küresel dikkati (global attention)** birleştiren verimli Transformer modelidir.
Ne İşe Yarar / Çözülen Problem
Standart Transformer'ların 512 token kısıtını kırarak binlerce kelimelik uzun akademik makalelerin, raporların ve sözleşmelerin tek parça halinde işlenmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Hibrit bir dikkat matrisi oluşturur: Sıradan tokenlar sadece pencereli yerel komşularıyla konuşurken; özel seçilmiş birkaç küresel token tüm cümledeki her kelimeyle karşılıklı haberleşir. Karmaşıklık olur.
Örnek Senaryo & Pratik Uygulama
Bir meclis oturumu: Milletvekilleri sadece yan koltuklarındaki arkadaşlarıyla fısıldaşırken (yerel dikkat); meclis başkanının kürsüden tüm meclise hitap etmesi ve herkesin onu dinlemesi (küresel dikkat).
Benzer Terimlerden Farkı
Ne saf yerel dikkat gibi küresel bağlamı kaçırır ne de standart Transformer gibi karesel işlemciye takılır; ikisini akıllıca harmanlar.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#172)Local Attention
Sonraki Terim (#174)Multi-Head Latent Attention (MLA)