Madde #339RAG & Vektör/sozluk/lost-in-the-middle-problem
Lost in the Middle Problem
Lost in the Middle Phenomenon (Liu et al., Stanford 2023)
Türkçe: Ortada Kaybolma Problemi
Ayrıntılı Tanım
Büyük dil modellerinin, kendilerine verilen uzun bir bağlam isteminin (context window) **en başında ve en sonunda** yer alan bilgilere çok dikkat ederken; metnin **tam ortasında kalan kısımlardaki** bilgileri görmezden gelmesi ve unutması zaafıdır.
Ne İşe Yarar / Çözülen Problem
RAG sistemlerinde neden belgeleri rastgele dizmememiz gerektiğini ve neden en kritik belgeleri prompt'un en başına veya en sonuna yerleştirmemiz gerektiğini kanıtlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Dikkat mekanizması (Self-Attention) u-şeklinde bir eğri çizer (Primacy and Recency Effect). Model ilk kelimeleri ve son soru kelimesini yüksek dikkat ağırlığıyla işlerken, ara bloklardaki dikkat skorları seyrekleşir.
Örnek Senaryo & Pratik Uygulama
50 maddelik uzun bir alışveriş listesiyle markete giden birinin; listenin ilk 3 maddesini ve son 2 maddesini eksiksiz alıp, ortadaki 25. maddedeki tereyağını tamamen unutması.
Benzer Terimlerden Farkı
Modelin bellek boyutu yetersizliği değildir; modelin dikkat dağılımının psikolojik ve matematiksel önyargısıdır.
İlişkili Terimler (3)
Bilgi Erişimi, RAG ve Vektör Veritabanları
Dense/Sparse retrieval, Vektör indeksleme (HNSW), Rerankers ve RAG pipeline.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#338)Reranking
Sonraki Terim (#340)Chunking