Madde #342RAG & Vektör/sozluk/chunk-overlap
Chunk Overlap
Chunk Overlap (Sliding Window Overlap)
Türkçe: Parça Örtüşmesi / Çakışma Payı
Ayrıntılı Tanım
İki ardışık metin parçası arasında, bir önceki parçanın sonundaki belirli bir miktar metnin (örneğin %10-20'sinin) bir sonraki parçanın başına aynen kopyalanarak tekrarlanmasıdır.
Ne İşe Yarar / Çözülen Problem
Tam bir cümlenin veya kritik bir bağlamın iki parçanın tam sınırında kalıp ikiye bölünmesi ve anlamın parçalanması felaketini engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Örneğin Parça Boyutu 500 token ve Örtüşme 50 token ise: 1. parça 0-500 arası tokenları, 2. parça 450-950 arası tokenları içerir. 450-500 arası her iki parçada da ortak yaşar.
Örnek Senaryo & Pratik Uygulama
Bir çatıya kiremit döşemek: Her kiremidin bir önceki kiremidin üzerine birkaç santim bindirilmesi; böylece aradan yağmur suyunun (bilginin) sızmasının engellenmesi.
Benzer Terimlerden Farkı
Parça boyutunu büyütmez; parçalar arasındaki anlamsal köprüyü garantiye alır.
İlişkili Terimler (2)
Bilgi Erişimi, RAG ve Vektör Veritabanları
Dense/Sparse retrieval, Vektör indeksleme (HNSW), Rerankers ve RAG pipeline.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#341)Chunk Size
Sonraki Terim (#343)Semantic Chunking