Madde #343RAG & Vektör/sozluk/semantic-chunking
Semantic Chunking
Türkçe: Anlamsal Parçalama
Ayrıntılı Tanım
Metni körlemesine sabit 500 kelimelik mekanik cetvellerle bölmek yerine; metni cümle cümle okuyup **ardışık cümleler arasındaki anlamsal benzerlik mesafesini ölçen** ve konu değiştiği anda parçayı kesen akıllı bölütleme yöntemidir.
Ne İşe Yarar / Çözülen Problem
Aynı konunun iki parçaya bölünmesini veya iki tamamen alakasız konunun tek bir parçada çorba olmasını engeller; her parçanın tek bir bağımsız fikri temsil etmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Her cümlenin gömme (embedding) vektörü çıkarılır. Cümle ile Cümle arasındaki kosinüs benzerliği hesaplanır. Benzerlik belirli bir istatistiksel eşiğin altına (örneğin 95. yüzdeliğin altına) düştüğü anda yeni bir parça başlatılır.
Örnek Senaryo & Pratik Uygulama
Bir kitabın editörünün, yazarın yeni bir paragrafa veya yeni bir alt başlığa geçtiğini hissettiği anda sayfayı oradan kesmesi; cümlenin ortasından sayfayı yırtmaması.
Benzer Terimlerden Farkı
Mekanik karakter sayısına bakmaz; dilin doğal akışına ve konu geçişlerine saygı duyar.
İlişkili Terimler (2)
Bilgi Erişimi, RAG ve Vektör Veritabanları
Dense/Sparse retrieval, Vektör indeksleme (HNSW), Rerankers ve RAG pipeline.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#342)Chunk Overlap
Sonraki Terim (#344)Query Expansion