Chunking

Text Chunking

Türkçe: Metin Parçalama / Bölütleme

Ayrıntılı Tanım

Yüzlerce sayfalık büyük dokümanları, vektör modellerinin işleyebileceği ve anlamsal bütünlüğü olan küçük, yönetilebilir metin bloklarına (parçalara / chunks) ayırma işlemidir.

Ne İşe Yarar / Çözülen Problem

Gömme modellerinin (Embedding models) maksimum token limitini (512 veya 8192 token) aşmasını engeller ve arama motorunun tüm kitabı değil, tam nokta atışı ilgili paragrafı getirmesini sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Karakter, kelime veya token sayısına göre yapılır. Parçalar arasında bilginin bölünmesini önlemek için genellikle bir çakışma payı (Chunk Overlap) bırakılır.

Örnek Senaryo & Pratik Uygulama

Kocaman bir karpuzu tek lokmada yutmaya çalışmak yerine; karpuzu bıçakla düzgün dilimlere ayırarak çatalla rahatça yemek.

Benzer Terimlerden Farkı

Tokenization kelimeleri veya heceleri bölerken; Chunking paragrafları ve mantıksal cümle gruplarını böler.

İlişkili Terimler (3)

Parça Örtüşmesi / Çakışma Payı

#343