Subword Tokenization

Türkçe: Alt-Kelime Belirteçleme / Parçalama

Ayrıntılı Tanım

Bir metni ne tamamen boşluklardan kelime kelime ne de tek tek harf harf bölmek yerine; dili en sık geçen kökler, ekler ve anlamlı hece parçacıklarına bölen modern belirteçleme yöntemidir.

Ne İşe Yarar / Çözülen Problem

Kelime bazlı yöntemlerdeki "Sözlük Dışı Kelime" (Out-of-Vocabulary - OOV) krizini ve devasa sözlük boyutlarını; karakter bazlı yöntemlerdeki aşırı uzun dizi ve anlamsızlık problemini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Sık geçen tam kelimeler (örn: `araba`) tek parça tutulurken, nadir veya türetilmiş kelimeler istatistiksel frekanslarına göre alt parçalara bölünür: `kitap` + `lık` + `lar`.

Örnek Senaryo & Pratik Uygulama

LEGO benzetimi: Her oyuncak için devasa yekpare kalıplar dökmek yerine (kelime bazlı) ya da atomik plastik tozlarıyla uğraşmak yerine (karakter bazlı); birbiriyle birleşebilen orta boy akıllı modüler bloklar (alt-kelimeler) kullanmak.

Benzer Terimlerden Farkı

Kelime belirteçleme yeni bir çekim eki görünce kilitlenirken, alt-kelime belirteçleme dili parçalara ayırarak bilinmeyen her kelimeyi tanıdık hecelerden yeniden kurabilir.

İlişkili Terimler (4)

#123

Byte-Pair Encoding (BPE)

Bayt-Çifti Kodlaması

#124

WordPiece

WordPiece Belirteçleme

#126

SentencePiece

Cümle Parçalayıcı (Dilden Bağımsız Belirteçleyici)

#144

Vocabulary