WordPiece

WordPiece Tokenization

Türkçe: WordPiece Belirteçleme

Ayrıntılı Tanım

Google tarafından geliştirilen; alt-kelimeleri birleştirirken sadece frekansa bakmak yerine, iki parçanın birleşmesinin dil modelinin olabilirlik (likelihood) değerini ne kadar artırdığını maksimize eden belirteçleme algoritmasıdır.

Ne İşe Yarar / Çözülen Problem

BERT modelinin temel belirteçleme motorudur; dildeki anlamsal bütünlüğü koruyarak sözlük boyutunu optimize eder.

Nasıl Çalışır? (Teknik & Mekanizma)

Başlangıçta tekil karakterlerle başlar. İki parçayı (

A

B

) birleştirmeye karar verirken

\frac{P(AB)}{P(A)P(B)}

oranını inceler. Kelimenin başına gelmeyen alt parçaların önüne özel `##` öneki (prefix) koyar (örn: `play` ve `##ing`).

Örnek Senaryo & Pratik Uygulama

Ekranda `unbelievable` kelimesinin `un` + `##believ` + `##able` şeklinde parçalanması ve `##` sembolünün "ben bağımsız bir kelime değilim, öndeki parçanın uzantısıyım" diye bayrak sallaması.

Benzer Terimlerden Farkı

BPE en sık geçen çifte odaklanırken, WordPiece dil modelinin olasılık puanını en çok artıran çifte odaklanır ve `##` sentaksını kullanır.

İlişkili Terimler (3)

#123

Byte-Pair Encoding (BPE)

Bayt-Çifti Kodlaması

#138

BERT

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

#126

SentencePiece

Cümle Parçalayıcı (Dilden Bağımsız Belirteçleyici)

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#123)Byte-Pair Encoding (BPE)

Sonraki Terim (#125)Unigram Language Model Tokenization