Token

Türkçe: Belirteç / Jeton / Dil Parçacığı

Ayrıntılı Tanım

Bir metnin, dil modeli tarafından işlenmek üzere bölündüğü en küçük anlamlı atomik yapı birimidir (tek bir karakter, bir hece, bir alt-kelime veya tam bir kelime olabilir).

Ne İşe Yarar / Çözülen Problem

İnsan metnini sinir ağlarının matris çarpımlarına sokabileceği sayısal tamsayı kimliklere (Token ID) bağlayan köprüdür.

Nasıl Çalışır? (Teknik & Mekanizma)

Metin belirteçleyiciye girer: `"Merhaba dünya"`

\rightarrow

`["Mer", "haba", " dün", "ya"]`

\rightarrow

Model bunları sayılara çevirir: `[1542, 8901, 452, 120]`.

Örnek Senaryo & Pratik Uygulama

Lunapark jetonu benzetimi: Cebinizdeki kâğıt parayı (insan dili) lunapark gişesinde metal jetonlara (token) çevirirsiniz; makineler sadece o jetonlarla çalışır.

Benzer Terimlerden Farkı

Token kelime demek değildir. İngilizcede ortalama 1 kelime

\approx

1.3 tokendir. Türkçede ekler fazla olduğu için 1 kelime 2-4 token tutabilir.

İlişkili Terimler (2)

#144

Vocabulary

Kelime Dağarcığı / Sözlük

#122

Subword Tokenization

Alt-Kelime Belirteçleme / Parçalama

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#144)Vocabulary

Sonraki Terim (#146)Language Model (LM)