Vocabulary

Vocabulary (Vocab)

Türkçe: Kelime Dağarcığı / Sözlük

Ayrıntılı Tanım

Bir doğal dil işleme modelinin veya belirteçleyicinin tanıdığı, anlayabildiği ve matematiksel bir kimlik numarası (token ID) atayabildiği tüm benzersiz kelime, alt-kelime ve özel karakterlerin sonlu listesidir.

Ne İşe Yarar / Çözülen Problem

Bilgisayarın sonsuz dünyadaki metinleri sınırlı bir indeks tablosu üzerinden takip etmesini ve tensör boyutlarını sabitlemesini sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Eğitimden önce veri kümesi taranarak oluşturulur. Genellikle modern LLM'lerde 32.000 ile 128.000 arasında token içerir. Sözlükte olmayan şeyler `<UNK>` (Unknown) olarak işaretlenir.

Örnek Senaryo & Pratik Uygulama

Bir lügat: 1 numara `[PAD]`, 2 numara `[UNK]`, 50257 numara `dondurma`. Model bu lügat dışındaki hiçbir harfi veya sembolü tanıyamaz.

Benzer Terimlerden Farkı

Ham dilin kendisi değil; modelin o dilden çıkardığı resmi envanter listesidir.

İlişkili Terimler (3)

#145

Token

Belirteç / Jeton / Dil Parçacığı

#122

Subword Tokenization

Alt-Kelime Belirteçleme / Parçalama

#123