Madde #125NLP & Gömme/sozluk/unigram-language-model-tokenization
Unigram Language Model Tokenization
Türkçe: Tekli Dil Modeli Belirteçleme
Ayrıntılı Tanım
BPE ve WordPiece'in aksine, işe küçük parçaları birleştirerek değil; devasa bir aday alt-kelime havuzuyla başlayıp, dil modelinin kaybını en az artıran gereksiz parçaları **aşağıdan yukarıya budayarak (pruning)** sözlüğü daraltan algoritmadır.
Ne İşe Yarar / Çözülen Problem
Metni tek bir katı şekilde değil, olasılıksal olarak birden fazla şekilde bölebilmeyi sağlar; bu da eğitim sırasında alt-kelime regülarizasyonu (Subword Regularization) yapılmasına imkan tanır.
Nasıl Çalışır? (Teknik & Mekanizma)
Kudo (2018) tarafından geliştirilmiştir. Çok büyük bir sözlük başlatılır. Her adımda bir alt-kelimenin sözlükten çıkarılmasının toplam veri olasılığı üzerindeki etkisi ölçülür; en önemsiz %10-20'lik dilim silinir.
Örnek Senaryo & Pratik Uygulama
Mermer bir bloktan heykel yontmak: Başlangıçta her türlü kelime kombinasyonunu içeren devasa bir kaya kütlesi vardır; usta fazlalıkları yontarak en saf ve mükemmel heykele (sözlüğe) ulaşır.
Benzer Terimlerden Farkı
BPE ve WordPiece "aşağıdan yukarıya inşa" ederken, Unigram "yukarıdan aşağıya budar".
İlişkili Terimler (3)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#124)WordPiece
Sonraki Terim (#126)SentencePiece