Madde #126NLP & Gömme/sozluk/sentencepiece
SentencePiece
Türkçe: Cümle Parçalayıcı (Dilden Bağımsız Belirteçleyici)
Ayrıntılı Tanım
Boşluk karakterini (` `) de sıradan bir sembol (genellikle `_` karakteri) olarak kabul eden, dillerin kendine has boşluk veya noktalama kurallarına bağımlı olmadan çalışan açık kaynaklı belirteçleme kütüphanesidir.
Ne İşe Yarar / Çözülen Problem
Çince, Japonca veya Tayca gibi kelimeler arasında boşluk bulunmayan dillerde klasik belirteçleyicilerin çökmesi sorununu çözer; dilden bağımsız (language-agnostic) evrensel tokenization sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Ham metni doğrudan bir bayt dizisi olarak ele alır. Önceden metni küçük harfe çevirme veya boşluktan bölme (pre-tokenization) yapmaz. Altında BPE veya Unigram algoritmalarını çalıştırabilir. Çözüldüğünde (detokenize) `_` sembolleri doğrudan boşluğa geri çevrilir.
Örnek Senaryo & Pratik Uygulama
Çince bir cümlenin ve Türkçe sondan eklemeli bir cümlenin aynı çarktan geçip hiçbir kural hatası vermeden pürüzsüzce parçalanması.
Benzer Terimlerden Farkı
Bir algoritma türünden ziyade; BPE ve Unigram'ı dil bağımsız şekilde paketleyen komple bir yazılım mimarisidir (T5, LLaMA gibi modeller SentencePiece altyapısını kullanır).
İlişkili Terimler (3)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#125)Unigram Language Model Tokenization
Sonraki Terim (#127)One-Hot Encoding