Madde #123NLP & Gömme/sozluk/byte-pair-encoding-bpe
Byte-Pair Encoding (BPE)
Byte-Pair Encoding
Türkçe: Bayt-Çifti Kodlaması
Ayrıntılı Tanım
Başlangıçta tüm metni tek tek karakterlere bölüp, metin külliyatında yan yana en sık gelen karakter çiftlerini ardışık olarak birleştirerek (merge) belirli bir sözlük boyutuna ulaşana kadar kelime parçacıkları üreten algoritmadır.
Ne İşe Yarar / Çözülen Problem
GPT ailesi (GPT-2, GPT-4) ve RoBERTa gibi dev modellerin sözlük dağarcığını optimize eder; dildeki tüm türevleri kompakt bir sözlükte toplar.
Nasıl Çalışır? (Teknik & Mekanizma)
1. Tüm karakterler temel sözlüğe alınır.
2. En sık yan yana gelen çift (örneğin `e` ve `r` `er`) bulunur ve yeni bir sembol olarak eklenir.
3. Hedef sözlük hacmine (örneğin 50.000 token) ulaşılana kadar birleştirme kuralları kaydedilir.
Örnek Senaryo & Pratik Uygulama
Ekranda `l o w`, `l o w e r`, `n e w e s t` kelimelerinin belirmesi. Algoritmanın en çok tekrar eden `l` ve `o`'yu birleştirip `lo`, ardından `low` yapmasını gösteren adım adım birleşme animasyonu.
Benzer Terimlerden Farkı
Orijinalinde bir veri sıkıştırma algoritmasıdır (Gage 1994); Sennrich vd. (2015) tarafından NLP'ye uyarlanmıştır. Olasılıksal değil, saf frekans sayımına dayalıdır.
İlişkili Terimler (2)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#122)Subword Tokenization
Sonraki Terim (#124)WordPiece