Madde #150NLP & Gömme/sozluk/character-level-embeddings
Character-Level Embeddings
Türkçe: Karakter Düzeyinde Sözcük Gömmeleri
Ayrıntılı Tanım
Metni kelimelerden değil, doğrudan alfabedeki tekil harflerden ve sembollerden başlayarak vektörleştiren; kelime anlamını harf dizilimlerinin oluşturduğu morfolojik kalıplardan öğrenen temsil yöntemidir.
Ne İşe Yarar / Çözülen Problem
Yazım hatalarını (typo), argo kelimeleri ve dilde yeni türetilen kelimeleri sıfır hata ile karşılar; hiçbir kelime sözlük dışı (OOV) kalamaz.
Nasıl Çalışır? (Teknik & Mekanizma)
Alfabede sadece 100-200 civarı karakter olduğu için sözlük boyutu son derece küçüktür. Karakterler 1D Konvolüsyon (CNN) veya çift yönlü RNN'lerden geçirilerek birleşik bir kelime vektörü sentezlenir.
Örnek Senaryo & Pratik Uygulama
Kullanıcının arama çubuğuna yanlışlıkla `ipone` veya `iphne` yazması durumunda bile modelin harf dizilim benzerliğinden bunun `iPhone` olduğunu anında yakalaması.
Benzer Terimlerden Farkı
Kelime gömmeleri anlamı doğrudan kelimeye bağlarken; karakter düzeyi harflerin kombinasyonuna bakar. Daha esnektir ancak girdi dizisi 5-10 kat uzadığı için hesaplama maliyeti artar.
İlişkili Terimler (3)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#149)Stopword Removal
Sonraki Terim (#151)Transformer Architecture