Language Model (LM)

Türkçe: Dil Modeli

Ayrıntılı Tanım

Bir dildeki kelime dizilerinin gerçekleşme olasılığını veya verilen bir kelime dizisinden sonra hangi kelimenin geleceğinin olasılık dağılımını hesaplayan matematiksel sistemdir.

Ne İşe Yarar / Çözülen Problem

Bilgisayara dilin gramerini, mantığını, söz dizimini ve dünya bilgisini olasılıklar üzerinden öğretir.

Nasıl Çalışır? (Teknik & Mekanizma)

Zincir kuralı ile bir cümlenin olasılığını hesaplar:

P(w_1, w_2, ..., w_n) = \prod_{i=1}^n P(w_i | w_1, ..., w_{i-1})

İster n-gram frekanslarıyla ister derin sinir ağlarıyla hesaplansın, temel hedef doğru kelime sıralamasına yüksek olasılık vermektir.

Örnek Senaryo & Pratik Uygulama

Model iki cümleyi tartar: 1. "Kedi süt içti"

\rightarrow P = 0.05

(Yüksek olasılık, doğal dil). 2. "Süt kedi içti masa"

\rightarrow P = 0.000001

(Çok düşük olasılık, anlamsız dil).

Benzer Terimlerden Farkı

Salt bir metin sınıflandırıcı değil; dilin akışkanlığını ve olasılıksal doğasını modelleyen ana çatıdır.

İlişkili Terimler (3)

#147

Masked Language Modeling

Maskeli Dil Modellemesi

#148

Causal Language Modeling

Nedensel / Otoregresif Dil Modellemesi

#139

GPT

Üretken Ön-Eğitimli Dönüştürücü

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#145)Token

Sonraki Terim (#147)Masked Language Modeling