Madde #148NLP & Gömme/sozluk/causal-language-modeling
Causal Language Modeling
Causal Language Modeling (CLM / Autoregressive Modeling)
Türkçe: Nedensel / Otoregresif Dil Modellemesi
Ayrıntılı Tanım
Bir metin dizisinde gelecekteki adımları kesinlikle görmeden, sadece kendisinden önce gelen kelimelere bakarak bir sonraki kelimeyi adım adım tahmin etme temeline dayanan tek yönlü dil modellemesidir.
Ne İşe Yarar / Çözülen Problem
Akıcı, tutarlı ve sonsuza kadar uzatılabilen metin üretimi (metin tamamlama, hikâye yazma, kod üretme) kabiliyeti kazandırır (GPT modellerinin temel motoru).
Nasıl Çalışır? (Teknik & Mekanizma)
Gelecekteki tokenlar bir dikkat maskesi (causal mask) ile örtülür. anındaki tahmin yalnızca girdilerine dayanır. Model her adımda bir token üretip onu tekrar kendi girdisine ekler.
Örnek Senaryo & Pratik Uygulama
Canlı yayında doğaçlama konuşan bir hatip: Ağzından çıkan her kelimeden sonra bir sonraki kelimeyi anlık olarak kurması; henüz söylemediği gelecekteki kelimeleri bilmesinin imkansız olması.
Benzer Terimlerden Farkı
Masked LM tüm metni aynı anda görüp anlama yaparken; Causal LM zamansal nedenselliğe (soldan sağa) sadık kalarak metin üretir.
İlişkili Terimler (3)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#147)Masked Language Modeling
Sonraki Terim (#149)Stopword Removal