Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Causal Language Modeling (CLM)
#189 Masked Language Modeling (MLM)#191 Scaling Laws
Madde #190LLM & Fine-Tuning/sozluk/causal-language-modeling-clm

Causal Language Modeling (CLM)

Causal Language Modeling (Autoregressive Pre-Training)

Türkçe: Nedensel / Otoregresif Dil Modellemesi
Ayrıntılı Tanım
Modelin, gelecekteki kelimeleri kesinlikle görmeden, sadece kendisinden önce gelen kelimelere bakarak bir sonraki en olası kelimeyi tahmin etmesi mantığıyla yürütülen tek yönlü ön-eğitim sürecidir.
Ne İşe Yarar / Çözülen Problem
Modele akıcı metin tamamlama, kod yazma, mantıksal argüman kurma ve diyalog sürdürme yeteneği kazandırır; GPT serisinin ve modern üretken LLM'lerin motorudur.
Nasıl Çalışır? (Teknik & Mekanizma)
Causal Masking kullanılarak dikkat matrisinin üst üçgeni kapatılır. Zincirleme koşullu olasılık maksimize edilir: max⁡θ∑ilog⁡P(xi∣x1,x2,…,xi−1;θ)\max_\theta \sum_i \log P(x_i \mid x_1, x_2, \dots, x_{i-1}; \theta)
Örnek Senaryo & Pratik Uygulama
Bir roman yazarının daktilo başında oturup yazdığı her harften sonra cümlenin sıradaki mantıklı kelimesini dökmesi.
Benzer Terimlerden Farkı
MLM kelime analizi yaparken; CLM sıradaki adımı inşa eder ve serbest metin üretimi yapabilir.
İlişkili Terimler (3)
#139
GPT
Üretken Ön-Eğitimli Dönüştürücü
#189
Masked Language Modeling (MLM)
Maskeli Dil Modellemesi
#161
Causal Masking
Nedensel Maskeleme / Geleceği Görmezden Gelme Maskesi
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#189)Masked Language Modeling (MLM)
Sonraki Terim (#191)Scaling Laws