Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/KL Penalty
#234 Reward Hacking#236 Proximal Policy Optimization (PPO)
Madde #235LLM & Fine-Tuning/sozluk/kl-penalty

KL Penalty

Kullback-Leibler (KL) Divergence Penalty

Türkçe: KL Sapma Cezası
Ayrıntılı Tanım
RLHF sırasında pekiştirmeli olarak eğitilen modelin, başlangıçtaki orijinal SFT modelinden aşırı derecede uzaklaşmasını ve dil yeteneklerini kaybetmesini engellemek için kayıp fonksiyonuna eklenen matematiksel fren mekanizmasıdır.
Ne İşe Yarar / Çözülen Problem
Modelin ödül avcılığı (Reward Hacking) yaparak anlamsız metinlere sapmasını engeller; modelin akıcı ve doğal Türkçe/İngilizce konuşma kabiliyetini garantiye alır.
Nasıl Çalışır? (Teknik & Mekanizma)
Eğitilen model (πθ\pi_\theta) ile referans dondurulmuş model (πref\pi_{ref}) arasındaki KL ıraksaması ödül formülünden düşülür: Rfinal(x,y)=R(x,y)−β DKL(πθ(y∣x) ∣∣ πref(y∣x))R_{final}(x, y) = R(x, y) - \beta \, D_{KL}(\pi_\theta(y|x) \,||\, \pi_{ref}(y|x))
Örnek Senaryo & Pratik Uygulama
Bir öğrenciye serbest kompozisyon yazdırırken ayağına elastik bir emniyet halatı bağlamak: Çok uzaklara koşup uçuruma yuvarlanmasına engel olmak.
Benzer Terimlerden Farkı
Bir optimizasyon hedefi değil; modeli ana yörüngede tutan koruyucu bir elastik bariyerdir.
İlişkili Terimler (3)
#234
Reward Hacking
Ödül Avcılığı / Ödül İstismarı
#232
Reinforcement Learning from Human Feedback (RLHF)
İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme
#236
Proximal Policy Optimization (PPO)
Yakınsal Politika Optimizasyonu
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#234)Reward Hacking
Sonraki Terim (#236)Proximal Policy Optimization (PPO)