Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Critic Model
#237 Value Model#239 Direct Preference Optimization (DPO)
Madde #238LLM & Fine-Tuning/sozluk/critic-model

Critic Model

Türkçe: Eleştirmen Modeli
Ayrıntılı Tanım
Actor-Critic ve PPO mimarilerinde Değer Modeli ile eşanlamlı kullanılan; ana üretici modelin (Aktör) attığı adımların kalitesini değerlendirip ona zamansal fark hatası karnesi çıkaran modüldür.
Ne İşe Yarar / Çözülen Problem
Aktörün tek başına körlemesine deneme yapmasını engeller; her eylemin beklenen değerden ne kadar daha iyi veya kötü olduğunu fısıldar.
Nasıl Çalışır? (Teknik & Mekanizma)
Avantaj fonksiyonunu hesaplar: A(s,a)=Q(s,a)−V(s)A(s, a) = Q(s, a) - V(s). Eğer eylem beklenenden iyiyse aktör ödüllendirilir.
Örnek Senaryo & Pratik Uygulama
Şarkı söyleyen bir yarışmacının (Aktör) hemen karşısında oturan ve her nakarattan sonra mimikleriyle performansı puanlayan jüri başkanı (Eleştirmen).
Benzer Terimlerden Farkı
Aktör eylemi üretir; Eleştirmen ise sadece eylemi eleştirir ve puanlar.
İlişkili Terimler (3)
#68
Actor-Critic
Aktör - Eleştirmen Mimarisi
#237
Value Model
Değer Modeli
#236
Proximal Policy Optimization (PPO)
Yakınsal Politika Optimizasyonu
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#237)Value Model
Sonraki Terim (#239)Direct Preference Optimization (DPO)