Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Reward Model
#232 Reinforcement Learning from Human Feedback (RLHF)#234 Reward Hacking
Madde #233LLM & Fine-Tuning/sozluk/reward-model

Reward Model

Reward Model (Preference Model)

Türkçe: Ödül Modeli / Tercih Modeli
Ayrıntılı Tanım
Bir komut ve bu komuta verilmiş bir model yanıtını girdi olarak alıp, yanıtın insan standartlarına göre ne kadar kaliteli, doğru ve güvenli olduğunu tek bir skaler sayısal puana (örneğin +2.5+2.5 veya −1.8-1.8) dönüştüren hakem sinir ağıdır.
Ne İşe Yarar / Çözülen Problem
RLHF aşamasında her adımda binlerce yanıtı değerlendirmek için gerçek insanları bilgisayar başında 7/24 oturtma imkansızlığını çözer; insan zevkini ve yargısını dijitalleştirir.
Nasıl Çalışır? (Teknik & Mekanizma)
İnsanlara iki yanıt (ywy_w ve yly_l) sunulur. İnsanın tercih ettiği yanıta daha yüksek puan vermesi için Bradley-Terry ikili karşılaştırma modeliyle eğitilir: L=−E[log⁡σ(r(x,yw)−r(x,yl))]\mathcal{L} = -\mathbb{E} \left[ \log \sigma(r(x, y_w) - r(x, y_l)) \right]
Örnek Senaryo & Pratik Uygulama
Buz pateni yarışmasındaki jüri üyesi: Sporcunun hareketlerini izleyip elindeki panoya "9.8" veya "4.2" yazıp kaldıran uzman hakem.
Benzer Terimlerden Farkı
Metin üretmez; sadece üretilmiş bir metne ahlaki ve kalite karne notu verir.
İlişkili Terimler (2)
#232
Reinforcement Learning from Human Feedback (RLHF)
İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme
#234
Reward Hacking
Ödül Avcılığı / Ödül İstismarı
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#232)Reinforcement Learning from Human Feedback (RLHF)
Sonraki Terim (#234)Reward Hacking