Value Model

Value Model (State-Value Network)

Türkçe: Değer Modeli

Ayrıntılı Tanım

PPO algoritmasında, üretilmekte olan bir metnin o anki kısmi durumunun (

s_t

) gelecekte toplamda ne kadar yüksek bir ödül getireceğini her token adımında tahmin eden dahili kestirim ağıdır.

Ne İşe Yarar / Çözülen Problem

Aktör modelin her kelime seçiminde avantajı (Advantage) hesaplayabilmesi için zemin referansı (baseline) sağlar; varyansı düşürür.

Nasıl Çalışır? (Teknik & Mekanizma)

Cümlenin başından o anki

t

. kelimeye kadar olan bağlamı alır ve skaler bir

V(s_t)

değeri üretir. Hedef, cümlenin sonunda ödül modelinden gelecek nihai puana yaklaşmaktır.

Örnek Senaryo & Pratik Uygulama

Bir futbol maçının 30. dakikasında sahadaki dizilişe bakıp "Bu takım maçı %70 ihtimalle kazanır" diyen canlı istatistik motoru.

Benzer Terimlerden Farkı

Ödül Modeli sadece bitmiş nihai metne tek bir not verirken; Değer Modeli metin yazılırken her kelimede geleceği tahmin eder.

İlişkili Terimler (3)

Ait Olduğu Kategori

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde