Group Relative Policy Optimization (GRPO)

Group Relative Policy Optimization (DeepSeek-Math / R1)

Türkçe: Grup Göreli Politika Optimizasyonu

Ayrıntılı Tanım

DeepSeek tarafından geliştirilen; PPO'daki devasa bellek tüketen Eleştirmen (Critic) modelini tamamen çöpe atan ve bir soruya üretilen **bir grup adayın birbirine göre bağıl başarısını** normalize ederek avantaj hesaplayan pekiştirmeli öğrenme algoritmasıdır.

Ne İşe Yarar / Çözülen Problem

Eleştirmen modeli devreden çıkararak VRAM tüketimini dramatik biçimde düşürür; DeepSeek-R1 gibi muhakeme (reasoning) modellerinin saf pekiştirmeli öğrenmeyle eğitilmesinin önünü açmıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

Model tek bir komut için

G

adet farklı çıktı üretir. Bu çıktıların aldıkları ödüllerin grup içi ortalaması ve standart sapması alınarak avantaj hesaplanır:

A_i = \frac{r_i - \text{mean}(\{r\})}{\text{std}(\{r\})}

Örnek Senaryo & Pratik Uygulama

Bir sınıftaki öğrencilere aynı matematik problemini çözdürmek: Dışarıdan pahalı bir müfettiş getirmek yerine, öğrencilerin cevaplarını birbirleriyle kıyaslayıp sınıf ortalamasının üzerine çıkanları ödüllendirmek.

Benzer Terimlerden Farkı

PPO'nun ağır Eleştirmen ağı yerine; grup istatistiğinin matematiksel sadeliğini koyar.

İlişkili Terimler (2)

#236

Proximal Policy Optimization (PPO)

Yakınsal Politika Optimizasyonu

#243

Reinforcement Learning with Verifiable Rewards (RLVR)

Doğrulanabilir Ödüllerle Pekiştirmeli Öğrenme

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#241)SimPO

Sonraki Terim (#243)Reinforcement Learning with Verifiable Rewards (RLVR)