Proximal Policy Optimization (PPO)

Proximal Policy Optimization

Türkçe: Yakınsal Politika Optimizasyonu

Ayrıntılı Tanım

Politika güncellemeleri yapılırken yeni politikanın eski politikadan çok fazla uzaklaşmasını kırpma (clipping) mekanizmasıyla engelleyen; kararlı, güvenilir ve RLHF'in uzun süre standardı olmuş pekiştirmeli öğrenme algoritmasıdır.

Ne İşe Yarar / Çözülen Problem

Klasik politika gradyanlarındaki devasa adımların modeli geri dönülemez şekilde çökertmesi felaketini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Olasılık oranı

r_t(\theta) = \frac{\pi_\theta(a|s)}{\pi_{\theta_{eski}}(a|s)}

hesaplanır. Hedef fonksiyon bu oranı

[1-\epsilon, 1+\epsilon]

aralığına zorla kırpar:

L^{CLIP}(\theta) = \hat{\mathbb{E}} \left[ \min(r_t \hat{A}_t, \, \text{clip}(r_t, 1-\epsilon, 1+\epsilon) \hat{A}_t) \right]

Örnek Senaryo & Pratik Uygulama

Uçurum kenarında yürüyen birinin adımlarını en fazla 30 santimetreyle sınırlandırması; ne kadar heyecanlanırsa heyecanlansın asla kontrolsüz büyük bir adım atamaması.

Benzer Terimlerden Farkı

Çok güvenilirdir ancak aynı anda 4 ayrı modeli (Aktör, Referans, Eleştirmen, Ödül) bellekte tutmayı gerektirdiği için inanılmaz hantaldır.

İlişkili Terimler (4)

#68

Actor-Critic

Aktör - Eleştirmen Mimarisi

#232

Reinforcement Learning from Human Feedback (RLHF)

İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme

#239

Direct Preference Optimization (DPO)

Doğrudan Tercih Optimizasyonu