Direct Preference Optimization (DPO)

Direct Preference Optimization (Rafailov et al., Stanford 2023)

Türkçe: Doğrudan Tercih Optimizasyonu

Ayrıntılı Tanım

Karmaşık pekiştirmeli öğrenme (PPO), ayrı bir ödül modeli ve değer modeli kullanma zorunluluğunu tamamen ortadan kaldırarak; insan tercihlerini **doğrudan tek bir basit sınıflandırma kaybı (Cross-Entropy türevi)** ile modele öğreten devrimci hizalama yöntemidir.

Ne İşe Yarar / Çözülen Problem

RLHF'in devasa GPU hantallığını, kararsız eğitim süreçlerini ve hiperparametre kabusunu yıkar; normal bir ince ayar (SFT) kolaylığında hizalama sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Matematiksel bir hileyle ödül fonksiyonu doğrudan dil modelinin kendi olasılık oranları cinsinden kapalı formda ifade edilir:

\mathcal{L}_{DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]

Örnek Senaryo & Pratik Uygulama

Yüzme öğrenmek için aracı koçlar, sensörler ve kameralar tutmak yerine (PPO); iyi yüzücünün ve kötü yüzücünün videosunu yan yana koyup doğrudan iyi olanın hareketini taklit etmek (DPO).

Benzer Terimlerden Farkı

Ayrı bir ödül modeli eğitmez, pekiştirmeli öğrenme döngüsü işletmez; doğrudan tercih verisi üzerinden kapalı formda çalışır.

İlişkili Terimler (4)

#232

Reinforcement Learning from Human Feedback (RLHF)

İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme

#236

Proximal Policy Optimization (PPO)

Yakınsal Politika Optimizasyonu

#240

Odds Ratio Preference Optimization (ORPO)

Oranlar Orantısı Tercih Optimizasyonu