Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Reinforcement Learning from Human Feedback (RLHF)

Madde #232LLM & Fine-Tuning/sozluk/reinforcement-learning-from-human-feedback-rlhf

Reinforcement Learning from Human Feedback (RLHF)

Reinforcement Learning from Human Feedback

Türkçe: İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme

Ayrıntılı Tanım

Dil modelinin ürettiği metinlerin insan değerlerine, güvenliğe ve doğruluğa uygunluğunu denetlemek için; insan tercihlerinden bir Ödül Modeli eğitip bu ödülü PPO algoritmasıyla maksimize eden hizalama (alignment) sürecidir.

Ne İşe Yarar / Çözülen Problem

ChatGPT devrimini başlatan temel sırdır; ham modellerin zehirli (toxic), tehlikeli, ırkçı yanıtlar vermesini veya yalan söylemesini engelleyip yardımsever ve zararsız bir asistana dönüşmesini sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Üç aşamadan oluşur: 1. Denetimli İnce Ayar (SFT). 2. İnsan tercihlerini modelleyen Ödül Modeli (Reward Model) eğitimi. 3. PPO algoritması ile modelin ödül modelinden en yüksek puanı alacak şekilde pekiştirilmesi.

Örnek Senaryo & Pratik Uygulama

Yaramaz ve başına buyruk bir köpeğe (ham LLM); doğru bir hareket yaptığında ödül maması vererek, yanlış bir hareketinde uyararak sosyal hayata uyumlu eğitimli bir rehber köpek haline getirmek.

Benzer Terimlerden Farkı

SFT sadece taklit etmeyi öğretirken; RLHF hangi yanıtın "daha iyi ve daha güvenli" olduğunu ayırt etmeyi öğretir.

İlişkili Terimler (4)

#233

Reward Model

Ödül Modeli / Tercih Modeli

#236

Proximal Policy Optimization (PPO)

Yakınsal Politika Optimizasyonu

#239

Direct Preference Optimization (DPO)

Doğrudan Tercih Optimizasyonu