Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/SimPO
#240 Odds Ratio Preference Optimization (ORPO)#242 Group Relative Policy Optimization (GRPO)
Madde #241LLM & Fine-Tuning/sozluk/simpo

SimPO

Simple Preference Optimization (Meng et al., 2024)

Türkçe: Basit Tercih Optimizasyonu
Ayrıntılı Tanım
DPO'nun referans model bağımlılığını kaldıran ve uzunluk sapmasını (length bias) engellemek için doğrudan üretilen tokenların **ortalama log-olasılığını ve hedef bir ödül marjını (γ\gamma)** kullanan son nesil tercihleme algoritmasıdır.
Ne İşe Yarar / Çözülen Problem
Modellerin sırf yüksek puan almak için gereksiz yere uzun ve laf kalabalığı içeren yanıtlar üretmesini engeller; DPO'dan daha hızlı ve daha yüksek performanslıdır.
Nasıl Çalışır? (Teknik & Mekanizma)
Ödül, dizinin uzunluğuna bölünerek normalize edilir: r(x,y)=β∣y∣log⁡πθ(y∣x)r(x, y) = \frac{\beta}{|y|} \log \pi_\theta(y|x). Kayıp fonksiyonu iki ödül arasına sabit bir marjin koyar: LSimPO=−E[log⁡σ(r(x,yw)−r(x,yl)−γ)]\mathcal{L}_{SimPO} = -\mathbb{E} \left[ \log \sigma \left( r(x, y_w) - r(x, y_l) - \gamma \right) \right]
Örnek Senaryo & Pratik Uygulama
Bir kompozisyon yarışmasında sadece güzel yazana değil, aynı zamanda lafı uzatmadan en öz ve net anlatan yarışmacıya ekstra puan veren adil bir jüri.
Benzer Terimlerden Farkı
Referans modelsizdir, uzunluk normalizasyonu içerir ve kesin bir hedef marjinle çalışır.
İlişkili Terimler (3)
#239
Direct Preference Optimization (DPO)
Doğrudan Tercih Optimizasyonu
#240
Odds Ratio Preference Optimization (ORPO)
Oranlar Orantısı Tercih Optimizasyonu
#42
Margin Maximization
Marjin Maksimizasyonu (Güvenlik Aralığı Büyütme)
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#240)Odds Ratio Preference Optimization (ORPO)
Sonraki Terim (#242)Group Relative Policy Optimization (GRPO)