Odds Ratio Preference Optimization (ORPO)

Odds Ratio Preference Optimization (Hong et al., 2024)

Türkçe: Oranlar Orantısı Tercih Optimizasyonu

Ayrıntılı Tanım

Denetimli İnce Ayar (SFT) ile Tercih Hizalamasını (DPO/RLHF) iki ayrı aşama olmaktan çıkarıp, **tek bir eğitim sürecinde birleştiren** ve referans modele bile ihtiyaç duymayan monolitik yöntemdir.

Ne İşe Yarar / Çözülen Problem

Önce SFT yapıp ardından hizalama yapma külfetini bitirir; eğitim süresini ve bellek ihtiyacını yarı yarıya düşürür.

Nasıl Çalışır? (Teknik & Mekanizma)

Standart SFT kaybına, tercih edilen yanıtın tercih edilmeyen yanıta olan oranlar oranını (Odds Ratio) maksimize eden küçük bir ceza terimi ekler:

\mathcal{L}_{ORPO} = \mathcal{L}_{SFT} + \lambda \, \mathcal{L}_{OR}

Örnek Senaryo & Pratik Uygulama

Bir öğrenciye yeni bir konuyu anlatırken aynı anda sınavda hangi tuzak şıklara düşmemesi gerektiğini de tek bir derste eşzamanlı öğretmek.

Benzer Terimlerden Farkı

DPO dondurulmuş bir referans modeli hafızada tutmak zorundayken; ORPO referans modele ihtiyaç duymaz, tek bir model üzerinde biter.

İlişkili Terimler (3)

#239

Direct Preference Optimization (DPO)

Doğrudan Tercih Optimizasyonu

#241

SimPO

Basit Tercih Optimizasyonu

#208

Supervised Fine-Tuning (SFT)

Denetimli İnce Ayar

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#239)Direct Preference Optimization (DPO)

Sonraki Terim (#241)SimPO