SLERP

Spherical Linear Interpolation (SLERP)

Türkçe: Küresel Doğrusal İnterpolasyon

Ayrıntılı Tanım

İki modelin ağırlık vektörlerini düz bir çizgi üzerinde basitçe toplamak yerine; yüksek boyutlu hiper-küre yüzeyi boyunca açısal oranlarını koruyarak pürüzsüzce harmanlayan birleştirme tekniğidir.

Ne İşe Yarar / Çözülen Problem

Basit aritmetik ortalamanın ağırlıkların normunu bozarak modelin kafasını karıştırması ve yeteneklerini köreltmesi sorununu çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Vektörler arasındaki açı

\theta

hesaplanır:

\text{SLERP}(v_1, v_2; t) = \frac{\sin((1-t)\theta)}{\sin\theta} v_1 + \frac{\sin(t\theta)}{\sin\theta} v_2

Örnek Senaryo & Pratik Uygulama

Dünya küresi üzerinde İstanbul'dan Tokyo'ya giderken yerin altından tünel kazmak (lineer ortalama) yerine, kürenin yüzeyindeki en kısa kavisli rotayı (SLERP) takip etmek.

Benzer Terimlerden Farkı

Ağırlıkların büyüklüğünü (magnitude) ve yönünü geometrik olarak korur; açık kaynak topluluğunun en sevdiği birleştirme yöntemidir.

İlişkili Terimler (3)

TIES Birleştirme (Kırpma ve İşaret Çatışması Çözme)

#228

DARE

Düşür ve Yeniden Ölçekle

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#225)Model Merging

Sonraki Terim (#227)TIES Merging