Madde #227LLM & Fine-Tuning/sozluk/ties-merging
TIES Merging
Trimming, Resolving Interference and Sign Merging (TIES)
Türkçe: TIES Birleştirme (Kırpma ve İşaret Çatışması Çözme)
Ayrıntılı Tanım
Birden fazla model birleştirilirken oluşan parametre gürültüsünü ve işaret çelişkilerini (bir model ağırlığı artırırken diğerinin azaltması) üç aşamalı bir algoritmayla temizleyip birleştiren yöntemdir.
Ne İşe Yarar / Çözülen Problem
Çok sayıda model bir araya geldiğinde birbirinin bilgisini sıfırlaması (parazit yapması) felaketini engeller; 4-5 modelin aynı anda birleşebilmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
1. **Trim:** En küçük %p değişimler sıfırlanır (gürültü elenir).
2. **Elect Sign:** Çoğunluğun benimsediği yön ( veya ) seçilir.
3. **Disjoint Merge:** Sadece seçilen yöndeki parametrelerin ortalaması alınır.
Örnek Senaryo & Pratik Uygulama
Bir grup hakemin puanlama yaparken birbirine zıt saçma uç puanları elemesi ve çoğunluğun mutabık kaldığı ortak karara odaklanması.
Benzer Terimlerden Farkı
Parametreler arasındaki yön (işaret) kavgalarını demokratik olarak çözer.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#226)SLERP
Sonraki Terim (#228)DARE