Madde #228LLM & Fine-Tuning/sozluk/dare
DARE
Drop And REscale (DARE)
Türkçe: Düşür ve Yeniden Ölçekle
Ayrıntılı Tanım
İnce ayar yapılmış modelin temel modele göre değişen delta ağırlıklarının %90-99 gibi devasa bir kısmını rastgele sıfırlayıp (Drop), kalanları ölçekleyerek (Rescale) modeli birleştirmeye hazır hale getiren aşırı verimli yöntemdir.
Ne İşe Yarar / Çözülen Problem
İnce ayarlı modellerdeki muazzam parametre fazlalığını (redundancy) kanıtlar; onlarca farklı uzmanın çakışmadan tek bir model çatısı altında toplanmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bernoulli maskesiyle 'nin %90'ı sıfırlanır. Kalan ağırlıklar ile çarpılır. TIES ile birleştirildiğinde (DARE-TIES) rekor kıran modeller üretir.
Örnek Senaryo & Pratik Uygulama
Bir kitaptaki 100 sayfalık notların 90 sayfasını rastgele yırtıp atmanıza rağmen, kalan 10 sayfayı doğru vurguladığınızda kitabın tüm ana fikrinin eksiksiz korunması.
Benzer Terimlerden Farkı
Modelleri seyrekleştirerek (sparsity) birleştirme çakışmalarını kökünden engeller.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#227)TIES Merging
Sonraki Terim (#229)Frankenmerging