Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Weight-Decomposed Low-Rank Adaptation (DoRA)
#216 Quantized Low-Rank Adaptation (QLoRA)#218 Vector-Based Random Matrix Adaptation (VeRA)
Madde #217LLM & Fine-Tuning/sozluk/weight-decomposed-low-rank-adaptation-dora

Weight-Decomposed Low-Rank Adaptation (DoRA)

Türkçe: Ağırlık Ayrıştırmalı Düşük Dereceli Uyarlama
Ayrıntılı Tanım
Modelin ağırlık güncellemesini **büyüklük (magnitude)** ve **yön (direction)** bileşenlerine ayıran; yönü LoRA ile eğitip büyüklüğü bağımsız bir skaler vektörle güncelleyen gelişmiş LoRA varyantıdır.
Ne İşe Yarar / Çözülen Problem
LoRA'nın tam ince ayara (Full Fine-Tuning) göre geride kaldığı karmaşık öğrenme senaryolarında, aradaki performans farkını tamamen kapatır.
Nasıl Çalışır? (Teknik & Mekanizma)
Ağırlık W=mV∥V∥W = m \frac{V}{\|V\|} formülüyle ayrıştırılır. Büyüklük mm doğrudan eğitilirken, yön matrisi VV LoRA (B×AB \times A) ile güncellenir.
Örnek Senaryo & Pratik Uygulama
Bir vektör okunun boyunu (şiddetini) ayrı bir cetvelle, işaret ettiği pusula açısını (yönünü) ayrı bir jiroskopla ayarlamak.
Benzer Terimlerden Farkı
Standart LoRA büyüklük ve yönü aynı anda değiştirmeye çalışırken bocalayabilir; DoRA ikisini ayrıştırarak tam ince ayarın öğrenme dinamiğini birebir taklit eder.
İlişkili Terimler (3)
#215
Low-Rank Adaptation (LoRA)
Düşük Dereceli Uyarlama (LoRA)
#216
Quantized Low-Rank Adaptation (QLoRA)
Kuantalanmış Düşük Dereceli Uyarlama
#214
Parameter-Efficient Fine-Tuning (PEFT)
Parametre-Verimli İnce Ayar
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#216)Quantized Low-Rank Adaptation (QLoRA)
Sonraki Terim (#218)Vector-Based Random Matrix Adaptation (VeRA)