Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Vector-Based Random Matrix Adaptation (VeRA)
#217 Weight-Decomposed Low-Rank Adaptation (DoRA)#219 LongLoRA
Madde #218LLM & Fine-Tuning/sozluk/vector-based-random-matrix-adaptation-vera

Vector-Based Random Matrix Adaptation (VeRA)

Vector-based Random Matrix Adaptation (VeRA)

Türkçe: Vektör Tabanlı Rastgele Matris Uyarlaması
Ayrıntılı Tanım
Tüm katmanlarda **tek bir rastgele dondurulmuş AA ve BB matris çiftini ortaklaşa kullanan**; her katman için sadece bu matrisleri ölçekleyen iki minik vektör (dd ve bb) eğiten aşırı hafif PEFT yöntemidir.
Ne İşe Yarar / Çözülen Problem
LoRA'nın parametre sayısını bile 10 kat daha azaltır; modelin eğitilebilir parametrelerini megabaytlardan kilobaytlar seviyesine düşürür.
Nasıl Çalışır? (Teknik & Mekanizma)
ΔW=Λd⋅B⋅Λb⋅A\Delta W = \Lambda_d \cdot B \cdot \Lambda_b \cdot A. Burada AA ve BB rastgele tohumla dondurulur; sadece Λd\Lambda_d ve Λb\Lambda_b köşegen vektörleri eğitilir.
Örnek Senaryo & Pratik Uygulama
Bir binadaki 100 odanın kapı kilitlerini değiştirmek yerine; ana kilidi sabit tutup her odaya sadece tek bir minik şifre kartı vermek.
Benzer Terimlerden Farkı
LoRA her katmanda ayrı AA ve BB matrisleri tutarken; VeRA matrisleri küresel olarak dondurur ve sadece satır/sütun ölçekleme vektörlerini öğrenir.
İlişkili Terimler (2)
#215
Low-Rank Adaptation (LoRA)
Düşük Dereceli Uyarlama (LoRA)
#214
Parameter-Efficient Fine-Tuning (PEFT)
Parametre-Verimli İnce Ayar
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#217)Weight-Decomposed Low-Rank Adaptation (DoRA)
Sonraki Terim (#219)LongLoRA