Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Quantized Low-Rank Adaptation (QLoRA)
#215 Low-Rank Adaptation (LoRA)#217 Weight-Decomposed Low-Rank Adaptation (DoRA)
Madde #216LLM & Fine-Tuning/sozluk/quantized-low-rank-adaptation-qlora

Quantized Low-Rank Adaptation (QLoRA)

Quantized Low-Rank Adaptation (Dettmers et al., 2023)

Türkçe: Kuantalanmış Düşük Dereceli Uyarlama
Ayrıntılı Tanım
Temel modelin dondurulmuş ağırlıklarını 4-bit NormalFloat (NF4) formatına sıkıştırıp VRAM'e yükleyen, LoRA adaptörlerini ise 16-bit hassasiyetle eğiten ultra verimli tekniktir.
Ne İşe Yarar / Çözülen Problem
Normalde profesyonel sunucu gerektiren 65 milyar parametrelik devasa bir modeli, tek bir 48 GB veya 24 GB'lık GPU'da ince ayar yapılabilir kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
Üç temel buluş içerir: 4-bit NormalFloat (NF4), Çift Kuantalama (Double Quantization) ve Sayfalanmış Bellek (Paged Optimizers).
Örnek Senaryo & Pratik Uygulama
Devasa bir heykeli kurşun döküm yerine ultra hafif strafor kalıba döküp taşımak; sadece vidalarını titanyumdan (16-bit LoRA) sıkmak.
Benzer Terimlerden Farkı
LoRA'da temel model 16-bit bellekte dururken; QLoRA'da model 4-bit'e sıkıştırılarak VRAM tüketimi dörtte bire indirilir.
İlişkili Terimler (2)
#215
Low-Rank Adaptation (LoRA)
Düşük Dereceli Uyarlama (LoRA)
#214
Parameter-Efficient Fine-Tuning (PEFT)
Parametre-Verimli İnce Ayar
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#215)Low-Rank Adaptation (LoRA)
Sonraki Terim (#217)Weight-Decomposed Low-Rank Adaptation (DoRA)