Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Parameter-Efficient Fine-Tuning (PEFT)
#213 Regularization#215 Low-Rank Adaptation (LoRA)
Madde #214LLM & Fine-Tuning/sozluk/parameter-efficient-fine-tuning-peft

Parameter-Efficient Fine-Tuning (PEFT)

Türkçe: Parametre-Verimli İnce Ayar
Ayrıntılı Tanım
Büyük dil modellerinin yüz milyarlarca parametresini dondurarak (freeze), modelin yalnızca %1'inden bile az olan küçük bir ek parametre grubunu eğiterek tam ince ayar kalitesine ulaşmayı sağlayan yöntemler ailesidir.
Ne İşe Yarar / Çözülen Problem
70B bir modeli tam eğitmek için gereken yüzlerce GB'lık VRAM ihtiyacını ve her görev için devasa modelleri ayrı ayrı diskte saklama zorunluluğunu ortadan kaldırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Orijinal WW matrisleri kilitlenir. Modele ya küçük adaptör katmanları eklenir ya da ağırlık farkları düşük dereceli matrislerle (ΔW=A×B\Delta W = A \times B) temsil edilir.
Örnek Senaryo & Pratik Uygulama
1000 sayfalık ansiklopedinin sayfalarını baştan yazmak yerine; aralara küçük yapışkan sarı post-it notları yapıştırıp sadece o notları değiştirmek.
Benzer Terimlerden Farkı
Full Fine-Tuning tüm ağırlıkları güncellerken; PEFT parametrelerin %99'una hiç dokunmaz.
İlişkili Terimler (4)
#215
Low-Rank Adaptation (LoRA)
Düşük Dereceli Uyarlama (LoRA)
#216
Quantized Low-Rank Adaptation (QLoRA)
Kuantalanmış Düşük Dereceli Uyarlama
#221
Prefix-Tuning
Önek Ayarlaması
#220
Adapter Layers
Adaptör Katmanları
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#213)Regularization
Sonraki Terim (#215)Low-Rank Adaptation (LoRA)