Prefix-Tuning

Prefix-Tuning (Li & Liang, 2021)

Türkçe: Önek Ayarlaması

Ayrıntılı Tanım

Modelin parametrelerini tamamen dondurarak; her Transformer katmanındaki Key (

K

) ve Value (

V

) tensörlerinin başına serbestçe öğrenilebilir sürekli sanal token vektörleri (önekler) ekleyen PEFT yöntemidir.

Ne İşe Yarar / Çözülen Problem

Kelime seviyesinde komut (prompt) mühendisliği yapmak yerine, matematiksel olarak optimize edilmiş en mükemmel sanal komutları modelin gizli katmanlarına yerleştirir.

Nasıl Çalışır? (Teknik & Mekanizma)

Dikkat işlemi yapılırken

K

V

matrislerinin başına

P_K

P_V

önekleri yapıştırılır (prepend):

[\text{Prefix}; K]

. Geriye yayılımda sadece bu önekler güncellenir.

Örnek Senaryo & Pratik Uygulama

Bir aktörün kulağına fısıldanan ve sahne boyunca onun tüm tavrını değiştiren görünmez sihirli fısıltılar.

Benzer Terimlerden Farkı

Prompt Tuning sadece girdi katmanına sanal token koyarken; Prefix-Tuning ağın tüm derin katmanlarına sanal tokenlar yerleştirir.

İlişkili Terimler (2)

#214

Parameter-Efficient Fine-Tuning (PEFT)

Parametre-Verimli İnce Ayar

#168

KV-Cache

Anahtar-Değer Önbelleklemesi

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#220)Adapter Layers

Sonraki Terim (#222)Synthetic Data