Adapter Layers

Adapter Layers (Houlsby et al., 2019)

Türkçe: Adaptör Katmanları

Ayrıntılı Tanım

Orijinal Transformer bloklarının arasına (özellikle dikkat ve FFN katmanlarının sonrasına) yerleştirilen; girdiyi önce daraltıp sonra tekrar genişleten küçük darboğaz (bottleneck) sinir ağı bloklarıdır.

Ne İşe Yarar / Çözülen Problem

Tarihte PEFT akımını başlatan ilk tekniktir; ana modele dokunmadan yeni görevleri küçük eklenti modüllerle öğretmeyi sağlamıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

x + f(x W_{down}) W_{up}

şeklinde çalışır. Boyut

d \rightarrow m \rightarrow d

daralması yapar (

m \ll d

Örnek Senaryo & Pratik Uygulama

Yurt dışına seyahat ederken prizi değiştirmek yerine araya küçük bir priz dönüştürücü adaptör takmak.

Benzer Terimlerden Farkı

LoRA ağırlıklara doğrudan nüfuz edip matris birleştirmesi yapabilirken; Adaptör Katmanları modele fiziksel ek katman eklediği için çıkarımda az da olsa ek gecikme yaratır.

İlişkili Terimler (3)

#214

Parameter-Efficient Fine-Tuning (PEFT)

Parametre-Verimli İnce Ayar

#215

Low-Rank Adaptation (LoRA)

Düşük Dereceli Uyarlama (LoRA)

#221

Prefix-Tuning

Önek Ayarlaması

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#219)LongLoRA

Sonraki Terim (#221)Prefix-Tuning