LongLoRA

LongLoRA (Chen et al., 2023)

Türkçe: Uzun Bağlamlı LoRA

Ayrıntılı Tanım

Büyük dil modellerinin bağlam penceresini (örneğin 4K'dan 32K veya 100K'ya) çok az hesaplama kaynağıyla genişletmek için geliştirilen, Kaydırılmış Kısa Dikkat (Shifted Short Attention -

S^2

-Attn) kullanan LoRA modifikasyonudur.

Ne İşe Yarar / Çözülen Problem

Uzun metinlerde tam dikkatin karesel maliyetini (

O(N^2)

) kırarak, tek bir GPU'da bile modellerin bağlamını devasa boyutlara uzatmayı mümkün kılar.

Nasıl Çalışır? (Teknik & Mekanizma)

Eğitim sırasında standart dikkat yerine dikkat gruplara bölünür ve yarısı kaydırılarak katmanlar arası bilgi köprüsü kurulur. LoRA adaptörleri ise genişleyen konumsal gömmeleri adapte eder.

Örnek Senaryo & Pratik Uygulama

500 sayfalık bir kitabı tek bakışta okuyamayan bir öğrenciye; sayfaları 10'arlı paketler halinde okutup paketlerin kenarlarını birbiriyle bantlatmak.

Benzer Terimlerden Farkı

Standart LoRA genel yetenekler için eğitilirken; LongLoRA doğrudan bağlam penceresini ucuza uzatmaya odaklanır.

İlişkili Terimler (3)

#215

Low-Rank Adaptation (LoRA)

Düşük Dereceli Uyarlama (LoRA)

#155

Rotary Position Embedding (RoPE)

Döner Konumsal Gömme

#171