Kaplan Scaling Laws

Kaplan Scaling Laws (OpenAI, 2020)

Türkçe: Kaplan Ölçekleme Yasaları

Ayrıntılı Tanım

Jared Kaplan ve OpenAI ekibinin yayınladığı; sabit bir işlem bütçesinde performans artışının model parametre sayısına (

N

) çok daha fazla bağımlı olduğunu ve veriden (

D

) ziyade model boyutunu büyütmenin daha avantajlı olduğunu savunan ilk ölçekleme kuralıdır.

Ne İşe Yarar / Çözülen Problem

GPT-3 gibi devasa parametreli (175 milyar parametre) ancak nispeten daha az veriyle (300 milyar token) eğitilen dev ilk nesil modellerin doğuşuna yön vermiştir.

Nasıl Çalışır? (Teknik & Mekanizma)

İşlem gücü arttığında, parametre sayısının veri boyutuna göre yaklaşık 3 kat daha hızlı artırılması gerektiğini öne sürer (

N \propto C^{0.73}

D \propto C^{0.27}

Örnek Senaryo & Pratik Uygulama

Kocaman bir kütüphane inşa edip içine sadece birkaç yüz kitap koymak: Beyin çok büyük ama okuduğu kitap sayısı sınırlı.

Benzer Terimlerden Farkı

Daha sonra Chinchilla makalesi tarafından parametreye aşırı ağırlık verdiği gerekçesiyle düzeltilmiştir.

İlişkili Terimler (3)

Chinchilla Scaling Laws

Çinçilya Ölçekleme Yasaları (Optimum İşlem Yasası)

#139

GPT

Üretken Ön-Eğitimli Dönüştürücü

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#191)Scaling Laws

Sonraki Terim (#193)Chinchilla Scaling Laws