Scaling Laws

Neural Scaling Laws

Türkçe: Ölçekleme Yasaları

Ayrıntılı Tanım

Büyük dil modellerinin performansının (kayıp değerinin), model parametre sayısı (

N

), veri kümesi büyüklüğü (

D

) ve harcanan toplam işlem gücü (

C

) arttıkça öngörülebilir bir **kuvvet yasasına (power-law)** göre düzgün bir şekilde iyileştiğini gösteren ampirik prensiplerdir.

Ne İşe Yarar / Çözülen Problem

Milyonlarca dolarlık devasa modelleri körlemesine eğitmek yerine; küçük prototiplerden elde edilen sonuçlarla devasa modellerin başarısını kuruşu kuruşuna önceden hesaplamayı sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Model kaybı şu formülü izler:

L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad L(D) \approx \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad L(C) \approx \left(\frac{C_c}{C}\right)^{\alpha_C}

Örnek Senaryo & Pratik Uygulama

Bir roketin motor gücü ve yakıt miktarı iki katına çıktığında, yörüngeye taşıyabileceği yük kapasitesinin matematiksel kesinlikle katlanarak artması grafiği.

Benzer Terimlerden Farkı

Bir optimizasyon algoritması değil; derin öğrenmenin ölçeklendikçe nasıl davrandığını açıklayan fizik yasası benzeri bir kuraldır.

İlişkili Terimler (3)

#192

Kaplan Scaling Laws

Kaplan Ölçekleme Yasaları

#193

Chinchilla Scaling Laws

Çinçilya Ölçekleme Yasaları (Optimum İşlem Yasası)

#194

Over-Training

Fazla / Aşırı Süre Eğitme

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#190)Causal Language Modeling (CLM)

Sonraki Terim (#192)Kaplan Scaling Laws