Madde #193LLM & Fine-Tuning/sozluk/chinchilla-scaling-laws
Chinchilla Scaling Laws
Chinchilla Scaling Laws (Hoffmann et al., DeepMind 2022)
Türkçe: Çinçilya Ölçekleme Yasaları (Optimum İşlem Yasası)
Ayrıntılı Tanım
DeepMind araştırmacılarının Kaplan yasasındaki hatayı düzelterek; verilen bir işlem bütçesinde optimum performans için **model parametre sayısı ile veri miktarının birebir eşit oranda () ölçeklenmesi** gerektiğini kanıtlayan kuraldır.
Ne İşe Yarar / Çözülen Problem
Modellerin gereksiz yere aşırı büyük (over-parameterized) ama az eğitilmiş (under-trained) olmasını engeller; daha küçük modellerin çok daha fazla veriyle eğitilerek devleri geçebileceğini göstermiştir (LLaMA devriminin başlangıcı).
Nasıl Çalışır? (Teknik & Mekanizma)
Matematiksel olarak ve olmalıdır. Kural olarak: Her 1 parametre için model en az 20 token veri görmelidir (Örn: 70 milyar model 1.4 trilyon token).
Örnek Senaryo & Pratik Uygulama
70 milyarlık Chinchilla modelinin, kendisinden 4 kat büyük 280 milyarlık Gopher modelini sadece daha çok kitap okuyarak geride bırakması.
Benzer Terimlerden Farkı
Kaplan parametreye öncelik verirken; Chinchilla parametre ve veri arasında eşit bir terazi kurar.
İlişkili Terimler (3)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#192)Kaplan Scaling Laws
Sonraki Terim (#194)Over-Training