Madde #194LLM & Fine-Tuning/sozluk/over-training
Over-Training
Over-Training (Training Beyond Chinchilla Optimal)
Türkçe: Fazla / Aşırı Süre Eğitme
Ayrıntılı Tanım
Chinchilla kuralının önerdiği teorik 1:20 token sınırının çok ötesine geçerek; küçük bir modeli (örneğin 8B) 10-15 trilyon token gibi devasa veriyle eğitme stratejisidir.
Ne İşe Yarar / Çözülen Problem
Eğitim maliyeti artsa bile; çıkarım (inference) maliyetini, hızını ve tüketici donanımlarında (telefon, laptop) çalışabilme kabiliyetini optimize eder (LLaMA-3 mantığı).
Nasıl Çalışır? (Teknik & Mekanizma)
Chinchilla sadece eğitim sırasındaki GPU verimini maksimize eder; ancak şirketler modeli bir kez eğitip milyonlarca kullanıcıya sunar. Çıkarım maliyetini düşürmek için model parametresi sabit tutulur, veri trilyonlarca token artırılır.
Örnek Senaryo & Pratik Uygulama
Bir askeri komandoyu 1 aylık temel eğitim yerine 3 yıl boyunca aralıksız kampta tutup sahaya indiğinde tek başına bir ordu gibi hatasız ve hızlı operasyon yapacak hale getirmek.
Benzer Terimlerden Farkı
Aşırı öğrenme (Overfitting) bir model hatası ve ezberlemedir; Over-training ise bilinçli bir mühendislik ve çıkarım optimizasyonu tercihidir.
İlişkili Terimler (1)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#193)Chinchilla Scaling Laws
Sonraki Terim (#195)Multi-Token Prediction (MTP)