Madde #188LLM & Fine-Tuning/sozluk/self-supervised-pre-training
Self-Supervised Pre-Training
Türkçe: Öz-Denetimli Ön-Eğitim
Ayrıntılı Tanım
Milyarlarca parametreli bir dil modeline, insan eliyle oluşturulmuş etiketler vermeden; trilyonlarca kelimelik ham internet, kitap ve kod verisi üzerinden sonraki kelimeyi veya maskelenmiş parçayı tahmin ettirerek dilin kurallarını ve dünya bilgisini öğreten devasa başlangıç eğitim aşamasıdır.
Ne İşe Yarar / Çözülen Problem
Milyonlarca veriyi insan eliyle etiketleme maliyetini sıfırlar; modelin sıfırdan genel bir dünya anlayışı, mantık, gramer ve olgusal hafıza kazanmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Model, trilyonlarca token içeren devasa metin korpusunda (Common Crawl, GitHub, Wikipedia vb.) kayıp fonksiyonunu (Cross-Entropy) minimize etmek için binlerce GPU kümesinde haftalarca veya aylarca eğitilir.
Örnek Senaryo & Pratik Uygulama
Bir bebeğin doğduktan sonraki ilk 5 yılı boyunca etrafındaki tüm konuşmaları, televizyon yayınlarını ve ortam seslerini dinleyerek hiç kimse ona gramer kuralı anlatmadan dili ve dünyayı kendi kendine öğrenmesi.
Benzer Terimlerden Farkı
İnce Ayar (Fine-Tuning) modeli belirli bir göreve uydururken; Ön-Eğitim modele sıfırdan zekâ ve ham bilgi altyapısı kazandırır.
İlişkili Terimler (4)
LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama
Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.
Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#187)Transformer Feed-Forward Network
Sonraki Terim (#189)Masked Language Modeling (MLM)