Madde #139NLP & Gömme/sozluk/gpt
GPT
Generative Pre-trained Transformer
Türkçe: Üretken Ön-Eğitimli Dönüştürücü
Ayrıntılı Tanım
Radford vd. (OpenAI, 2018) tarafından ortaya konan; Transformer'ın Decoder (Kod Çözücü) bloklarını kullanarak kendisinden önceki kelimelere bakıp bir sonraki en olası kelimeyi tahmin etme mantığıyla metin üreten otoregresif model ailesidir.
Ne İşe Yarar / Çözülen Problem
Tutarlı, yaratıcı, insan benzeri uzun paragraflar yazabilen ve tek bir mimariyle sayısız görevi (sıfır örnekle / zero-shot) çözebilen üretken yapay zekâyı hayatımıza sokmuştur.
Nasıl Çalışır? (Teknik & Mekanizma)
Nedensel Dil Modellemesi (Causal Language Modeling - CLM) uygular. Causal Masking sayesinde model gelecekteki kelimeleri göremez; sadece geçmiş kelimelerin dikkat matrisini () işleyerek sonraki kelimenin olasılık dağılımını hesaplar.
Örnek Senaryo & Pratik Uygulama
Bir yazarın daktilo başında oturup yazdığı her harfin ardından cümlenin bir sonraki mantıklı kelimesini şakır şakır tamamlayan akıllı klavye motoru.
Benzer Terimlerden Farkı
BERT metni analiz edip anlamak için iki yöne bakar ama akıcı metin üretemez; GPT ise tek yönde ilerleyerek kusursuz metin üretir.
İlişkili Terimler (2)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#138)BERT
Sonraki Terim (#140)Sentence Embeddings