Sözlüğe Dön/LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama/Multi-Token Prediction (MTP)
#194 Over-Training#196 Distributed Training
Madde #195LLM & Fine-Tuning/sozluk/multi-token-prediction-mtp

Multi-Token Prediction (MTP)

Türkçe: Çoklu Belirteç Tahmini
Ayrıntılı Tanım
Dil modelinin her adımda sadece bir sonraki tek bir tokenı tahmin etmesi yerine; birbirinden bağımsız ek çıktı kafalarıyla aynı anda sonraki nn adet tokenı (örneğin sonraki 4 kelimeyi) birden tahmin etmeye zorlandığı mimaridir.
Ne İşe Yarar / Çözülen Problem
Modelin kısa vadeli yerel kelime kalıpları yerine uzun vadeli cümle planlaması yapmasını sağlar; kod yazma yeteneğini artırır ve çıkarımı (Speculative Decoding ile) hızlandırır (DeepSeek-V3 standardı).
Nasıl Çalışır? (Teknik & Mekanizma)
Paylaşımlı gövdenin üzerine kk adet paralel çıktı katmanı eklenir. 1. kafa xt+1x_{t+1}'i, 2. kafa xt+2x_{t+2}'yi tahmin eder. Kayıplar toplanarak geriye yayılır.
Örnek Senaryo & Pratik Uygulama
Satranç oynarken sadece bir sonraki hamleyi düşünen acemi oyuncu yerine; hamlesini yaparken zihninde sonraki 4 hamleyi birden kurgulayan bir satranç ustası.
Benzer Terimlerden Farkı
Klasik Next-Token Prediction tek bir kelimeye körlemesine odaklanırken; MTP geleceğe yönelik çok adımlı bir ufuk açar.
İlişkili Terimler (1)
#190
Causal Language Modeling (CLM)
Nedensel / Otoregresif Dil Modellemesi
Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#194)Over-Training
Sonraki Terim (#196)Distributed Training