Madde #411Kuantalama & Dağıtım/sozluk/medusa
Medusa
Medusa: Simple Framework for Accelerating LLM Generation (Cai et al., 2024)
Türkçe: Medusa Çok Başlı Kod Çözme Mimarisi
Ayrıntılı Tanım
Spekülatif kod çözmede ayrı bir taslak model (draft model) tutmanın yarattığı bellek ve senkronizasyon karmaşasını ortadan kaldırarak; ana modelin gövdesinin üzerine eklenen **birden fazla bağımsız Medusa kafasıyla (küçük MLP katmanları)** gelecekteki birden fazla tokenı aynı anda tahmin eden ve ağaç tabanlı doğrulama yapan sistemdir.
Ne İşe Yarar / Çözülen Problem
İkinci bir küçük modeli belleğe yükleme külfetini bitirir; tek bir model çatısı altında spekülatif hızlanmayı standart hale getirir.
Nasıl Çalışır? (Teknik & Mekanizma)
Son katmana adet bağımsız kafa takılır. 1. kafa 'i, 2. kafa 'yi tahmin eder. Bu tahminler bir Düşünce Ağacı (Tree of Candidates) oluşturur ve ana model özel bir ağaç dikkat maskesiyle (tree attention) tüm adayları tek seferde onaylar.
Örnek Senaryo & Pratik Uygulama
Mitolojideki çok başlı yılan saçlı Medusa: Tek bir gövdeden çıkan birden fazla başın aynı anda ileriye bakarak gelecekteki farklı adımları eşzamanlı gözlemesi.
Benzer Terimlerden Farkı
Harici bir taslak modele ihtiyaç duymaz; ana modelin kendi iç temsillerinden geleceği türetir.
İlişkili Terimler (2)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#410)Speculative Decoding
Sonraki Terim (#412)Continuous Batching