Knowledge Distillation

Knowledge Distillation (Teacher-Student Learning / Hinton et al., 2015)

Türkçe: Bilgi Damıtma / Öğretmen-Öğrenci Öğrenmesi

Ayrıntılı Tanım

Devasa ve hantal bir modelin (Öğretmen / Teacher) sahip olduğu tüm derin zekâyı, muhakeme kabiliyetini ve nüansları; çok daha küçük ve çevik bir modele (Öğrenci / Student) aktarma ve damıtma sürecidir.

Ne İşe Yarar / Çözülen Problem

Milyonlarca dolara mal olan dev modellerin mantık yeteneğini, cep telefonunda çalışabilecek kadar küçük modellerin içine kopyalamayı sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Öğrenci model sadece doğru cevabı (Hard Labels: "Kedi") taklit etmez; öğretmenin ürettiği yumuşatılmış olasılık dağılımını (Soft Labels: "Bu %80 kedi ama %15 tilkiye de benziyor") taklit eder. Sıcaklık (Temperature) yükseltilerek modelin gizli şüpheleri ve mantığı öğrenciye zerk edilir.

Örnek Senaryo & Pratik Uygulama

Alanında 40 yıllık tecrübesi olan ordinaryüs bir profesörün (Öğretmen), tüm mesleki püf noktalarını, sezgilerini ve pratik düşünme yollarını genç ve hevesli bir asistana (Öğrenci) birebir aktarması.

Benzer Terimlerden Farkı

Modeli kesip biçmez; sıfırdan küçük bir mimariyi dev bir beynin gölgesinde özel olarak eğitir.

İlişkili Terimler (2)

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#401)Weight-Only vs. Weight-Activation Quantization

Sonraki Terim (#403)GGUF (GPT-Generated Unified Format)