MMLU

Massive Multitask Language Understanding (Hendrycks et al., 2020)

Türkçe: Devasa Çok Görevli Dil Anlayışı Kıyaslaması

Ayrıntılı Tanım

Temel lise matematiğinden profesyonel tıp, hukuk, felsefe, astronomi ve bilgisayar mühendisliğine kadar **57 farklı akademik disiplinde** binlerce çoktan seçmeli sorudan oluşan en temel genel zekâ kıyaslama testidir.

Ne İşe Yarar / Çözülen Problem

Modelin sadece gündelik sohbet değil; profesyonel insan uzmanlığı seviyesinde derin dünya bilgisine ve problem çözme yeteneğine sahip olup olmadığını ölçer.

Nasıl Çalışır? (Teknik & Mekanizma)

Sorular 4 şıklıdır (A, B, C, D). Modelin doğru şıkka verdiği olasılık logitleri ölçülür (genellikle 5-shot test edilir). İnsan uzman ortalaması yaklaşık %89.8'dir.

Örnek Senaryo & Pratik Uygulama

Üniversiteye giriş sınavı, tıp uzmanlık sınavı (TUS) ve baro avukatlık sınavının tek bir devasa soru kitapçığında toplanması.

Benzer Terimlerden Farkı

Dar bir alana değil, insanlığın biriktirdiği tüm bilgi dağarcığına bakar. Modern LLM lansmanlarının ilk gösterdiği ana metriktir.

İlişkili Terimler (2)

#430

Benchmarking

Kıyaslama Testleri / Karşılaştırmalı Değerlendirme

#432

GSM8K

İlköğretim Seviyesi 8500 Matematik Problemi

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#430)Benchmarking

Sonraki Terim (#432)GSM8K