Perplexity (PPL)

Türkçe: Şaşkınlık / Kararsızlık Skoru

Ayrıntılı Tanım

Bir dil modelinin verilen bir metin dizisini ne kadar iyi tahmin edebildiğini ölçen; modelin sonraki kelimeyi seçerken ortalama kaç alternatif kelime arasında "kararsız/şaşkın" kaldığını gösteren temel istatistiksel metriktir.

Ne İşe Yarar / Çözülen Problem

Dil modellerinin ön-eğitim kalitesini ve dilbilgisi akıcılığını hiçbir insan etiketine ihtiyaç duymadan matematiksel olarak ölçer.

Nasıl Çalışır? (Teknik & Mekanizma)

Çapraz Entropi (Cross-Entropy) kaybının üstelidir:

\text{PPL}(X) = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log P(x_i \mid x_{<i})\right)

Skor ne kadar düşükse model o kadar kendinden emindir ve dil anlayışı o kadar güçlüdür.

Örnek Senaryo & Pratik Uygulama

Bir yarışma programında soru sorulduğunda yarışmacının ikilemde kalması: Kötü model 50 şık arasında kararsız kalırken (

\text{PPL}=50

), usta model sadece 2 seçenek arasında kalır (

\text{PPL}=2

Benzer Terimlerden Farkı

Doğruluk (Accuracy) 0 veya 1 verirken; Perplexity olasılık dağılımının ne kadar sivri ve emin olduğunu ölçer.

İlişkili Terimler (1)

#190

Causal Language Modeling (CLM)

Nedensel / Otoregresif Dil Modellemesi

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#426)Model Evaluation

Sonraki Terim (#428)BLEU (Bilingual Evaluation Understudy)