Pass@k

Pass@k Metric (pass@1, pass@10, pass@100)

Türkçe: k-Denemede Başarı Metriği

Ayrıntılı Tanım

Kodlama veya kesin cevaplı testlerde; modelden

n

adet bağımsız çözüm üretildiğinde, rastgele seçilen **

k

adet çözümden en az birinin tüm birim testlerden başarıyla geçme olasılığını** ölçen istatistiksel metriktir.

Ne İşe Yarar / Çözülen Problem

Modelin tek bir denemedeki kesin isabetini (pass@1) veya şans verildiğinde doğru cevabı bulma potansiyelini (pass@10) tarafsızca ölçer.

Nasıl Çalışır? (Teknik & Mekanizma)

Kombinatorik formülle hesaplanır:

\text{pass@k} = \mathbb{E}\left[1 - \frac{\binom{n - c}{k}}{\binom{n}{k}}\right]

Burada

n

toplam üretilen aday sayısı,

c

ise testleri geçen doğru çözüm sayısıdır.

Örnek Senaryo & Pratik Uygulama

Bir okçunun hedefe 10 ok atması: pass@1 okçunun ilk okta vurma ihtimalidir; pass@10 ise 10 oktan en az birinin hedefi tutturma ihtimalidir.

Benzer Terimlerden Farkı

Standart doğruluktan farklı olarak modelin çeşitlilik (sampling diversity) altındaki potansiyelini gösterir.

İlişkili Terimler (3)

Ait Olduğu Kategori

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde