HumanEval

HumanEval (OpenAI, 2021)

Türkçe: İnsan Seviyesi Kodlama Değerlendirmesi

Ayrıntılı Tanım

Dil modellerinin Python kodu yazma, algoritma kurma ve yazılım problemlerini çözme yeteneğini ölçen; 164 adet el yazımı özgün programlama probleminden oluşan standart kıyaslama setidir.

Ne İşe Yarar / Çözülen Problem

Modelin sadece kod ezberleyip ezberlemediğini değil; fonksiyon açıklamasına (docstring) bakarak çalışan, hatasız ve optimize yazılım üretebilme gücünü ölçer.

Nasıl Çalışır? (Teknik & Mekanizma)

Model fonksiyon gövdesini yazar. Yazılan kod gerçek bir Python derleyicisinde gizli birim testlere (unit tests) sokulur. Başarı **pass@k** metriğiyle (örneğin ilk denemede çalıştırma: pass@1) hesaplanır.

Örnek Senaryo & Pratik Uygulama

Bir yazılım şirketinin teknik iş mülakatı: Adaya "Verilen listedeki asal sayıları filtreleyen fonksiyonu yaz" denmesi ve kodun 10 farklı uç senaryo testinden (edge cases) geçirilmesi.

Benzer Terimlerden Farkı

Metin üretimi değil; derleyiciden geçen çalışan mantıksal kod doğruluğudur (RLVR için temel metriktir).

İlişkili Terimler (2)

#434

Pass@k

k-Denemede Başarı Metriği

#243

Reinforcement Learning with Verifiable Rewards (RLVR)

Doğrulanabilir Ödüllerle Pekiştirmeli Öğrenme

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#432)GSM8K

Sonraki Terim (#434)Pass@k