Madde #438Güvenlik & Kıyaslama/sozluk/data-contamination
Data Contamination
Data Contamination (Benchmark Leakage)
Türkçe: Veri Kirlenmesi / Test Verisi Sızıntısı
Ayrıntılı Tanım
Bir modelin zekâsını ölçmek için kullanılan kıyaslama test sorularının ve cevap anahtarlarının (örneğin MMLU veya GSM8K), modelin **ön-eğitim veri setinin içine kazara karışması** ve modelin bu soruları önceden ezberlemesi skandalıdır.
Ne İşe Yarar / Çözülen Problem
Modellerin liderlik tablolarında dahi gibi görünürken gerçek dünyada aptalca hatalar yapmasının ardındaki temel sahtekarlığı açıklar.
Nasıl Çalışır? (Teknik & Mekanizma)
Web tarayıcıları interneti kazırken benchmark sitelerindeki soruları da ham metin olarak çeker. Model eğitim sırasında bu soruları binlerce kez görür. Test anında mantık yürütmez; ezberlediği cevabı şakır şakır döker.
Örnek Senaryo & Pratik Uygulama
Üniversite sınavına girecek bir öğrencinin, sınavdan bir gün önce sınav sorularının ve cevap anahtarının basıldığı matbaadan soruları çalıp ezberleyerek Türkiye birincisi olması.
Benzer Terimlerden Farkı
Modelin gerçekten akıllı olması değil; soruların cevabını önceden görmüş bir hırsız olmasıdır.
İlişkili Terimler (2)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#437)Position Bias (Yargıç Modellerde Konum Sapması)
Sonraki Terim (#439)Red Teaming