Madde #432Güvenlik & Kıyaslama/sozluk/gsm8k
GSM8K
Grade School Math 8K (Cobbe et al., OpenAI 2021)
Türkçe: İlköğretim Seviyesi 8500 Matematik Problemi
Ayrıntılı Tanım
Çok adımlı temel aritmetik işlemler, oran-orantı ve mantıksal çıkarım gerektiren 8.500 adet ilkokul/ortaokul seviyesi sözel matematik probleminden oluşan standart kıyaslama setidir.
Ne İşe Yarar / Çözülen Problem
Dil modellerinin sözel hikâye problemlerini matematiksel formüllere dökme ve adımları atlamadan doğru işlem yapabilme (CoT yeteneği) kapasitesini ölçer.
Nasıl Çalışır? (Teknik & Mekanizma)
Problemler 2 ila 8 adım arasında çözüm gerektirir. Modelin ara akıl yürütme adımları üretmesi (Chain-of-Thought) ve cevabın sonundaki sayısal değeri tam tutturması beklenir.
Örnek Senaryo & Pratik Uygulama
"Ayşe pazardan kilosu 15 TL'den 3 kilo elma aldı. Manava 100 TL verdi. Kaç TL para üstü alır?" probleminin adım adım çözülmesi.
Benzer Terimlerden Farkı
İleri kalkülüs veya türev değil; temel mantık zinciri ve aritmetik işlem doğruluğunu test eder.
İlişkili Terimler (2)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#431)MMLU
Sonraki Terim (#433)HumanEval