Madde #437Güvenlik & Kıyaslama/sozluk/position-bias
Position Bias (Yargıç Modellerde Konum Sapması)
Position Bias in LLM Evaluators
Türkçe: Konum Sapması / İlk Seçenek Önyargısı
Ayrıntılı Tanım
LLM-as-a-Judge sistemlerinde yargıç modelin, yanıtların gerçek kalitesine bakılmaksızın psikolojik olarak **daima ilk sunulan yanıta (Model A) veya daima ikinci yanıta (Model B)** daha yüksek puan verme eğilimi göstermesi hatasıdır.
Ne İşe Yarar / Çözülen Problem
Otomatik yargıç sistemlerinin adaletini bozan en büyük sistematik sapmayı açıklar; değerlendirmelerin manipüle edilmesini engeller.
Nasıl Çalışır? (Teknik & Mekanizma)
Dikkat mekanizmasının sıralı okuma önyargısından kaynaklanır. Bu sapmayı kırmak için her test çifti yer değiştirilerek iki kez çalıştırılır: `(A, B)` ve `(B, A)`. İki durumda da kazanamayan model galip sayılmaz.
Örnek Senaryo & Pratik Uygulama
Bir şarkı yarışmasında jürinin yorgunluktan veya ilk dinlediği melodinin aklında kalmasından dolayı sahneye ilk çıkan yarışmacıya istisnasız daha yüksek puan vermesi.
Benzer Terimlerden Farkı
Modelin dil bilgisindeki bir eksiklik değil; karar verme mekanizmasındaki mekânsal konum zaafıdır.
İlişkili Terimler (2)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#436)LLM-as-a-Judge
Sonraki Terim (#438)Data Contamination