LMSYS Chatbot Arena

LMSYS Chatbot Arena (Large Model Systems Organization / UC Berkeley)

Türkçe: LMSYS Sohbet Botu Arenası

Ayrıntılı Tanım

İki anonim modelin aynı kullanıcı sorusuna yan yana ürettiği cevapları gerçek insanların körleme usulü (hangi cevabın kime ait olduğunu bilmeden) oyladığı ve modellerin **Elo satranç puanlama sistemiyle** sıralandığı dünyanın en prestijli canlı liderlik tablosudur.

Ne İşe Yarar / Çözülen Problem

Statik testlerin ezberlenmesi (data contamination) hilesini çözer; gerçek insanların günlük hayattaki beğenisini ve modelin pratik faydasını doğrudan yansıtır.

Nasıl Çalışır? (Teknik & Mekanizma)

Kullanıcı bir soru yazar. Model A ve Model B (isimleri gizli) yanıt verir. Kullanıcı "A daha iyi", "B daha iyi" veya "Berabere" der. Satrançtaki Elo formülüyle kazanan modelin puanı artar, kaybedeninki düşer.

Örnek Senaryo & Pratik Uygulama

Roma Gladyatör Arenası: Kimliği gizli iki şövalyenin dövüşmesi, seyircilerin alkışına göre imparatorun parmağını yukarı veya aşağı kaldırması.

Benzer Terimlerden Farkı

Otomatik sentetik test değil; yüz binlerce gerçek insanın kolektif zevkini yansıtan canlı insan hakemliğidir.

İlişkili Terimler (2)

#436

LLM-as-a-Judge

Yargıç Olarak Büyük Dil Modeli

#430

Benchmarking

Kıyaslama Testleri / Karşılaştırmalı Değerlendirme

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#434)Pass@k

Sonraki Terim (#436)LLM-as-a-Judge