LLM-as-a-Judge

LLM-as-a-Judge (Zheng et al., LMSYS 2023)

Türkçe: Yargıç Olarak Büyük Dil Modeli

Ayrıntılı Tanım

İnsan hakem tutmanın aylar süren maliyetini ortadan kaldırmak için; son derece gelişmiş bir amiral gemisi modelin (örneğin GPT-4) diğer küçük modellerin yanıtlarını belirli kriterlere göre inceleyip puanladığı otomatik değerlendirme paradigmasıdır.

Ne İşe Yarar / Çözülen Problem

Binlerce model çıktısının birkaç dakika içinde, standart bir rubrik üzerinden insan kalitesine %80-90 oranında paralel biçimde puanlanmasını sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Yargıç modele soru, iki modelin yanıtı ve detaylı bir değerlendirme yönergesi verilir. Yargıç model her iki yanıtı gerekçeleriyle açıklar ve 1-10 arası not verir veya kazananı seçer (Pairwise Comparison).

Örnek Senaryo & Pratik Uygulama

Üniversitede doçentin sınav kağıtlarını okumak yerine, objektif kriterler verdiği kıdemli bir profesörün (GPT-4) kağıtları tek tek inceleyip notlandırması.

Benzer Terimlerden Farkı

İnsan değerlendirmesinden 100 kat ucuz ve hızlıdır; ancak kendi modellerine pozitif ayrımcılık yapma gibi sapmaları (judge bias) olabilir.

İlişkili Terimler (2)

#437

Position Bias (Yargıç Modellerde Konum Sapması)

Konum Sapması / İlk Seçenek Önyargısı

#426

Model Evaluation

Model Değerlendirme

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#435)LMSYS Chatbot Arena

Sonraki Terim (#437)Position Bias (Yargıç Modellerde Konum Sapması)