BLEU (Bilingual Evaluation Understudy)

Bilingual Evaluation Understudy (Papineni et al., IBM 2002)

Türkçe: Çift Dilli Değerlendirme Metriği (BLEU Skoru)

Ayrıntılı Tanım

Yapay zekâ tarafından üretilen bir çeviri metninin, profesyonel insan çevirmenlerin ürettiği referans metinlerle kelime öbeği (n-gram) düzeyinde ne kadar örtüştüğünü ölçen klasik metriktir.

Ne İşe Yarar / Çözülen Problem

Makine çevirisi sistemlerinin (Google Translate gibi) doğruluğunu insanlara tek tek okutmadan saniyeler içinde otomatik puanlamayı sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

1-gram, 2-gram, 3-gram ve 4-gram hassasiyetlerinin (Precision) geometrik ortalamasını alır. Çevirinin aşırı kısa tutulup hile yapılmasını engellemek için Kısalık Cezası (Brevity Penalty - BP) uygular:

\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^N w_n \log p_n\right)

Örnek Senaryo & Pratik Uygulama

İki metin cetveli: Modelin ürettiği cümlenin içindeki kelime çiftlerinin, referans cümledeki kelime çiftleriyle birebir eşleşip yeşile dönmesi.

Benzer Terimlerden Farkı

Kesinliğe (Precision: Üretilenin ne kadarı referansta var?) odaklanır; ROUGE ise kapsayıcılığa (Recall) odaklanır. Eşanlamlı kelimeleri anlamaz.

İlişkili Terimler (2)

#429

ROUGE

Özeti Değerlendirme İçin Çağırma-Odaklı Metrik

#426

Model Evaluation

Model Değerlendirme

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#427)Perplexity (PPL)

Sonraki Terim (#429)ROUGE