Label Smoothing

Türkçe: Etiket Yumuşatma

Ayrıntılı Tanım

Sınıflandırma problemlerinde doğru sınıfa verilen katı "1.0" ve yanlış sınıflara verilen "0.0" sert hedef etiketlerini, sırasıyla

1-\epsilon

\frac{\epsilon}{K}

gibi daha ılımlı olasılık değerleriyle değiştiren tekniktir.

Ne İşe Yarar / Çözülen Problem

Modelin tahminlerinde aşırı kibirli/özgüvenli (overconfident) olmasını engeller; logit değerlerinin sonsuza fırlamasını önleyerek genellemeyi artırır.

Nasıl Çalışır? (Teknik & Mekanizma)

3 sınıflı bir problemde tekil etiket

[1, 0, 0]

yerine,

\epsilon=0.1

için yumuşatılmış etiket

[0.933, 0.033, 0.033]

hedefi kullanılır.

Örnek Senaryo & Pratik Uygulama

Bir hakimin sanık hakkında karar verirken "%100 suçludur" demek yerine, daima "%95 suçlu görünüyor ama küçük bir yanılma payı bırakıyorum" ihtiyatlılığını koruması.

Benzer Terimlerden Farkı

Model ağırlıklarına değil, doğrudan kayıp fonksiyonunun hedef aldığı etiket matrisine müdahale eden bir regülarizasyondur.

İlişkili Terimler (2)

#91

Softmax

Yumuşak Maksimum Fonksiyonu

#23

Overfitting

Aşırı Öğrenme / Ezberleme

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#103)Dropout

Sonraki Terim (#105)Early Stopping