Softmax

Softmax Function (Normalized Exponential Function)

Türkçe: Yumuşak Maksimum Fonksiyonu

Ayrıntılı Tanım

Reel sayılardan oluşan keyfi bir vektörü, elemanlarının toplamı tam olarak **1.0** eden ve her bir elemanı [0, 1] aralığında olan bir olasılık dağılımına dönüştüren fonksiyondur.

Ne İşe Yarar / Çözülen Problem

Çok sınıflı sınıflandırma problemlerinde ve dikkat mekanizmalarında (Attention) ham skorları karşılaştırılabilir olasılık yüzdelerine çevirir.

Nasıl Çalışır? (Teknik & Mekanizma)

\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

Üstel fonksiyon (

e^z

) büyük değerleri hızla ödüllendirir, küçük değerleri ise bastırır.

Örnek Senaryo & Pratik Uygulama

Modelin ham çıktıları (Logits): `[2.0, 1.0, 0.1]`. Softmax'tan geçince: `%65 Kedi, %24 Köpek, %11 Kuş`.

Benzer Terimlerden Farkı

"Hardmax" sadece en büyük elemana 1, kalanlara 0 verir ve türevlenemez; Softmax ise türevlenebilir pürüzsüz bir olasılık dağılımı yayar.

İlişkili Terimler (2)

#83

Sigmoid

Sigmoid (S-Tipi) Aktivasyon Fonksiyonu

#160

Self-Attention

Öz-Dikkat Mekanizması

Ait Olduğu Kategori

Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.

Toplam Terim:52 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#90)SwiGLU

Sonraki Terim (#92)Softplus