Entropy

Entropy (Shannon Entropy)

Türkçe: Entropi (Bilgi Belirsizliği)

Ayrıntılı Tanım

Bir veri kümesindeki rastlantısallığın, düzensizliğin ve belirsizliğin bilgi kuramı (information theory) çerçevesindeki matematiksel ölçüsüdür.

Ne İşe Yarar / Çözülen Problem

Bir veri grubunun ne kadar homojen olduğunu sayısal olarak ölçerek karar ağaçlarının en doğru soruyu sormasını sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

H(S) = - \sum_{i=1}^{C} p_i \log_2 (p_i)

Tüm elemanlar aynı sınıftan ise Entropi = 0 (tam saflık); sınıflar eşit yarı yarıya dağılmışsa Entropi = 1 (maksimum kaos).

Örnek Senaryo & Pratik Uygulama

Hilesiz yazı tura atışının entropisi 1 bittir (tam belirsizlik). İki tarafı da yazı olan hileli paranın entropisi 0 bittir (sıfır belirsizlik).

Benzer Terimlerden Farkı

Fizikteki termodinamik entropinin bilgisayar ve veri bilimindeki izdüşümüdür; Gini'ye göre logaritma hesabı yüzünden işlem maliyeti daha yüksektir.

İlişkili Terimler (2)

Ait Olduğu Kategori

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde