Sözlüğe Dön/Doğal Dil İşleme ve Sözcük Gömmeleri/Inverse Document Frequency (IDF)
#128 Term Frequency (TF)#130 TF-IDF
Madde #129NLP & Gömme/sozluk/inverse-document-frequency-idf

Inverse Document Frequency (IDF)

Inverse Document Frequency

Türkçe: Ters Doküman Frekansı
Ayrıntılı Tanım
Bir kelimenin tüm veri tabanındaki (külliyattaki) dokümanların ne kadarında geçtiğini ölçerek; her yerde geçen yaygın kelimeleri cezalandıran, nadir ve ayırt edici kelimeleri ödüllendiren istatistiksel katsayıdır.
Ne İşe Yarar / Çözülen Problem
"ve", "ile", "the" gibi dilde sürekli geçen ama hiçbir ayırt edici anlamsal bilgi taşımayan kelimelerin baskısını kırar.
Nasıl Çalışır? (Teknik & Mekanizma)
IDF(t,D)=log⁡(N∣{d∈D:t∈d}∣)\text{IDF}(t, D) = \log\left(\frac{N}{|\{d \in D : t \in d\}|}\right) Burada NN toplam doküman sayısıdır. Kelime ne kadar az dokümanda geçerse payda küçülür, logaritma fırlar ve IDF puanı yükselir.
Örnek Senaryo & Pratik Uygulama
1 milyon makale taranır. "ve" kelimesi 1 milyon makalenin tamamında geçer (IDF=log⁡(1)=0\text{IDF} = \log(1) = 0). "Kuantum" kelimesi sadece 50 makalede geçer (IDF\text{IDF} tavan yapar).
Benzer Terimlerden Farkı
Dokümanın içine değil, külliyatın geneline bakar.
İlişkili Terimler (3)
#128
Term Frequency (TF)
Terim Frekansı
#130
TF-IDF
Terim Frekansı - Ters Doküman Frekansı
#149
Stopword Removal
Etkisiz / Dolgu Kelimeleri Temizleme
Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#128)Term Frequency (TF)
Sonraki Terim (#130)TF-IDF