Madde #130NLP & Gömme/sozluk/tf-idf
TF-IDF
Term Frequency - Inverse Document Frequency
Türkçe: Terim Frekansı - Ters Doküman Frekansı
Ayrıntılı Tanım
Bir kelimenin bir dokümandaki sıklığı (TF) ile külliyat genelindeki nadirliği (IDF) değerlerini çarparak, bir kelimenin o doküman için **ne kadar karakteristik ve önemli olduğunu** puanlayan klasik bilgi erişim metriğidir.
Ne İşe Yarar / Çözülen Problem
Arama motorlarının (Google öncesi nesil), doküman özetleyicilerin ve metin sınıflandırıcıların bir metindeki en kilit anahtar kelimeleri tespit etmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Bir kelime bir dokümanda çok sık geçiyor ama diğer dokümanlarda neredeyse hiç geçmiyorsa puanı en yüksek olur.
Örnek Senaryo & Pratik Uygulama
Bir dedektifin elindeki yüzlerce dava dosyasından cinayet raporunu çekip çıkarması: Raporun içinde yüzlerce kez geçen "parmak izi" kelimesinin TF-IDF puanının parlaması.
Benzer Terimlerden Farkı
Bag-of-Words sadece kelimeleri sayarken, TF-IDF kelimelere akıllı bir önem ve ayırt edicilik ağırlığı atar.
İlişkili Terimler (3)
Doğal Dil İşleme ve Sözcük Gömmeleri
Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#129)Inverse Document Frequency (IDF)
Sonraki Terim (#131)Word2Vec