ELMo

Embeddings from Language Models

Türkçe: Dil Modellerinden Sözcük Gömmeleri

Ayrıntılı Tanım

Peters vd. (Allen Institute, 2018) tarafından geliştirilen; iki yönlü derin bir LSTM ağını büyük metinlerle eğiterek bağlamsal kelime gömmelerini tarihte ilk kez yaygınlaştıran öncü modeldir.

Ne İşe Yarar / Çözülen Problem

Statik vektörlerin (Word2Vec) eş sesli kelimelerdeki acziyetini yıkarak, sonraki tüm görevlerin performansını tek bir ek katmanla sıçratmıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

Biri soldan sağa, diğeri sağdan sola metni okuyan iki adet derin LSTM ağı eğitilir. Bu LSTM katmanlarının ürettiği ara vektörlerin ağırlıklı toplamı alınarak nihai bağlamsal vektör oluşturulur.

Örnek Senaryo & Pratik Uygulama

Bir dedektifin bir şüphelinin günlüğünü hem baştan sona hem de sondan başa doğru okuyup iki analizi birleştirerek şüphelinin gerçek ruh halini çözmesi.

Benzer Terimlerden Farkı

LSTM tabanlıdır ve iki yönü bağımsız hesaplayıp uç uca ekler; BERT ise Transformer tabanlıdır ve her iki yönü aynı anda çapraz dikkatle okur.

İlişkili Terimler (3)

#136

Contextual Embeddings

Bağlamsal Sözcük Gömmeleri

#113

Long Short-Term Memory (LSTM)

Uzun Kısa Süreli Hafıza

#138

BERT

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#136)Contextual Embeddings

Sonraki Terim (#138)BERT