BERT

Bidirectional Encoder Representations from Transformers

Türkçe: Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

Ayrıntılı Tanım

Devlin vd. (Google, 2018) tarafından sunulan; sadece Transformer'ın Encoder (Kodlayıcı) bloklarını kullanarak bir kelimenin hem sağındaki hem solundaki bağlamı aynı anda derinlemesine öğrenen çığır açıcı modeldir.

Ne İşe Yarar / Çözülen Problem

Metin sınıflandırma, duygu analizi, soru yanıtlama ve varlık ismi tanıma (NER) gibi anlama görevlerinde yapay zekânın dil kavrayışını insan seviyesine yaklaştırmıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

İki temel öz-denetimli görevle eğitilir: 1. **Masked Language Model (MLM):** Cümledeki rastgele %15 kelime gizlenir (`[MASK]`) ve modelden bu kelimeleri iki yönlü bağlama bakarak bulması istenir. 2. **Next Sentence Prediction (NSP):** İki cümlenin ardışık olup olmadığı tahmin edilir.

Örnek Senaryo & Pratik Uygulama

"Banka" kelimesi geçen bir metin: Solundaki "nehir kenarındaki toprak..." ve sağındaki "...üzerine oturdu" ifadelerini aynı anda okuyan BERT'in "Bu finans kuruluşu değil, kıyı şerididir" teşhisini koyması.

Benzer Terimlerden Farkı

GPT tek yönlüdür (sadece geçmişe bakar ve metin üretir); BERT ise çift yönlüdür (tüm cümleye aynı anda bakar ve metni anlar).

İlişkili Terimler (2)

#185

Transformer Encoder

Transformer Kodlayıcı

#139

GPT

Üretken Ön-Eğitimli Dönüştürücü

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#137)ELMo

Sonraki Terim (#139)GPT