Sentence-BERT

Sentence-BERT (SBERT)

Türkçe: Cümle Odaklı BERT

Ayrıntılı Tanım

Reimers & Gurevych (2019) tarafından geliştirilen; standart BERT modelini Siyam (Siamese) ve Üçlü (Triplet) ağ yapılarıyla ince ayara tabi tutarak, devasa veri tabanlarında anlamsal cümle karşılaştırmasını saatlerden saniyelere indiren mimaridir.

Ne İşe Yarar / Çözülen Problem

Normal BERT ile 10.000 cümle arasındaki en benzer çifti bulmak için

~50

milyon kombinasyonu çapraz işletmek gerekir ve bu 65 saat sürer; SBERT bu süreyi 5 saniyeye indirmiştir.

Nasıl Çalışır? (Teknik & Mekanizma)

İki cümle paralel iki BERT koluna verilir (ortak ağırlıklar). Çıkan havuzlanmış vektörler (

u

v

) arasındaki Kosinüs Benzerliği hesaplanır ve aralarındaki fark doğrudan optimize edilir.

Örnek Senaryo & Pratik Uygulama

Milyonlarca hukuk evrakı içinden aradığınız kanun maddesiyle aynı anlamı taşıyan paragrafı arama çubuğuna tıkladığınız anda ekrana getiren modern vektör arama motoru.

Benzer Terimlerden Farkı

Klasik BERT iki cümleyi `[SEP]` ile birleştirip tek tek karşılaştırmak zorundadır; SBERT ise her cümleye bağımsız bir kimlik vektörü verir.

İlişkili Terimler (3)

Transformer'lardan İki Yönlü Kodlayıcı Temsilleri

Ait Olduğu Kategori

Doğal Dil İşleme ve Sözcük Gömmeleri

Metin ön işleme, Word2Vec, GloVe, RNN, LSTM ve n-gram modelleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#140)Sentence Embeddings

Sonraki Terim (#142)Universal Sentence Encoder