AdaGrad

Adaptive Gradient Algorithm

Türkçe: Uyarlanabilir Gradyan Algoritması

Ayrıntılı Tanım

Seyrek (sparse) verilerde az güncellenen parametrelere büyük adımlar, sık güncellenen parametrelere ise küçük adımlar atarak parametre bazlı öğrenme hızı belirleyen ilk öncü algoritmadır.

Ne İşe Yarar / Çözülen Problem

Metin işlemede olduğu gibi nadir geçen kritik kelimelere ait ağırlıkların yeterince öğrenilememesi problemini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Başlangıçtan itibaren tüm gradyan kareleri toplanır:

G_t = G_{t-1} + g_t^2

. Paydaya

\sqrt{G_t + \epsilon}

konularak öğrenme hızı ölçeklenir.

Örnek Senaryo & Pratik Uygulama

Tıbbi makale okuyan asistan: Milyonlarca kez geçen "ve", "bir" gibi kelimeleri görünce hızlı geçer; nadir geçen "onkoloji" kelimesini görünce durup dikkatle not alır.

Benzer Terimlerden Farkı

Paydadaki