Policy Gradient

Policy Gradient Methods

Türkçe: Politika Gradyanı Yöntemleri

Ayrıntılı Tanım

Durumların veya eylemlerin değerini dolaylı olarak tahmin etmek yerine, etmenin davranış politikasını (

\pi_\theta(a|s)

) doğrudan parametreleştiren ve ödülü maksimize edecek yönde gradyan çıkan yöntemler ailesidir.

Ne İşe Yarar / Çözülen Problem

Q-Learning'in robot kolunu belirli bir açıyla çevirmek gibi sürekli (continuous) eylem uzaylarında yetersiz kalması problemini çözer.

Nasıl Çalışır? (Teknik & Mekanizma)

Politika parametreleri

\theta

şu yönde güncellenir:

\nabla_\theta J(\theta) = \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot Q(s, a) \right]

Yüksek ödül getiren eylemlerin seçilme olasılığı yukarı çekilir.

Örnek Senaryo & Pratik Uygulama

İki bacaklı bir robotun yürüme simülasyonu: Eklem motorlarının voltajını kesikli adımlarla değil, pürüzsüz sürekli açılarla ayarlaması.

Benzer Terimlerden Farkı

Değer tabanlı yöntemler (Q-learning) en yüksek puanlı eylemi seçerken; Politika yöntemleri doğrudan eylemlerin olasılık dağılımını optimize eder.

İlişkili Terimler (3)

Ait Olduğu Kategori

Sembolik AI, GOFAI, karar ağaçları, regresyon ve temel istatistiksel modeller.

Toplam Terim:68 Madde