Actor-Critic

Actor-Critic Architecture

Türkçe: Aktör - Eleştirmen Mimarisi

Ayrıntılı Tanım

Pekiştirmeli öğrenmede politika tabanlı yöntemler ile değer tabanlı yöntemleri birleştiren; eylemi seçen bir **Aktör (Actor)** ile bu eylemin ne kadar iyi olduğunu puanlayan bir **Eleştirmen (Critic)** sinir ağından oluşan hibrit mimaridir.

Ne İşe Yarar / Çözülen Problem

REINFORCE'un bölüm sonunu bekleme hantallığını ve aşırı varyansını ortadan kaldırır; her adımda anlık ve kararlı öğrenme sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

* **Aktör (

\theta

):** Mevcut duruma göre bir eylem üretir (

\pi_\theta(a|s)

). * **Eleştirmen (

w

):** Durumun değerini (

V_w(s)

) hesaplar ve zamansal fark hatasını (TD Error / Advantage) belirler. * Aktör, eleştirmenin verdiği karneye göre politikasını günceller.

Örnek Senaryo & Pratik Uygulama

Tiyatro sahnesindeki oyuncu (Aktör) ve onu kenardan izleyip her repliğinden sonra "Daha coşkulu söyle" veya "Bu hareket çok iyiydi" diye not veren yönetmen (Eleştirmen).

Benzer Terimlerden Farkı

Ne saf Q-Learning gibi hantal tablolarla uğraşır ne de saf REINFORCE gibi bölüm sonunu bekler; iki dünyanın en dengeli sentezidir. Günümüz PPO ve RLHF mimarilerinin temel taşıdır.

İlişkili Terimler (4)

#66

Policy Gradient

Politika Gradyanı Yöntemleri

Proximal Policy Optimization (PPO)

Yakınsal Politika Optimizasyonu

#232

Reinforcement Learning from Human Feedback (RLHF)