Madde #541RL & Robotik/sozluk/hindsight-experience-replay-her
Hindsight Experience Replay (HER)
Hindsight Experience Replay (Andrychowicz et al., OpenAI 2017)
Türkçe: Sonradan Akıl Etme Deneyim Tekrarı
Ayrıntılı Tanım
Bir robotun pekiştirmeli öğrenme sırasında hedefi tamamen ıskaladığı ve sıfır ödül aldığı (başarısız olduğu) durumlarda bile; **"Ya benim asıl hedefim başlangıçtan beri bu ulaştığım yanlış nokta olsaydı?"** diyerek başarısız denemeleri zihninde geriye dönük başarılı birer derse dönüştüren devrimci algoritmadır.
Ne İşe Yarar / Çözülen Problem
Seyrek Ödül (Sparse Reward) felaketini çözer: Bir robotun rastgele hareketlerle hedefteki deliğe topu sokma olasılığı milyonda birdir ve aylarca hiç ödül alamadan kör kalabilir; HER her denemeyi bir başarıya çevirir.
Nasıl Çalışır? (Teknik & Mekanizma)
Robot hedefine gitmek isterken noktasına sapar. Normalde ödül 0'dır. HER algoritması deneyim tamponundaki (replay buffer) hedef etiketini geriye dönük olarak yapar ve ödülü olarak yeniden kaydeder. Robot her denemede en azından "oraya nasıl gidileceğini" öğrenir.
Örnek Senaryo & Pratik Uygulama
Ok atan bir okçunun hedef tahtasını ıskalayıp yanındaki ağaca vurması: Okçunun üzülmek yerine ağacın etrafına kırmızı bir hedef tahtası çizip "Ağacı vurmak isteseydim atışım mükemmeldi!" diyerek kas koordinasyonunu hafızaya kaydetmesi.
Benzer Terimlerden Farkı
Başarısızlıkları çöpe atmaz; hedefleri geriye dönük değiştirerek (hindsight) her hatayı pedagojik bir zafere çevirir.
İlişkili Terimler (3)
Pekiştirmeli Öğrenme, Robotik ve Otonom Sistemler
Q-Learning, Policy Gradient, PPO, Sim2Real, otonom sürüş ve robotik manipülasyon.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#540)Reinforcement Learning from AI Feedback (RLAIF)
Sonraki Terim (#542)Tactile Sensing (Dokunsal Algılama)