RT-1 & RT-2 (Robotics Transformer - Google DeepMind)

Robotics Transformer 1 & 2 (Brohan et al., Google 2022-2023)

Türkçe: Robotik Dönüştürücüsü 1 ve 2

Ayrıntılı Tanım

Google DeepMind tarafından geliştirilen; RT-1 ile Transformer'ları robotik kontrolün temeli yapan, RT-2 ile ise bir VLM'i (PaLM-E / PaLI-X) doğrudan bir robot kontrolörüne dönüştürerek dünyadaki ilk büyük ölçekli VLA modelini kuran öncü seridir.

Ne İşe Yarar / Çözülen Problem

Robotların sadece eğitildikleri dar laboratuvar ortamında değil; daha önce hiç görmedikleri yeni odalarda, yeni nesnelerle semantik akıl yürütme yaparak genelleme yapabilmesini sağlamıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

17 aylık bir sürede 13 robotun topladığı yüz binlerce görev verisiyle eğitilmiştir. Web ölçeğindeki metin-görsel ön-eğitimi ile robot manipülasyon verileri aynı Transformer gövdesinde ortaklaşa ince ayara (co-fine-tuning) tabi tutulur.

Örnek Senaryo & Pratik Uygulama

Masanın üzerindeki bir kola kutusunun ezilmiş olduğunu görüp; "Çöpü at" dendiğinde sağlam kutuyu değil, ezik olan kutuyu çöp kutusuna atması.

Benzer Terimlerden Farkı

Dar görevli klasik kontrol algoritmalarına karşı; internetin tüm semantik bilgisiyle beslenmiş ilk genel robotik zekâ omurgasıdır.

İlişkili Terimler (3)

#529

Vision-Language-Action (VLA) Models

Görüntü-Dil-Eylem Modelleri

#299

Vision Transformer (ViT)

Görsel Dönüştürücü / Görüntü Transformer'ı

#516