Vision-Language-Action (VLA) Models

Vision-Language-Action (VLA) Models (RT-2, OpenVLA)

Türkçe: Görüntü-Dil-Eylem Modelleri

Ayrıntılı Tanım

Çok modlu bir dil modelini (VLM) alıp; sadece metin veya resim açıklaması üretmek yerine, robotun motorlarına gidecek **fiziksel hareket koordinatlarını (

[x, y, z, \text{roll}, \text{pitch}, \text{yaw}, \text{gripper}]

) doğrudan bir dil tokenıymış gibi üreten** uçtan uca süper modellerdir.

Ne İşe Yarar / Çözülen Problem

İnternetteki milyarlarca sayfalık insan zekâsı ve dünya bilgisini (LLM yeteneklerini) doğrudan robotun kollarına aktarır; robota daha önce hiç görmediği eşyalarla akıl yürüterek çalışma gücü verir.

Nasıl Çalışır? (Teknik & Mekanizma)

Robotun motor hareketleri ayrıklaştırılarak (discretized) sözlüğe özel tokenlar olarak eklenir (`<action_x_12>`, `<gripper_open>`). Model kameradan bakar, kullanıcı "Muzları kaseye koy" der; model kelime üretir gibi motor eylem tokenları basar (Google RT-2 mantığı).

Örnek Senaryo & Pratik Uygulama

Masada bir oyuncak dinozor ve bir elma vardır. Robota "Nesli tükenmiş hayvanı al" dersiniz. Robot hiçbir ek kodlama olmadan dinozorun neslinin tükendiğini internet bilgisinden bilir, elini uzatıp dinozoru kavrar.

Benzer Terimlerden Farkı

Ayrı bir planlama modülü ve ayrı bir hareket motoru yoktur; metin, görüntü ve fiziksel hareket tek bir devasa sinir ağı gövdesinde birleşmiştir.

İlişkili Terimler (3)

#530

RT-1 & RT-2 (Robotics Transformer - Google DeepMind)

Robotik Dönüştürücüsü 1 ve 2

#321

Vision-Language Model (VLM)

Görüntü-Dil Modeli

#516

Embodied AI (Bedenlenmiş Yapay Zekâ)

Bedenlenmiş / Fiziksel Yapay Zekâ

Ait Olduğu Kategori

Pekiştirmeli Öğrenme, Robotik ve Otonom Sistemler

Q-Learning, Policy Gradient, PPO, Sim2Real, otonom sürüş ve robotik manipülasyon.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#528)Diffusion Policy (Difüzyon Politikası)

Sonraki Terim (#530)RT-1 & RT-2 (Robotics Transformer - Google DeepMind)