Madde #322Görü & Multimodal/sozluk/llava
LLaVA
Large Language and Vision Assistant (Liu et al., 2023)
Türkçe: Büyük Dil ve Görüntü Asistanı
Ayrıntılı Tanım
Açık kaynaklı bir büyük dil modeli (LLaMA/Vicuna) ile önceden eğitilmiş bir CLIP görsel kodlayıcısını tek bir basit doğrusal projeksiyon katmanıyla birbirine bağlayarak GPT-4V kalitesinde çok modlu asistanlık sunan popüler açık kaynaklı VLM mimarisidir.
Ne İşe Yarar / Çözülen Problem
Çok modlu yapay zekâ araştırmalarını tekelleşmekten kurtarmış; GPT-4 ile üretilen sentetik görsel-talimat verileriyle eğitilerek açık kaynak topluluğuna hediye edilmiştir.
Nasıl Çalışır? (Teknik & Mekanizma)
Görsel özellikleri CLIP ViT'ten çıkarılır: . Basit bir projeksiyon matrisi ile kelime uzayına aktarılır: . Ardından metin tokenları ile görsel tokenları uç uca eklenerek doğrudan otoregresif dil modeline beslenir.
Örnek Senaryo & Pratik Uygulama
Karmaşık bir üniversite fizik sorusunun fotoğrafını çekip LLaVA'ya yüklediğinizde, diyagramdaki kuvvet vektörlerini okuyup sorunun çözümünü adım adım ekrana dökmesi.
Benzer Terimlerden Farkı
Karmaşık mimarilere ihtiyaç duymadan, sadece basit bir projeksiyon katmanı ve zekice kurgulanmış görsel talimat verisiyle olağanüstü başarı yakalamasıdır.
İlişkili Terimler (4)
Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ
CNN, Vision Transformers (ViT), Diffusion, GAN, VAE ve Multimodal modeller.
Toplam Terim:53 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#321)Vision-Language Model (VLM)
Sonraki Terim (#323)Flamingo