Madde #321Görü & Multimodal/sozluk/vision-language-model-vlm
Vision-Language Model (VLM)
Türkçe: Görüntü-Dil Modeli
Ayrıntılı Tanım
Bir görsel kodlayıcı (Vision Encoder) ile gelişmiş bir büyük dil modelini (LLM) birbirine bağlayarak; kendisine verilen görseller hakkında derin sohbet edebilen, resimdeki detayları açıklayan, grafikleri okuyan ve soruları yanıtlayan üretken modeldir.
Ne İşe Yarar / Çözülen Problem
GPT-4V, Claude 3.5 Sonnet ve Google Gemini'nin görme yeteneğini açıklar; resimlerin içeriği hakkında serbest dille akıl yürütülmesini sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Görsel önce ViT ile işlenir ve bir projeksiyon katmanı (örneğin MLP) ile görsel özellikleri dil modelinin kelime gömme (embedding) boyutuna eşitlenir. LLM için bu görsel özellikleri adeta cümlenin başındaki yabancı bir dilde yazılmış tokenlarmış gibi okunur.
Örnek Senaryo & Pratik Uygulama
Kullanıcının cep telefonuyla buzdolabının içini çekip modele atması ve `"Bu malzemelerle bu akşam hangi yemeği yapabilirim?"` diye sorması; modelin malzemeleri tek tek tanıyıp menü tarifini yazması.
Benzer Terimlerden Farkı
CLIP sadece benzerlik puanı verirken; VLM resim hakkında sayfalarca makale, kod veya şiir yazabilir.
İlişkili Terimler (4)
Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ
CNN, Vision Transformers (ViT), Diffusion, GAN, VAE ve Multimodal modeller.
Toplam Terim:53 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#320)Contrastive Language-Image Pre-training (CLIP)
Sonraki Terim (#322)LLaVA