Madde #299Görü & Multimodal/sozluk/vision-transformer-vit
Vision Transformer (ViT)
Vision Transformer (Dosovitskiy et al., Google 2020)
Türkçe: Görsel Dönüştürücü / Görüntü Transformer'ı
Ayrıntılı Tanım
Görüntüleri evrişim (CNN) katmanları kullanmadan, tıpkı bir metin cümlesi gibi piksellik **küçük görsel yamalara (patches)** bölerek saf standart Transformer mimarisiyle işleyen devrimci bilgisayarlı görü modelidir.
Ne İşe Yarar / Çözülen Problem
CNN'lerin yerel filtre kısıtını yıkar; bir görüntünün sağ üst köşesindeki bir detay ile sol alt köşesindeki bir detay arasında ilk katmandan itibaren doğrudan küresel dikkat (Self-Attention) kurulmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
1. Görüntü adet yamaya bölünür (örneğin 196 yama).
2. Her yama düzleştirilip doğrusal projeksiyonla bir vektöre dönüştürülür (Patch Embedding).
3. Konumsal gömmeler eklenir ve standart Transformer Encoder bloğuna verilir.
Örnek Senaryo & Pratik Uygulama
Bir yapboz (puzzle) oyununun parçaları: Fotoğrafı 16 karelik parçalara bölüp bir masaya dizmek; Transformer'ın bu parçaların birbiriyle olan mantıksal uyumuna aynı anda dikkat kesilmesi.
Benzer Terimlerden Farkı
CNN'lerin güçlü "tümevarımsal önyargısı" (yerellik) ViT'te yoktur; bu yüzden küçük verilerde CNN daha iyidir ancak milyarlarca veriye sahip dev veri setlerinde ViT tüm CNN'leri ezip geçer.
İlişkili Terimler (4)
Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ
CNN, Vision Transformers (ViT), Diffusion, GAN, VAE ve Multimodal modeller.
Toplam Terim:53 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#298)U-Net
Sonraki Terim (#300)Swin Transformer