Sözlüğe Dön/Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ/Contrastive Language-Image Pre-training (CLIP)
#319 Multimodal AI#321 Vision-Language Model (VLM)
Madde #320Görü & Multimodal/sozluk/contrastive-language-image-pre-training-clip

Contrastive Language-Image Pre-training (CLIP)

Contrastive Language-Image Pre-training (Radford et al., OpenAI 2021)

Türkçe: Karşıtlamalı Dil-Görüntü Ön-Eğitimi (CLIP)
Ayrıntılı Tanım
İnternetten toplanan 400 milyon görsel-metin çiftini kullanarak; bir Görsel Kodlayıcı (Vision Transformer) ile bir Metin Kodlayıcıyı (Text Transformer) aynı vektör uzayında buluşturan ve birbirine uyan çiftleri yaklaştırıp uymayanları iten devrimci modeldir.
Ne İşe Yarar / Çözülen Problem
Bilgisayarlı görüde sabit 1000 sınıflı (ImageNet) katı sınıflandırma krizini bitirmiştir; sıfır örnekle (zero-shot) aklınıza gelen her türlü nesneyi hiçbir ek eğitim olmadan metinle aratıp tanımayı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
N×NN \times N'lik bir benzerlik matrisi kurulur. Doğru eşleşen köşegen elemanların kosinüs benzerliği maksimize edilirken, yanlış eşleşen N2−NN^2 - N adet çapraz elemanın benzerliği InfoNCE (kontrastif kayıp) ile bastırılır.
Örnek Senaryo & Pratik Uygulama
Milyonlarca fotoğraf arasından arama çubuğuna `"Gözlük takmış sarı kedi"` yazdığınız anda, bu cümlenin vektörü ile fotoğrafın vektörünün uzayda üst üste binip anında eşleşmesi.
Benzer Terimlerden Farkı
Resmin altındaki pikseli üretmez veya açıklama metni yazmaz; sadece metin ile görüntünün anlamsal olarak ne kadar benzediğini puanlar.
İlişkili Terimler (3)
#299
Vision Transformer (ViT)
Görsel Dönüştürücü / Görüntü Transformer'ı
#316
Stable Diffusion
Kararlı Difüzyon
#319
Multimodal AI
Çok Modlu Yapay Zekâ
Ait Olduğu Kategori

Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ

CNN, Vision Transformers (ViT), Diffusion, GAN, VAE ve Multimodal modeller.

Toplam Terim:53 Madde
Bu Kategorideki Tüm Terimleri Gör →
Önceki Terim (#319)Multimodal AI
Sonraki Terim (#321)Vision-Language Model (VLM)