Madde #323Görü & Multimodal/sozluk/flamingo
Flamingo
Flamingo (Alayrac et al., DeepMind 2022)
Türkçe: Flamingo Çok Modlu Mimarisi
Ayrıntılı Tanım
Dondurulmuş devasa bir görsel model ile dondurulmuş bir dil modelini, aralara serpiştirilen **Kapılı Çapraz Dikkat (Gated Cross-Attention)** katmanlarıyla birbirine bağlayan ve metin ile görsellerin iç içe geçtiği (interleaved) web belgelerini az örnekle (few-shot) kusursuz işleyen modeldir.
Ne İşe Yarar / Çözülen Problem
Görsel ve metin modellerini sıfırdan eğitme maliyetini yok eder; birkaç görsel örnek gösterildiğinde yepyeni görevleri sıfır eğitimle (few-shot visual learning) çözer.
Nasıl Çalışır? (Teknik & Mekanizma)
Değişken sayıda görseli sabit boyuta indirgemek için bir **Perceiver Resampler** kullanır. Dil modelinin ağırlıkları kilitlidir; sadece araya eklenen çapraz dikkat blokları eğitilir. Kapılama katsayısı () başlangıçta sıfırdır, böylece model eğitim başlarken dil yeteneğini hiç kaybetmez.
Örnek Senaryo & Pratik Uygulama
Bir gazete makalesi: 1. paragraf metin, araya 1 fotoğraf, sonra 2 paragraf metin, araya 1 grafik. Flamingo bu karmaşık akışı hiç zorlanmadan tek bir nehir gibi baştan sona okur.
Benzer Terimlerden Farkı
LLaVA sadece tek bir görseli komutun başına eklerken; Flamingo metin ve görselin çorba gibi karıştığı çoklu görselli uzun dökümanları işleyebilir.
İlişkili Terimler (2)
Bilgisayarlı Görü, Çok Modlu ve Üretken Yapay Zekâ
CNN, Vision Transformers (ViT), Diffusion, GAN, VAE ve Multimodal modeller.
Toplam Terim:53 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#322)LLaVA
Sonraki Terim (#324)Segment Anything Model (SAM)