Latent Diffusion Models (LDM)

Latent Diffusion Models (Rombach et al., 2022)

Türkçe: Gizil Difüzyon Modelleri

Ayrıntılı Tanım

Difüzyon sürecini yüksek boyutlu ve hesaplama açısından çok pahalı olan ham piksel uzayında (

512 \times 512 \times 3

) çalıştırmak yerine; önceden eğitilmiş bir VAE ile sıkıştırılmış **düşük boyutlu gizil uzayda (latent space)** çalıştıran çığır açıcı mimaridir.

Ne İşe Yarar / Çözülen Problem

Difüzyon modellerinin gerektirdiği devasa GPU işlem gücünü ve bellek ayak izini yüzlerce kat azaltarak sıradan tüketici ekran kartlarında (Stable Diffusion devrimi) çalışmasını sağlamıştır.

Nasıl Çalışır? (Teknik & Mekanizma)

Resim önce bir VAE Kodlayıcı ile 8 kat sıkıştırılır (

512 \times 512 \rightarrow 64 \times 64

). Difüzyon ve gürültü temizleme işlemi bu minik

64 \times 64

'lük gizil matriste yapılır. İşlem bitince VAE Dekoderi bu gizil temsili tekrar yüksek çözünürlüklü piksele açar.

Örnek Senaryo & Pratik Uygulama

500 sayfalık bir romanı ham kelimeleriyle taşımak yerine, romanın 10 sayfalık çok yoğun bir şifreli özetini çıkarıp kurguyu bu özet üzerinde değiştirmek; sonra tek bir hamleyle tekrar 500 sayfalık kitaba dönüştürmek.

Benzer Terimlerden Farkı

Piksel difüzyon modelleri (Imagen gibi) ham piksellerle boğuşurken; LDM sadece semantik olarak zengin sıkıştırılmış gizil uzayda dans eder.

İlişkili Terimler (4)

Variational Autoencoder (VAE)

Varyasyonel Öz-Kodlayıcı

#298

U-Net

U-Net Mimarisi