Mixture-of-Depths (MoD)

Mixture-of-Depths (Raposo et al., Google DeepMind 2024)

Türkçe: Derinlikler Karışımı

Ayrıntılı Tanım

MoE'nin uzmanları seçtiği gibi, bu kez Transformer katmanlarının hesaplamasını dinamik olarak seçen; her tokenın **tüm katmanlardan geçmek zorunda olmadığı**, kolay tokenların bazı katmanları doğrudan atladığı (bypass ettiği) mimaridir.

Ne İşe Yarar / Çözülen Problem

Dil modellerinin "ve", "bir" gibi basit dolgu kelimeleri için de en zor mantık kelimeleri kadar derin hesaplama gücü harcaması israfını çözer; FLOP bütçesini %50 düşürür.

Nasıl Çalışır? (Teknik & Mekanizma)

Her blokta bir yönlendirici tokenları puanlar. Sadece en yüksek puanlı ilk %50 token dikkat ve FFN katmanına girer; kalan tokenlar artık bağlantı (residual connection) üzerinden katmanı doğrudan atlar.

Örnek Senaryo & Pratik Uygulama

Otoyoldaki ekspres gişe: Ağır yük taşıyan tırlar detaylı kantar istasyonuna girerken (tüm katmanları işleme), hafif binek araçların doğrudan transit yoldan geçip gitmesi (katmanı atlama).

Benzer Terimlerden Farkı

MoE modeli enine (genişlemesine) seyrekleştirirken; MoD modeli boyuna (derinlemesine) seyrekleştirir.

İlişkili Terimler (3)

#262

Mixture-of-Depths-and-Experts (MoDE)

Derinlik ve Uzmanlar Karışımı

#246

Mixture of Experts (MoE)

Uzmanlar Karışımı Mimarisi

#93

Residual Connections

Artık Bağlantılar / Kestirme Yollar

Ait Olduğu Kategori

Seyrek, Koşullu ve Hibrit Mimariler

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#260)Top-2 Gating

Sonraki Terim (#262)Mixture-of-Depths-and-Experts (MoDE)