Hybrid SSM-Transformer

Hybrid SSM-Transformer Architecture

Türkçe: Hibrit Durum Uzayı - Transformer Mimarisi

Ayrıntılı Tanım

Modelin tüm katmanlarını sadece Attention veya sadece SSM yapmak yerine; mimariye **belirli oranlarda SSM (Mamba) blokları ile klasik Transformer (Self-Attention) bloklarını ardışık veya harmanlayarak** yerleştiren hibrit yaklaşımdır.

Ne İşe Yarar / Çözülen Problem

Saf SSM modellerinin karmaşık ezber ve iğne-samanlıkta (needle-in-a-haystack) arama görevlerindeki hafif zayıflığını; Transformer'ların ise karesel bellek krizini çözer. İki mimarinin en iyi yönlerini birleştirir.

Nasıl Çalışır? (Teknik & Mekanizma)

Genellikle her 4-8 Mamba bloğunun ardından 1 adet tam Self-Attention katmanı konulur. Mamba yerel bağlamı ve uzun sekansları ucuza taşırken, aradaki Attention katmanı küresel kilit noktaları birbirine bağlar.

Örnek Senaryo & Pratik Uygulama

Jamba ve Zamba modelleri: Katman şemasında bir Mamba, bir Attention, bir MoE bloğunun lego gibi dizilmesi.

Benzer Terimlerden Farkı

Tek bir mimariye körü körüne sadık kalmaz; uzun bağlam hızını ve keskin dikkat yeteneğini sentezler.

İlişkili Terimler (3)