State Space Models (SSM)

State Space Models

Türkçe: Durum Uzayı Modelleri

Ayrıntılı Tanım

Kontrol kuramı ve fiziksel sistemlerin diferansiyel denklemlerinden türetilen; sürekli bir zaman akışını gizli bir durum vektörü üzerinden modelleyerek **doğrusal zamanda (

O(N)

) ve sabit bellekle** dizi işleyen yeni nesil mimariler ailesidir.

Ne İşe Yarar / Çözülen Problem

Transformer mimarisinin dizi uzunluğuna bağlı karesel bellek ve işlem maliyetini (

O(N^2)

) yıkar; milyonlarca token uzunluğundaki dizileri tek bir GPU'da bellek patlamadan işlemeyi mümkün kılar.

Nasıl Çalışır? (Teknik & Mekanizma)

Sürekli zaman denklemleriyle tanımlanır:

h'(t) = A h(t) + B x(t), \quad y(t) = C h(t) + D x(t)

Bu diferansiyel sistem ayrıklaştırılarak (discretization) hem bir RNN gibi adım adım hem de bir CNN gibi paralel evrişimle çözülebilir.

Örnek Senaryo & Pratik Uygulama

Bir uçağın otopilot sistemi: Uçağın tüm geçmiş uçuş rotasını hafızasında tutmaz; sadece o anki irtifa, hız ve rüzgar durum vektörünü (

h

) güncelleyerek geleceği kusursuz yönetir.

Benzer Terimlerden Farkı

Transformer tüm geçmiş kelimeleri açık bir dikkat matrisinde saklarken; SSM tüm geçmişi sabit boyutlu gizli bir durum tüpünde sıkıştırarak taşır.

İlişkili Terimler (4)

#264

Structured State Space Sequence Model (S4)

Yapılandırılmış Durum Uzayı Dizilim Modeli

Doğrusal Dikkat Mekanizması

#111

Recurrent Neural Network (RNN)

Özyinelemeli / Yinelemeli Sinir Ağı

Ait Olduğu Kategori

Seyrek, Koşullu ve Hibrit Mimariler

Mixture of Experts (MoE), State Space Models (Mamba), RWKV ve hibrit ağlar.

Toplam Terim:29 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#262)Mixture-of-Depths-and-Experts (MoDE)

Sonraki Terim (#264)Structured State Space Sequence Model (S4)