Madde #174Transformers/sozluk/multi-head-latent-attention-mla
Multi-Head Latent Attention (MLA)
Türkçe: Çok Başlı Gizil Dikkat
Ayrıntılı Tanım
DeepSeek (DeepSeek-V2 ve V3) tarafından geliştirilen; Key ve Value vektörlerini saklamadan önce düşük boyutlu bir **gizil (latent) sıkıştırma uzayına** projekte eden ve çıkarımda bellek tasarrufunu zirveye taşıyan çığır açıcı mimaridir.
Ne İşe Yarar / Çözülen Problem
MHA'nın yüksek KV-Cache tüketimini GQA'dan bile katbekat daha fazla sıkıştırarak (%93'e varan VRAM tasarrufu) devasa bağlam pencerelerinde modelin performans kaybetmeden çalışmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
ve doğrudan saklanmaz. Bunun yerine ortak bir sıkıştırılmış gizil vektör (latent vector) hesaplanır ve önbellekte sadece bu ince vektör tutulur. Çıkarım anında matris absorpsiyonu ile çarpmalar birleştirilir.
Örnek Senaryo & Pratik Uygulama
4K video arşivini ham haliyle sunucuda tutmak yerine, yapay zekâ ile kalitesini hiç bozmadan ultra sıkıştırılmış gizli bir kod formatında saklayıp ekrana verirken anlık çözmek.
Benzer Terimlerden Farkı
GQA başlık sayısını azaltarak sıkıştırma yaparken, MLA doğrusal projeksiyonla gizil uzayda matematiksel rank sıkıştırması yapar; MHA seviyesinde tam model kapasitesini korur.
İlişkili Terimler (4)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#173)Longformer
Sonraki Terim (#175)Decoupled Rotary Embedding