Madde #176Transformers/sozluk/matrix-absorption-trick
Matrix Absorption Trick
Türkçe: Matris Absorpsiyonu / Yutma Numarası
Ayrıntılı Tanım
MLA mimarisinde çıkarım (inference) yapılırken, saklanan gizil vektörü tekrar devasa ve matrislerine açmak yerine; projeksiyon matrislerini önceden matematiksel olarak ve matrislerinin içine çarparak "yutan" ve yok eden cebirsel hiledir.
Ne İşe Yarar / Çözülen Problem
Çıkarım sırasında devasa Key ve Value matrislerini yeniden inşa etme hesaplama maliyetini tamamen sıfırlar; GPU bellek bant genişliğini olağanüstü rahatlatır.
Nasıl Çalışır? (Teknik & Mekanizma)
Lineer cebirdeki birleşme özelliği kullanılır:
matrisi doğrudan vektörünün içine absorbe edilir (). Böylece ara aşamadaki devasa tensörü hiç var olmadan doğrudan gizil vektörle çarpım yapılır.
Örnek Senaryo & Pratik Uygulama
İki şirketin birleşmesi: A şirketinin B şirketiyle ticaret yaparken sürekli aracı noter tutması yerine, B şirketini doğrudan satın alıp kendi bünyesine katması (aracı maliyetini yutması).
Benzer Terimlerden Farkı
Bir model mimarisi değil; çıkarım donanımını hızlandıran saf bir lineer cebir optimizasyon tekniğidir.
İlişkili Terimler (3)
Transformer Mimarisi ve Dikkat Mekanizmaları
Self-attention, Multi-Head Attention, RoPE, KV-Cache ve Transformer anatomisi.
Toplam Terim:37 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#175)Decoupled Rotary Embedding
Sonraki Terim (#177)TransMLA