PagedAttention

PagedAttention (Kwon et al., UC Berkeley 2023)

Türkçe: Sayfalanmış Dikkat Mekanizması

Ayrıntılı Tanım

İşletim sistemlerinin sanal bellek yönetimindeki **Sayfalama (Paging)** mantığını büyük dil modellerinin KV-Cache yönetimine uyarlayan; KV tensörlerini bitişik fiziksel VRAM bloklarında tutmak yerine, belleği küçük sayfalara (pages) bölüp dinamik tablolarda eşleyen çığır açıcı algoritmadır.

Ne İşe Yarar / Çözülen Problem

LLM sunucularındaki en büyük felaket olan **bellek parçalanmasını (fragmentation)** ve gelecekte ne kadar token üretileceği bilinemediği için ayrılan devasa güvenlik payı israfını sıfırlar; GPU bellek israfını %60-80'den neredeyse %0'a indirir (vLLM'in temelidir).

Nasıl Çalışır? (Teknik & Mekanizma)

Fiziksel bellek sabit boyutlu bloklara (örneğin 16 tokenlık sayfalara) bölünür. Mantıksal bloklar fiziksel bloklara bir Sayfa Tablosu (Page Table) üzerinden bağlanır. Bellek ancak yeni token üretildikçe sayfa sayfa tahsis edilir; bitişik olma zorunluluğu yoktur.

Örnek Senaryo & Pratik Uygulama

Bir otelde müşteriye kaç gün kalacağını bilmediğiniz için koca bir katı baştan rezerve edip kilitlemek yerine; müşteri kaldığı her yeni gece için ona otelin rastgele boş bir odasının anahtarını vermek.

Benzer Terimlerden Farkı

Dikkat formülünü veya model ağırlıklarını değiştirmez; sadece belleğin GPU VRAM'inde nasıl depolandığını sanallaştırır.

İlişkili Terimler (3)

#168

KV-Cache

Anahtar-Değer Önbelleklemesi

#412

Continuous Batching

Sürekli / Dinamik Yığınlama

#417

vLLM

vLLM Çıkarım Motoru

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#412)Continuous Batching

Sonraki Terim (#414)Chunked Prefill