Madde #414Kuantalama & Dağıtım/sozluk/chunked-prefill
Chunked Prefill
Chunked Prefill (Sarathi / vLLM)
Türkçe: Parçalı Ön-Doldurma
Ayrıntılı Tanım
Kullanıcının gönderdiği binlerce kelimelik devasa bir girdi komutunun (Prompt Prefill) KV-Cache hesaplamasını tek bir dev patlama halinde yapıp GPU'yu kilitlemek yerine; bu ön-doldurma işlemini **küçük parçalara bölerek devam eden diğer metin üretme (Decode) adımlarıyla harmanlayan** zamanlama tekniğidir.
Ne İşe Yarar / Çözülen Problem
Bir kullanıcı sisteme 50 sayfalık bir PDF yüklediğinde, diğer tüm kullanıcıların metin üretiminin saniyelerce donması (spikes in time-to-first-token) felaketini engeller; sistemin pürüzsüz akmasını sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Örneğin 4096 tokenlık dev girdi, 512'şer tokenlık parçalara ayrılır. Her döngüde bir parça girdi işlenirken, araya diğer oturumların birer tokenlık decode adımları serpiştirilir (compute saturation optimizasyonu).
Örnek Senaryo & Pratik Uygulama
Süpermarkette önünüzdeki müşterinin 5 alışveriş arabası dolusu eşyayla gelmesi: Kasiyerin onun tüm arabalarını tek seferde okutup kuyruğu kitlemesi yerine; bir araba okutup araya arkadaki tek ekmek alan müşteriyi alması.
Benzer Terimlerden Farkı
Prefill ile Decode fazlarının donanımsal çakışmasını çözen ileri düzey bir çıkarım zamanlayıcısıdır (scheduler).
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#413)PagedAttention
Sonraki Terim (#415)Prefill vs. Decode Phase