Madde #412Kuantalama & Dağıtım/sozluk/continuous-batching
Continuous Batching
Continuous Batching (Dynamic / Iteration-Level Batching / Orca, OSDI 2022)
Türkçe: Sürekli / Dinamik Yığınlama
Ayrıntılı Tanım
Gelen kullanıcı isteklerini statik paketler halinde bekletip gruptaki en uzun metin bitene kadar tüm GPU'yu kilitlemek yerine; **her bir belirteç (token) üretim iterasyonunda** işi biten istekleri anında gruptan çıkaran ve yeni gelen istekleri anında gruba dahil eden dinamik sunucu yığınlama algoritmasıdır.
Ne İşe Yarar / Çözülen Problem
Klasik sunucularda kısa bir yanıt bekleyen kullanıcının, uzun bir roman yazdıran diğer kullanıcı yüzünden dakikalarca beklemesi adaletsizliğini ve GPU kaynak israfını çözer; sunucu verimini 10 kat artırır.
Nasıl Çalışır? (Teknik & Mekanizma)
Her ileri geçiş döngüsünde yığın dinamik olarak güncellenir. . kullanıcı `<EOS>` (metin sonu) tokenı ürettiği anda yuvası boşalır; kuyrukta bekleyen yeni kullanıcının isteği bir sonraki döngüde hemen o boş yuvaya enjekte edilir.
Örnek Senaryo & Pratik Uygulama
Dönme dolap benzetimi: Dönme dolabın tüm kabinlerinin aynı anda dolup aynı anda boşalmasını beklemek yerine; dolap sürekli dönerken alt istasyona gelen kabinden inen yolcunun yerine anında yeni yolcunun binmesi.
Benzer Terimlerden Farkı
İstek seviyesinde (Request-Level) değil; iterasyon/token seviyesinde (Iteration-Level) çalışır. vLLM ve TGI gibi tüm modern çıkarım motorlarının temel standardıdır.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#411)Medusa
Sonraki Terim (#413)PagedAttention