Prefill vs. Decode Phase

Prefill Phase vs. Decode (Generation) Phase

Türkçe: Ön-Doldurma ve Kod Çözme Aşamaları

Ayrıntılı Tanım

Bir büyük dil modelinin çıkarım yaşam döngüsündeki tamamen zıt donanım karakteristiği gösteren iki ana safhadır: * **Prefill:** Kullanıcının gönderdiği tüm komutun paralel olarak tek seferde işlenip KV-Cache'in doldurulduğu aşama. * **Decode:** Modelin kelimeleri tek tek, otoregresif olarak adım adım ürettiği aşama.

Ne İşe Yarar / Çözülen Problem

Çıkarım sistemlerinin nerede işlemci gücüne (Compute-Bound), nerede bellek bant genişliğine (Memory-Bound) takıldığını anlamayı ve sunucu mimarisini optimize etmeyi sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

* *Prefill:* Tüm girdi matrisi aynı anda çarpılır. GPU Tensör Çekirdekleri %100 doyar (Compute-Bound). * *Decode:* Her adımda tek bir token üretilir. Devasa model ağırlıkları VRAM'den tek bir token için okunur; GPU bellek bant genişliği darboğazına girer (Memory-Bound).

Örnek Senaryo & Pratik Uygulama

* *Prefill:* Bir roman yazarının kendisine verilen 100 sayfalık brifi 5 dakikada hızlıca okuyup hafızasına atması (hızlı ve yoğun). * *Decode:* Ardından daktilonun başına geçip dakikada 30 kelimeyle romanı harf harf yazmaya başlaması (yavaş ve ardışık).

Benzer Terimlerden Farkı

Aynı modelin içindeki iki tamamen farklı fiziksel çalışma rejimidir; Prefill