Serving Throughput

Serving Throughput (Tokens per Second per GPU / System Throughput)

Türkçe: Sunucu İşleme Kapasitesi / Sistem Verimi

Ayrıntılı Tanım

Bir yapay zekâ sunucusunun veya GPU kümesinin, belirli bir zaman diliminde (genellikle 1 saniyede) sisteme bağlı tüm eşzamanlı kullanıcılara toplamda üretebildiği **toplam kümülatif belirteç (token) miktarıdır**.

Ne İşe Yarar / Çözülen Problem

Bir yapay zekâ altyapısının ticari kârlılığını, elektrik maliyetini ve aynı anda kaç bin kullanıcıya hizmet verebileceğini belirleyen en temel kurumsal iş metriğidir.

Nasıl Çalışır? (Teknik & Mekanizma)

\text{Throughput} = \frac{\sum_{i=1}^{K} \text{Kullanıcı } i \text{'ye \ddot{u}retilen tokenlar}}{\text{Toplam S\ddot{u}re (Saniye)}}

Continuous Batching ve PagedAttention gibi teknolojiler Throughput değerini maksimize etmek için geliştirilmiştir.

Örnek Senaryo & Pratik Uygulama

Bir otoyol gişesinin kapasitesi: Tek bir arabanın gişeden kaç saniyede geçtiği değil (gecikme); gişeden 1 saat içinde toplam kaç bin aracın akıp geçtiği (işleme verimi).

Benzer Terimlerden Farkı

Bireysel kullanıcı gecikmesi (Latency) tek bir kişinin ne kadar beklediğini ölçerken; Throughput fabrikanın toplam üretim debisini ölçer.

İlişkili Terimler (4)

#412

Continuous Batching

Sürekli / Dinamik Yığınlama

Time-To-First-Token (TTFT)

İlk Belirtece Ulaşma Süresi