Madde #424Kuantalama & Dağıtım/sozluk/time-per-output-token-tpot
Time-Per-Output-Token (TPOT)
Time-Per-Output-Token (TPOT / Inter-Token Latency)
Türkçe: Çıktı Belirteci Başına Süre / Belirteç Akış Hızı
Ayrıntılı Tanım
İlk kelime ekrana geldikten sonra, modelin metni yazarken **ardışık iki kelime arasında harcadığı ortalama süre** veya saniye başına ürettiği kelime hızıdır (Tokens Per Second - TPS).
Ne İşe Yarar / Çözülen Problem
Modelin konuşma veya yazma akıcılığını ölçer; eğer bu hız insanın ortalama okuma hızının (saniyede yaklaşık 5-8 kelime) altına düşerse sistem kullanıcıyı sıkar ve takılıyor hissi verir.
Nasıl Çalışır? (Teknik & Mekanizma)
Doğrudan **Decode Aşamasının** hızına ve bellek bant genişliğine bağlıdır:
Örnek Senaryo & Pratik Uygulama
Bir daktilo yazarının harfleri basma ritmi: Tık-tık-tık seslerinin akıcılığı; saniyede 30 kelime yazan hızlı bir katip ile her kelimede 2 saniye düşünen hantal bir katip arasındaki fark.
Benzer Terimlerden Farkı
TTFT ilk cevabın başlama anını ölçerken; TPOT cevabın akış hızını ölçer.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#423)Time-To-First-Token (TTFT)
Sonraki Terim (#425)Serving Throughput