Madde #423Kuantalama & Dağıtım/sozluk/time-to-first-token-ttft
Time-To-First-Token (TTFT)
Türkçe: İlk Belirtece Ulaşma Süresi
Ayrıntılı Tanım
Kullanıcının soruyu gönderip "Gönder" butonuna bastığı an ile, modelin ekranda ürettiği **ilk kelimenin belirdiği an** arasında geçen toplam gecikme süresidir (milisaniye cinsinden).
Ne İşe Yarar / Çözülen Problem
Kullanıcının sistemin hızına dair hissettiği ilk algıyı (tepki verme süresi) ölçer; arama motorlarında, sesli asistanlarda ve gerçek zamanlı diyalog sistemlerinde en kritik kullanıcı deneyimi metriğidir.
Nasıl Çalışır? (Teknik & Mekanizma)
Ağ gecikmesi, kuyruk bekleme süresi ve modelin tüm girdi metnini tek seferde işlediği **Prefill Aşaması** süresinin toplamından oluşur:
Örnek Senaryo & Pratik Uygulama
Bir restoranda siparişi verdikten sonra garsonun masanıza ilk ekmeği ve suyu getirme süresi: Masaya bir şey gelene kadar geçen o sabırsız bekleme anı.
Benzer Terimlerden Farkı
Metnin ne kadar hızlı aktığını değil; cevabın ne kadar çabuk başladığını ölçer.
İlişkili Terimler (3)
Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım
Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#422)KV-Cache Quantization
Sonraki Terim (#424)Time-Per-Output-Token (TPOT)