Speculative Decoding

Speculative Decoding / Speculative Sampling (Leviathan et al., Google 2023)

Türkçe: Spekülatif / Tahmini Kod Çözme

Ayrıntılı Tanım

Büyük ve yavaş bir ana modelin (Target Model) her adımı tek tek hesaplaması yerine; küçük ve ultra hızlı bir taslak modelin (Draft Model) önceden hızlıca birkaç kelimelik bir taslak üretmesi ve ana modelin bu kelimeleri **tek bir paralel ileri geçişte topluca onaylayıp veya reddetmesi** mantığına dayanan çıkarım hızlandırma tekniğidir.

Ne İşe Yarar / Çözülen Problem

Dil modellerinin doğruluk kalitesini veya çıktının olasılık dağılımını zerre kadar bozmadan (sıfır kalite kaybıyla) çıkarım hızını 2 ila 3 kat artırır.

Nasıl Çalışır? (Teknik & Mekanizma)

1. Küçük taslak model (örneğin 1B) hızla 4-5 token üretir. 2. Büyük model (örneğin 70B) bu 5 tokenı tek bir paralel matris çarpımıyla aynı anda denetler. 3. Büyük model ilk 3 tokenı onaylar, 4. tokenı reddeder ve kendi doğru bildiği tokenı koyup devam eder.

Örnek Senaryo & Pratik Uygulama

Kıdemli bir profesör ile stajyeri: Stajyer raporun taslağını hızla yazar; profesör kağıda tek bir bakışta bakar, doğru kısımları hızlıca onaylayıp hatalı kelimenin üzerini çizerek düzeltir.

Benzer Terimlerden Farkı

Modeli sıkıştırmaz veya kuantalamaz; donanımın paralel işleme kapasitesini kullanarak matematiksel olarak orijinal modelle birebir aynı çıktıyı daha hızlı üretir.

İlişkili Terimler (3)

#411

Medusa

Medusa Çok Başlı Kod Çözme Mimarisi

#195

Multi-Token Prediction (MTP)

Çoklu Belirteç Tahmini

#168

KV-Cache

Anahtar-Değer Önbelleklemesi

Ait Olduğu Kategori

Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization (INT8/4), Pruning, Distillation, TensorRT, vLLM ve ONNX çıkarımı.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#409)SmoothQuant

Sonraki Terim (#411)Medusa