Mixed Precision Training (Karma Hassasiyetli Eğitim)

Mixed Precision Training (Micikevicius et al., NVIDIA 2017)

Türkçe: Karma Hassasiyetli Eğitim (AMP)

Ayrıntılı Tanım

Modelin ileri ve geri geçiş matris çarpımlarını hızlı ve hafif 16-bit formatında (FP16/BF16) yürütürken; ağırlıkların ana kopyasını ve optimize edici güncellemelerini sayısal kararlılık için **32-bit (FP32) ana ağırlıklarda (master weights)** saklayan hibrit eğitim metodolojisidir.

Ne İşe Yarar / Çözülen Problem

FP32'nin sunduğu kusursuz eğitim kararlılığı ile 16-bit'in sunduğu 3-4 kat hız ve %50 VRAM tasarrufunu aynı anda elde etmeyi sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

1. FP32 ağırlıklar FP16'ya kopyalanır. 2. İleri geçiş ve geriye yayılım Tensör çekirdeklerinde FP16 ile hızla hesaplanır. 3. Küçük gradyanları korumak için Kayıp Ölçekleme (Loss Scaling) uygulanır. 4. Optimize edici (Adam) nihai güncellemeyi FP32 ana ağırlıkların üzerine yazar.

Örnek Senaryo & Pratik Uygulama

Bir heykeltıraşın heykeli hızla yontarken hafif ve pratik keskiler (FP16) kullanması; ancak heykelin ana ölçülerini ve projesini çelik bir ana cetvelle (FP32) kontrol edip onaylaması.

Benzer Terimlerden Farkı

Saf FP16 gibi sayısal taşmalar yüzünden eğitimi patlatmaz; saf FP32 gibi donanımı gereksiz yere yavaşlatmaz.

İlişkili Terimler (4)

#465

FP32 (Single Precision)

32-Bit Tek Hassasiyetli Kayan Nokta

#466

FP16 (Half Precision)

16-Bit Yarı Hassasiyetli Kayan Nokta

#467

bfloat16 (Brain Floating Point)

Beyin Kayan Nokta Formatı (BF16)