Madde #76Derin Öğrenme/sozluk/gradient-checkpointing
Gradient Checkpointing
Gradient Checkpointing (Rematerialization)
Türkçe: Gradyan Kontrol Noktası / Yeniden Hesaplama
Ayrıntılı Tanım
Aktivasyon kontrol noktalamanın geri yayılım bağlamındaki adı olup; geriye doğru gradyan akarken ihtiyaç duyulan ara tensörlerin bellekte tutulmayıp ileriye doğru anlık olarak yeniden türetilmesidir.
Ne İşe Yarar / Çözülen Problem
Devasa Transformer bloklarının (LLM'lerin) tek bir GPU kümesine sığmasını sağlar; eğitim için gerekli tepe VRAM kullanımını radikal biçimde düşürür.
Nasıl Çalışır? (Teknik & Mekanizma)
Hesaplama grafiği (computational graph) segmentlere ayrılır. Sadece segment sınırındaki tensörler kilitlenir. Geriye yayılım o segmente geldiğinde ileri yönlü hesaplama küçük bir lokal blokta tekrar çalıştırılır.
Örnek Senaryo & Pratik Uygulama
Bütün kitabı ezberinde tutamayan öğrencinin, sadece sayfa başlarını işaretleyip sınav anında o iki sayfa arasındaki bağlantıyı kafasından saniyeler içinde baştan kurması.
Benzer Terimlerden Farkı
Activation Checkpointing ile aynı mimari sürecin geriye yayılım fazına vurgu yapan adıdır.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#75)Activation Checkpointing
Sonraki Terim (#77)Symmetry Breaking