Madde #75Derin Öğrenme/sozluk/activation-checkpointing
Activation Checkpointing
Türkçe: Aktivasyon Kontrol Noktaları Belirleme
Ayrıntılı Tanım
Derin sinir ağlarının eğitimi sırasında, ileri geçişte üretilen tüm ara aktivasyonları GPU belleğinde (VRAM) saklamak yerine sadece belirli kontrol noktalarını saklayan bellek optimizasyon yöntemidir.
Ne İşe Yarar / Çözülen Problem
GPU'ların bellek yetersizliği (Out Of Memory - OOM) yüzünden dev modellerin veya uzun metin dizilerinin eğitilememesi problemini çözer.
Nasıl Çalışır? (Teknik & Mekanizma)
Saklanmayan ara katman aktivasyonları geri yayılım (backward pass) sırasında ihtiyaç duyuldukça yerinde **tekrar hesaplanır (recomputed)**. Hafızadan %70'e varan tasarruf sağlanırken işlem süresi yaklaşık %20-30 uzar.
Örnek Senaryo & Pratik Uygulama
Uzun bir video oyununda her saniyeyi kaydetmek yerine sadece bölüm başlarında (checkpoint) kayıt almak; öldüğünüzde en son checkpoint'ten o ana kadar olan kısmı hızlıca tekrar oynamak.
Benzer Terimlerden Farkı
Gradient Checkpointing ile pratikte eş anlamlı kullanılır; hafıza ile işlemci zamanı (compute vs. memory tradeoff) arasındaki bilinçli bir takastır.
İlişkili Terimler (3)
Derin Öğrenme Temelleri ve Temsil Öğrenmesi
Yapay sinir ağları, aktivasyon fonksiyonları, geri yayılım ve tensör temelleri.
Toplam Terim:52 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#74)Chain Rule
Sonraki Terim (#76)Gradient Checkpointing