Madde #466Donanım & GPU/sozluk/fp16-half-precision
FP16 (Half Precision)
IEEE 754 Half-Precision Floating-Point (FP16)
Türkçe: 16-Bit Yarı Hassasiyetli Kayan Nokta
Ayrıntılı Tanım
Bir ondalıklı sayıyı 1 işaret, 5 üs ve 10 anlamlı basamak biti olmak üzere toplam **16 bit (2 bayt)** ile temsil eden sıkıştırılmış kayan nokta formatıdır.
Ne İşe Yarar / Çözülen Problem
FP32'ye göre bellek tüketimini tam yarı yarıya azaltır; GPU Tensör çekirdeklerinde hesaplama hızını katlar.
Nasıl Çalışır? (Teknik & Mekanizma)
5 bitlik küçük üs hanesi nedeniyle dinamik aralığı oldukça dardır (maksimum 65.504 sayısını tutabilir). Gradyanlar bu sınırı aştığında patlar (overflow), çok küçüldüğünde ise sıfıra yuvarlanıp yok olur (underflow). Bu yüzden Kayıp Ölçekleme (Loss Scaling) ile birlikte kullanılır.
Örnek Senaryo & Pratik Uygulama
Küçük bir cep cetveli: İşinizi çok hızlandırır ve cebinizde hiç yer kaplamaz; ancak çok devasa gökdelenleri veya milimetrenin milyonda birini bu cetvelle ölçmeye çalışırsanız cetvel yetersiz kalır.
Benzer Terimlerden Farkı
bfloat16'ya göre kesir hassasiyeti daha yüksektir (10 bit vs 7 bit); ancak dinamik aralığı çok daha dardır ve eğitimde patlama riski taşır.
İlişkili Terimler (3)
Donanım, Hesaplama Mimarisi ve GPU Hızlandırma
NVIDIA GPU mimarileri, TPU, Tensor Core, HBM, FP8/FP16 hesaplama ve CUDA.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#465)FP32 (Single Precision)
Sonraki Terim (#467)bfloat16 (Brain Floating Point)