bfloat16 (Brain Floating Point)

Brain Floating Point 16-bit (Google Brain)

Türkçe: Beyin Kayan Nokta Formatı (BF16)

Ayrıntılı Tanım

Google Brain tarafından derin öğrenme için özel olarak tasarlanan; tıpkı FP32 gibi **8 bit üs (exponent)** taşıyan, ancak kesir (mantissa) kısmını 7 bite budayarak toplamda **16 bit** yer kaplayan formattır.

Ne İşe Yarar / Çözülen Problem

FP16'nın en büyük kabusu olan sayısal taşma (overflow) ve gradyan patlaması riskini tamamen ortadan kaldırır; modern LLM eğitimlerinin (LLaMA, GPT-4) fiili endüstri standardıdır.

Nasıl Çalışır? (Teknik & Mekanizma)

FP32'nin dinamik aralığını (

\approx 10^{38}

) birebir korur. Bu sayede eğitim sırasında hiçbir karmaşık Kayıp Ölçekleme (Loss Scaling) hilesine gerek kalmadan model pürüzsüzce eğitilir.

Örnek Senaryo & Pratik Uygulama

Bir teleskop: En uzak galaksileri bile kadrajına alabilir (geniş dinamik aralık); görüntünün sadece piksel netliğinden hafifçe feragat eder ama hiçbir yıldızı kadraj dışına kaçırmaz.

Benzer Terimlerden Farkı

FP16 dar aralıklı ama hassasken; BF16 geniş aralıklı ve sağlamdır. Derin öğrenme için geniş aralık, yüksek hassasiyetten katbekat daha önemlidir.

İlişkili Terimler (4)

#466

FP16 (Half Precision)

16-Bit Yarı Hassasiyetli Kayan Nokta

#465

FP32 (Single Precision)

32-Bit Tek Hassasiyetli Kayan Nokta

#460

TPU (Tensor Processing Unit)

Tensör İşlem Birimi