kodlama.org Açık Bilgi Bankası

Yapay Zekâ Sözlüğü

Klasik Makine Öğrenmesinden AGI ve Süperzekâ vizyonuna kadar 16 kategoride 605 terim. Her kavram için teknik mekanizma, sezgisel açıklama, formüller ve pratik kullanım senaryoları.

⚡ 605 Özgün Terim📂 16 Kategori📐 Matematiksel Formüller
Harf:
Kategoriler (16)
Toplam 52 terim bulundu(Derin Öğrenme Temelleri ve Temsil Öğrenmesi)Gösterilen: 1 - 24
#73Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Backpropagation

Geriye Yayılım Algoritması

Modelin çıktısındaki hata payını hesaplayıp, bu hatayı çıktıdan girdiye doğru geriye doğru dağıtarak her bir ağırlığın hatadaki payını (gradyanını) hesaplayan temel derin öğrenme eğitim algoritmasıdır.
Ayrıntılı Rehber→
#74Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Chain Rule

Zincir Kuralı

Bileşke fonksiyonların türevini hesaplamak için kullanılan; ara değişkenlerin türevlerinin ardışık olarak birbiriyle çarpılmasını sağlayan kalkülüs ilkesidir.
Ayrıntılı Rehber→
#77Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Symmetry Breaking

Simetri Kırma

Bir yapay sinir ağındaki nöronların hepsinin aynı başlangıç ağırlıklarına sahip olması durumunda hepsinin tıpatıp aynı gradyanı alıp aynı şeyi öğrenmesini engellemek için ağırlıkları kasıtlı olarak farklı/rastgele başlatma ilkesidir.
Ayrıntılı Rehber→
#82Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Exploding Gradients

Gradyan Patlaması Problemi

Geriye yayılım sırasında 1'den büyük türevlerin ve ağırlıkların zincirleme çarpılması sonucu gradyanların katlanarak büyümesi, ağırlıkların `NaN` (Not a Number) değerine dönüşmesi ve eğitimin çökmesidir.
Ayrıntılı Rehber→
#85Derin Öğrenme Temelleri ve Temsil Öğrenmesi

ReLU

Düzeltilmiş Doğrusal Birim

Negatif girdiler için kesinlikle 0, pozitif girdiler içinse girdinin bizzat kendisini (xx) döndüren; derin öğrenme devrimini başlatan parçalı doğrusal aktivasyon fonksiyonudur.
Ayrıntılı Rehber→
#86Derin Öğrenme Temelleri ve Temsil Öğrenmesi

LeakyReLU

Sızıntılı ReLU

ReLU'nun negatif bölgede tamamen 0 verip nöronların kalıcı olarak ölmesine (Dying ReLU) engel olmak için, negatif girdilere sıfıra yakın küçük bir eğim (genellikle 0.01) veren fonksiyondur.
Ayrıntılı Rehber→
#87Derin Öğrenme Temelleri ve Temsil Öğrenmesi

ELU

Üstel Doğrusal Birim

Pozitif girdiler için aynen geçen, negatif girdilerde ise sıfır yerine yumuşak bir üstel fonksiyonla negatif bir asimptota (−α-\alpha) yaklaşan aktivasyon fonksiyonudur.
Ayrıntılı Rehber→
#88Derin Öğrenme Temelleri ve Temsil Öğrenmesi

GELU

Gauss Hata Doğrusal Birimi

Girdiyi, standart normal dağılımın kümülatif olasılığı ile çarparak ağırlıklandıran; modern LLM'lerin (BERT, GPT-2, GPT-3) standart olarak kullandığı olasılıksal aktivasyon fonksiyonudur.
Ayrıntılı Rehber→
#89Derin Öğrenme Temelleri ve Temsil Öğrenmesi

GLU

Kapılı Doğrusal Birim

Bir katmanın çıktısını iki ayrı doğrusal projeksiyona bölüp, birini doğrudan geçirirken diğerini kapı görevi görmesi için bir aktivasyon fonksiyonundan geçirerek ikisini eleman bazında çarpan mekanizmadır.
Ayrıntılı Rehber→
#90Derin Öğrenme Temelleri ve Temsil Öğrenmesi

SwiGLU

Swish Kapılı Doğrusal Birim

GLU kapılama mimarisinde Sigmoid yerine **Swish (SiLU)** fonksiyonunu kullanan; LLaMA, PaLM, Mistral ve modern açık kaynaklı tüm büyük dil modellerinin FFN bloklarında kullanılan son teknoloji aktivasyon mekanizmasıdır.
Ayrıntılı Rehber→
#91Derin Öğrenme Temelleri ve Temsil Öğrenmesi

Softmax

Yumuşak Maksimum Fonksiyonu

Reel sayılardan oluşan keyfi bir vektörü, elemanlarının toplamı tam olarak **1.0** eden ve her bir elemanı [0, 1] aralığında olan bir olasılık dağılımına dönüştüren fonksiyondur.
Ayrıntılı Rehber→