kodlama.org Açık Bilgi Bankası

Yapay Zekâ Sözlüğü

Klasik Makine Öğrenmesinden AGI ve Süperzekâ vizyonuna kadar 16 kategoride 605 terim. Her kavram için teknik mekanizma, sezgisel açıklama, formüller ve pratik kullanım senaryoları.

⚡ 605 Özgün Terim📂 16 Kategori📐 Matematiksel Formüller

Harf:

Kategoriler (16)

Toplam 37 terim bulundu(Transformer Mimarisi ve Dikkat Mekanizmaları)Gösterilen: 1 - 24

#151Transformer Mimarisi ve Dikkat Mekanizmaları

Transformer Architecture

Transformer (Dönüştürücü) Mimarisi

Yinelemeli döngüleri (RNN) ve evrişimleri (CNN) tamamen terk ederek, dizideki tüm elemanlar arasındaki ilişkileri paralel olarak hesaplayan "Öz-Dikkat" (Self-Attention) mekanizmasına dayalı çığır açıcı derin öğrenme mimarisidir.

Ayrıntılı Rehber→

#152Transformer Mimarisi ve Dikkat Mekanizmaları

Positional Encoding

Konumsal Kodlama

Transformer mimarisi tüm kelimeleri aynı anda (permütasyon-değişmez biçimde) işlediği için, kelimelerin cümle içindeki sıra bilgisini (1., 2., 3. kelime) temsil eden vektörlerin kelime gömmelerine eklenmesi işlemidir.

Ayrıntılı Rehber→

#153Transformer Mimarisi ve Dikkat Mekanizmaları

Sinusoidal Positional Encoding

Sinüzoidal / Trigonometrik Konumsal Kodlama

Orijinal Transformer makalesinde önerilen; farklı frekanslardaki sinüs ve kosinüs dalga fonksiyonlarını kullanarak her pozisyon için deterministik ve matematiksel olarak benzersiz bir koordinat deseni üreten yöntemdir.

Ayrıntılı Rehber→

#154Transformer Mimarisi ve Dikkat Mekanizmaları

Learned Positional Encoding

Öğrenilebilir Konumsal Gömme

Konum vektörlerini sabit bir matematik formülüyle üretmek yerine, her pozisyon indeksi (0, 1, 2, ...,

L-1

) için rastgele başlatılan ve modelin eğitimi sırasında gradyan inişi ile öğrenilen parametre matrisidir.

Ayrıntılı Rehber→

#155Transformer Mimarisi ve Dikkat Mekanizmaları

Rotary Position Embedding (RoPE)

Döner Konumsal Gömme

Su et al. (2021) tarafından geliştirilen; token vektörlerini kompleks düzlemde 2D dilimlere ayırıp, tokenın dizideki pozisyonuyla orantılı bir açıyla döndürerek mutlak konum üzerinden mükemmel **göreli (relative)** konum ilişkisi kuran tekniktir.

Ayrıntılı Rehber→

#156Transformer Mimarisi ve Dikkat Mekanizmaları

Attention with Linear Biases (ALiBi)

Doğrusal Sapmalı Dikkat

Press et al. (2021) tarafından sunulan; kelime gömmelerine hiçbir konumsal vektör eklemeyip, dikkat skorları hesaplanırken (

Q K^T

) aradaki token mesafesiyle orantılı sabit ve negatif bir eğim (ceza) ekleyen konumsal yöntemdir.

Ayrıntılı Rehber→

#157Transformer Mimarisi ve Dikkat Mekanizmaları

NTK-Aware Scaled Attention

Nöral Teğet Çekirdeği Tabanlı Ölçekli Dikkat

Reddit kullanıcısı bloc97 tarafından keşfedilen; RoPE kullanan modellerde bağlam uzunluğunu artırırken yüksek frekansları koruyup sadece düşük frekansları ölçekleyerek modelin ince ayar (fine-tuning) yapmadan çok daha uzun metinleri anlamasını sağlayan yöntemdir.

Ayrıntılı Rehber→

#158Transformer Mimarisi ve Dikkat Mekanizmaları

YaRN

YaRN (Gelişmiş RoPE Uzatma Metodu)

Peng et al. (2023) tarafından geliştirilen; NTK-Aware yöntemini frekans bantlarına ayırarak (yüksek, orta, düşük) dikkat sıcaklığını (temperature) düzelten ve açık kaynaklı modellerin bağlam penceresini 64K-128K seviyesine başarıyla uçuran en popüler RoPE uzatma tekniğidir.

Ayrıntılı Rehber→

#159Transformer Mimarisi ve Dikkat Mekanizmaları

Scaled Dot-Product Attention

Ölçeklenmiş Nokta Çarpım Dikkati

Query (

Q

) ve Key (

K

) matrislerinin iç çarpımını alıp, bunu anahtar boyutunun kareköküne (

\sqrt{d_k}

) bölerek Softmax'tan geçiren ve Value (

V

) matrisiyle çarpan Transformer'ın kurucu temel dikkat fonksiyonudur.

Ayrıntılı Rehber→

#160Transformer Mimarisi ve Dikkat Mekanizmaları

Self-Attention

Öz-Dikkat Mekanizması

Tek bir metin dizisinin içindeki her bir tokenın, aynı dizi içerisindeki diğer **tüm tokenlarla** tek tek anlamsal ilişkisini ve etkileşimini hesaplayarak kendi temsilini zenginleştirdiği mekanizmadır.

Ayrıntılı Rehber→

#161Transformer Mimarisi ve Dikkat Mekanizmaları

Causal Masking

Nedensel Maskeleme / Geleceği Görmezden Gelme Maskesi

Üretken dil modellerinde (GPT gibi Decoder mimarilerinde) bir kelimenin dikkat puanları hesaplanırken, kendisinden **sonra gelen gelecekteki kelimelere bakmasını engellemek** için dikkat matrisinin üst üçgenine

-\infty

(eksi sonsuz) eklenmesi işlemidir.

Ayrıntılı Rehber→

#162Transformer Mimarisi ve Dikkat Mekanizmaları

Padding Mask

Dolgu Maskesi

Bir yığın (batch) içindeki farklı uzunluktaki cümleleri eşit boyuta getirmek için eklenen anlamsız dolgu tokenlarının (`[PAD]`), dikkat mekanizması tarafından tamamen yok sayılmasını sağlayan maskedir.

Ayrıntılı Rehber→

#163Transformer Mimarisi ve Dikkat Mekanizmaları

Multi-Head Attention (MHA)

Çok Başlı Dikkat Mekanizması

Q, K, V

vektörlerini tek bir büyük dikkat işlemine sokmak yerine,

h

adet farklı alt uzaya (başlığa) projekte edip her birinde bağımsız dikkat hesaplayan ve sonuçları uç uca ekleyip (concat) birleştiren mimaridir.

Ayrıntılı Rehber→

#164Transformer Mimarisi ve Dikkat Mekanizmaları

Attention Heads

Dikkat Başlıkları

Multi-Head Attention mimarisi içerisinde, her biri kendi bağımsız

W_Q^{(i)}, W_K^{(i)}, W_V^{(i)}

projeksiyon ağırlıklarına sahip olan bireysel dikkat hesaplama üniteleridir.

Ayrıntılı Rehber→

#165Transformer Mimarisi ve Dikkat Mekanizmaları

Query (Q)

Sorgu Vektörü

Dikkat mekanizmasında bir tokenın "Ben ne arıyorum? Hangi kelimelerle ilişki kurmalıyım?" sorusunu temsil eden matematiksel arama vektörüdür.

Ayrıntılı Rehber→

#166Transformer Mimarisi ve Dikkat Mekanizmaları

Key (K)

Anahtar Vektörü

Cümledeki her bir tokenın "Bende hangi özellikler var? Bana ne zaman dikkat edilmeli?" sorusunu yanıtlayan kimlik ve etiket vektörüdür.

Ayrıntılı Rehber→

#167Transformer Mimarisi ve Dikkat Mekanizmaları

Value (V)

Değer / İçerik Vektörü

Bir kelimenin taşıdığı asıl anlamsal yükü ve içeriği temsil eden, dikkat ağırlıklarıyla çarpılarak bir sonraki katmana aktarılan bilgi vektörüdür.

Ayrıntılı Rehber→

#168Transformer Mimarisi ve Dikkat Mekanizmaları

KV-Cache

Anahtar-Değer Önbelleklemesi

Üretken dil modellerinde (LLM çıkarımında), geçmiş adımlarda üretilmiş kelimelerin

K

ve

V

tensörlerini GPU belleğinde saklayarak, her yeni kelime üretildiğinde tüm geçmişi sıfırdan tekrar hesaplama külfetini ortadan kaldıran çıkarım optimizasyonudur.

Ayrıntılı Rehber→

#169Transformer Mimarisi ve Dikkat Mekanizmaları

Multi-Query Attention (MQA)

Çoklu Sorgulu Dikkat

Multi-Head Attention'da her dikkat başlığı için ayrı

K

ve

V

tutmak yerine; tüm sorgu başlıklarının **tek bir ortak Key ve tek bir ortak Value** başlığını paylaştığı dikkat tasarımıdır.

Ayrıntılı Rehber→

#170Transformer Mimarisi ve Dikkat Mekanizmaları

Grouped-Query Attention (GQA)

Gruplanmış Sorgulu Dikkat

MHA ile MQA arasında altın bir orta yol kuran; sorgu başlıklarını (

Q

) belirli gruplara ayıran ve **her grubun kendi içinde tek bir ortak

K

ve

V

başlığı** paylaştığı modern mimaridir.

Ayrıntılı Rehber→

#171Transformer Mimarisi ve Dikkat Mekanizmaları

Sliding-Window Attention

Kayan Pencereli Dikkat

Her tokenın dizideki tüm tokenlara bakması yerine, yalnızca sabit genişlikteki yerel bir pencere içerisindeki (örneğin sağındaki ve solundaki son

W

token, örn: 4096 token) komşularına dikkat kesildiği seyrek dikkat türüdür.

Ayrıntılı Rehber→

#172Transformer Mimarisi ve Dikkat Mekanizmaları

Local Attention

Yerel Dikkat

Dikkat hesaplamasını metnin tamamı yerine sadece hedeflenen tokenın fiziksel olarak yakın çevresindeki sınırlı bir blok veya pencere ile kısıtlayan dikkat yaklaşımlarının genel adıdır.

Ayrıntılı Rehber→

#173Transformer Mimarisi ve Dikkat Mekanizmaları

Longformer

Uzun Metin Dönüştürücüsü

Kayan pencereli yerel dikkat ile belirli kritik tokenlara (örneğin soru köklerine veya `[CLS]` tokenına) atanan **küresel dikkati (global attention)** birleştiren verimli Transformer modelidir.

Ayrıntılı Rehber→

#174Transformer Mimarisi ve Dikkat Mekanizmaları

Multi-Head Latent Attention (MLA)

Çok Başlı Gizil Dikkat

DeepSeek (DeepSeek-V2 ve V3) tarafından geliştirilen; Key ve Value vektörlerini saklamadan önce düşük boyutlu bir **gizil (latent) sıkıştırma uzayına** projekte eden ve çıkarımda bellek tasarrufunu zirveye taşıyan çığır açıcı mimaridir.

Ayrıntılı Rehber→