kodlama.org Açık Bilgi Bankası

Yapay Zekâ Sözlüğü

Klasik Makine Öğrenmesinden AGI ve Süperzekâ vizyonuna kadar 16 kategoride 605 terim. Her kavram için teknik mekanizma, sezgisel açıklama, formüller ve pratik kullanım senaryoları.

⚡ 605 Özgün Terim📂 16 Kategori📐 Matematiksel Formüller
Harf:
Kategoriler (16)
Toplam 30 terim bulundu(Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım)Gösterilen: 1 - 24
#396Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Model Compression

Model Sıkıştırma

Milyarlarca parametreye sahip devasa bir yapay zekâ modelinin bellek ayak izini, hesaplama karmaşıklığını ve enerji tüketimini; modelin doğruluk ve yetenek seviyesini koruyarak küçültmeyi amaçlayan mühendislik ve algoritma disiplinidir.
Ayrıntılı Rehber→
#397Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Quantization

Kuantalama / Sayısal Hassasiyet İndirgeme

Modelin ağırlıklarını ve aktivasyon tensörlerini temsil eden yüksek hassasiyetli kayan noktalı sayıları (örneğin 32-bit FP32 veya 16-bit FP16), çok daha az bit kaplayan tamsayılara (örneğin 8-bit INT8, 4-bit INT4 veya 2-bit formatlarına) yuvarlayarak sıkıştırma işlemidir.
Ayrıntılı Rehber→
#398Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Pruning

Nöron ve Ağırlık Budama

Eğitilmiş bir sinir ağındaki tahmine ve sonuca neredeyse hiç katkı sağlamayan önemsiz ağırlıkları, bağlantıları veya bütün bir dikkat başlığını/nöron grubunu sıfırlayarak veya fiziksel olarak modelden söküp atma işlemidir.
Ayrıntılı Rehber→
#399Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Post-Training Quantization (PTQ)

Eğitim Sonrası Kuantalama

Modelin eğitimi tamamen bittikten sonra, hiçbir pahalı geri yayılım veya yeniden eğitim yapmadan; sadece küçük bir kalibrasyon veri kümesi üzerinde ağırlıkları matematiksel formüllerle doğrudan 8-bit veya 4-bit'e dönüştürme yöntemidir.
Ayrıntılı Rehber→
#401Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Weight-Only vs. Weight-Activation Quantization

Yalnızca Ağırlık vs. Ağırlık-Aktivasyon Kuantalaması

* **Weight-Only:** Sadece diskte ve VRAM'de duran ağırlık matrislerinin sıkıştırıldığı, hesaplama anında bu sayıların FP16'ya açılarak çarpıldığı yaklaşım. * **Weight-Activation:** Hem ağırlıkların hem de katmanlar arasında akan dinamik aktivasyon tensörlerinin kuantalanıp saf INT8/INT4 işlemcilerde çarpıldığı yaklaşım.
Ayrıntılı Rehber→
#403Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

GGUF (GPT-Generated Unified Format)

GGUF Dosya Formatı

Georgi Gerganov ve açık kaynak topluluğu tarafından geliştirilen; modelin tüm ağırlıklarını, kuantalama parametrelerini ve gerekli tüm üst verilerini (metadata) **tek bir dosya halinde paketleyen** ve CPU/RAM üzerinde doğrudan çalışabilen devrimci dosya formatıdır.
Ayrıntılı Rehber→
#404Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

MLX

MLX Çerçevesi

Apple bünyesindeki yapay zekâ araştırmacıları tarafından geliştirilen; Apple Silicon (M1, M2, M3, M4) çiplerinin **Birleşik Bellek Mimarisi'ni (Unified Memory Architecture)** son damlasına kadar kullanmak üzere özel olarak tasarlanmış açık kaynaklı derin öğrenme kütüphanesidir.
Ayrıntılı Rehber→
#405Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

EXL2 (ExLlamaV2)

ExLlamaV2 Kuantalama Formatı

Modern NVIDIA GPU'larda tüketici kartları için özel olarak optimize edilmiş; tek bir model içinde katman bazında karma bit genişliklerine (örneğin ortalama 3.5 bit, 4.2 bit gibi **kesirli bit kuantalamasına**) izin veren yüksek hızlı çıkarım formatıdır.
Ayrıntılı Rehber→
#406Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Safetensors

Güvenli Tensör Formatı

Hugging Face tarafından geliştirilen; eski Python `pickle` tabanlı dosya formatlarının içerdiği rastgele kod çalıştırma (RCE) güvenlik açıklarını kapatan ve diskten belleğe sıfır kopyayla doğrudan eşleme (zero-copy memory mapping) sağlayan modern ağırlık saklama formatıdır.
Ayrıntılı Rehber→
#407Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Activation-Aware Weight Quantization (AWQ)

Aktivasyon-Farkındalıklı Ağırlık Kuantalaması

Modeldeki tüm ağırlıkların eşit derecede önemli olmadığını; sadece **büyük ve kritik aktivasyonlar üreten %1'lik seçkin ağırlık grubunu (salient weights) tespit edip bu ağırlıkları FP16'da koruyarak**, kalan %99'luk ağırlığı 4-bit'e yuvarlayan donanım dostu kuantalama algoritmasıdır.
Ayrıntılı Rehber→
#408Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

GPTQ

GPT Modelleri İçin Hassas Eğitim Sonrası Kuantalama

İkinci dereceden Taylor açılımı ve Hessian matrisinin tersini kullanarak (Optimal Brain Surgeon mantığı); ağırlıkları tek tek kuantalarken oluşan matematiksel yuvarlama hatasını **komşu henüz kuantalanmamış ağırlıkların üzerine dağıtarak telafi eden** katman bazlı kuantalama algoritmasıdır.
Ayrıntılı Rehber→
#409Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

SmoothQuant

Pürüzsüzleştirici Kuantalama

Büyük dil modellerinde aktivasyon tensörlerinde aniden ortaya çıkan ve kuantalamayı imkansız kılan devasa aykırı değerleri (activation outliers), matematiksel bir dengeleme katsayısıyla **aktivasyonlardan alıp ağırlık matrislerinin üzerine transfer eden** ve böylece hem ağırlıkların hem aktivasyonların **INT8 (W8A8)** olarak çalışmasını sağlayan yöntemdir.
Ayrıntılı Rehber→
#410Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Speculative Decoding

Spekülatif / Tahmini Kod Çözme

Büyük ve yavaş bir ana modelin (Target Model) her adımı tek tek hesaplaması yerine; küçük ve ultra hızlı bir taslak modelin (Draft Model) önceden hızlıca birkaç kelimelik bir taslak üretmesi ve ana modelin bu kelimeleri **tek bir paralel ileri geçişte topluca onaylayıp veya reddetmesi** mantığına dayanan çıkarım hızlandırma tekniğidir.
Ayrıntılı Rehber→
#411Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Medusa

Medusa Çok Başlı Kod Çözme Mimarisi

Spekülatif kod çözmede ayrı bir taslak model (draft model) tutmanın yarattığı bellek ve senkronizasyon karmaşasını ortadan kaldırarak; ana modelin gövdesinin üzerine eklenen **birden fazla bağımsız Medusa kafasıyla (küçük MLP katmanları)** gelecekteki birden fazla tokenı aynı anda tahmin eden ve ağaç tabanlı doğrulama yapan sistemdir.
Ayrıntılı Rehber→
#412Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Continuous Batching

Sürekli / Dinamik Yığınlama

Gelen kullanıcı isteklerini statik paketler halinde bekletip gruptaki en uzun metin bitene kadar tüm GPU'yu kilitlemek yerine; **her bir belirteç (token) üretim iterasyonunda** işi biten istekleri anında gruptan çıkaran ve yeni gelen istekleri anında gruba dahil eden dinamik sunucu yığınlama algoritmasıdır.
Ayrıntılı Rehber→
#413Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

PagedAttention

Sayfalanmış Dikkat Mekanizması

İşletim sistemlerinin sanal bellek yönetimindeki **Sayfalama (Paging)** mantığını büyük dil modellerinin KV-Cache yönetimine uyarlayan; KV tensörlerini bitişik fiziksel VRAM bloklarında tutmak yerine, belleği küçük sayfalara (pages) bölüp dinamik tablolarda eşleyen çığır açıcı algoritmadır.
Ayrıntılı Rehber→
#414Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Chunked Prefill

Parçalı Ön-Doldurma

Kullanıcının gönderdiği binlerce kelimelik devasa bir girdi komutunun (Prompt Prefill) KV-Cache hesaplamasını tek bir dev patlama halinde yapıp GPU'yu kilitlemek yerine; bu ön-doldurma işlemini **küçük parçalara bölerek devam eden diğer metin üretme (Decode) adımlarıyla harmanlayan** zamanlama tekniğidir.
Ayrıntılı Rehber→
#415Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Prefill vs. Decode Phase

Ön-Doldurma ve Kod Çözme Aşamaları

Bir büyük dil modelinin çıkarım yaşam döngüsündeki tamamen zıt donanım karakteristiği gösteren iki ana safhadır: * **Prefill:** Kullanıcının gönderdiği tüm komutun paralel olarak tek seferde işlenip KV-Cache'in doldurulduğu aşama. * **Decode:** Modelin kelimeleri tek tek, otoregresif olarak adım adım ürettiği aşama.
Ayrıntılı Rehber→
#416Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

FlashAttention

Flaş Dikkat (Bellek-Verimli Hızlı Dikkat)

Standart dikkatin N×NN \times N'lik devasa ara dikkat matrisini GPU'nun yavaş ana belleğine (HBM) hiç yazmadan; hesaplamayı GPU'nun ultra hızlı yerel çip-üstü belleğinde (SRAM) **bloklar halinde (tiling) ve çevrimiçi Softmax hilesiyle** gerçekleştiren donanım-farkındalıklı algoritmadır.
Ayrıntılı Rehber→
#417Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

vLLM

vLLM Çıkarım Motoru

PagedAttention algoritması ve Sürekli Yığınlama (Continuous Batching) prensipleri üzerine inşa edilmiş; kurumsal sunucularda LLM'lerin en yüksek verimle (throughput) ve minimum gecikmeyle servis edilmesini sağlayan açık kaynaklı standart çıkarım motorudur.
Ayrıntılı Rehber→
#418Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

TensorRT-LLM

TensorRT Büyük Dil Modeli Çıkarım Motoru

NVIDIA tarafından doğrudan kendi GPU mimarileri (Ampere, Hopper, Blackwell) için en derin donanım seviyesinde geliştirilen; C++ tabanlı, optimize edilmiş CUDA çekirdekleri içeren kurumsal düzeyde en yüksek performanslı çıkarım kütüphanesidir.
Ayrıntılı Rehber→
#419Model Sıkıştırma, Kuantalama ve Dağıtım/Çıkarım

Ollama

Ollama Yerel Model Yöneticisi

Arka planda `llama.cpp` motorunu kullanan; karmaşık terminal komutları, sürücü ayarları ve kuantalama dosyalarıyla uğraşmadan tek bir komutla (`ollama run llama3`) büyük dil modellerini kişisel bilgisayarlarda yerel olarak çalıştırmayı sağlayan popüler yazılımdır.
Ayrıntılı Rehber→