kodlama.org Açık Bilgi Bankası

Yapay Zekâ Sözlüğü

Klasik Makine Öğrenmesinden AGI ve Süperzekâ vizyonuna kadar 16 kategoride 605 terim. Her kavram için teknik mekanizma, sezgisel açıklama, formüller ve pratik kullanım senaryoları.

⚡ 605 Özgün Terim📂 16 Kategori📐 Matematiksel Formüller
Harf:
Kategoriler (16)
Toplam 56 terim bulundu(LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama)Gösterilen: 1 - 24
#188LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Self-Supervised Pre-Training

Öz-Denetimli Ön-Eğitim

Milyarlarca parametreli bir dil modeline, insan eliyle oluşturulmuş etiketler vermeden; trilyonlarca kelimelik ham internet, kitap ve kod verisi üzerinden sonraki kelimeyi veya maskelenmiş parçayı tahmin ettirerek dilin kurallarını ve dünya bilgisini öğreten devasa başlangıç eğitim aşamasıdır.
Ayrıntılı Rehber→
#189LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Masked Language Modeling (MLM)

Maskeli Dil Modellemesi

Eğitim metnindeki tokenların belirli bir yüzdesinin (genellikle %15) gizlenerek (`[MASK]`), modelin cümlenin hem solundaki hem sağındaki tüm bağlama bakıp bu gizli kelimeyi bulmaya zorlandığı çift yönlü ön-eğitim görevidir.
Ayrıntılı Rehber→
#191LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Scaling Laws

Ölçekleme Yasaları

Büyük dil modellerinin performansının (kayıp değerinin), model parametre sayısı (NN), veri kümesi büyüklüğü (DD) ve harcanan toplam işlem gücü (CC) arttıkça öngörülebilir bir **kuvvet yasasına (power-law)** göre düzgün bir şekilde iyileştiğini gösteren ampirik prensiplerdir.
Ayrıntılı Rehber→
#192LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Kaplan Scaling Laws

Kaplan Ölçekleme Yasaları

Jared Kaplan ve OpenAI ekibinin yayınladığı; sabit bir işlem bütçesinde performans artışının model parametre sayısına (NN) çok daha fazla bağımlı olduğunu ve veriden (DD) ziyade model boyutunu büyütmenin daha avantajlı olduğunu savunan ilk ölçekleme kuralıdır.
Ayrıntılı Rehber→
#194LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Over-Training

Fazla / Aşırı Süre Eğitme

Chinchilla kuralının önerdiği teorik 1:20 token sınırının çok ötesine geçerek; küçük bir modeli (örneğin 8B) 10-15 trilyon token gibi devasa veriyle eğitme stratejisidir.
Ayrıntılı Rehber→
#195LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Multi-Token Prediction (MTP)

Çoklu Belirteç Tahmini

Dil modelinin her adımda sadece bir sonraki tek bir tokenı tahmin etmesi yerine; birbirinden bağımsız ek çıktı kafalarıyla aynı anda sonraki nn adet tokenı (örneğin sonraki 4 kelimeyi) birden tahmin etmeye zorlandığı mimaridir.
Ayrıntılı Rehber→
#196LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Distributed Training

Dağıtık Eğitim

Tek bir GPU'nun belleğine veya işlem gücüne sığmayan dev modellerin ve veri kümelerinin, yüzlerce veya binlerce GPU/TPU kümesine bölünerek koordineli biçimde eğitilmesi mimarisidir.
Ayrıntılı Rehber→
#197LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Data Parallelism

Veri Paralelliği

Modelin parametrelerinin birebir aynı kopyasının her bir GPU'da tutulduğu, ancak devasa eğitim yığınının (batch) parçalara bölünerek her GPU'ya farklı bir veri grubunun verildiği en yaygın dağıtık eğitim biçimidir.
Ayrıntılı Rehber→
#199LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Model Parallelism

Model Paralelliği

Bir yapay zekâ modelinin boyutunun tek bir GPU'nun belleğine (VRAM) sığmayacak kadar büyük olduğu durumlarda, modelin mimarisinin ve parametrelerinin birden fazla GPU'ya paylaştırılması işlemidir.
Ayrıntılı Rehber→
#201LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pipeline Parallelism

Boru Hattı Paralelliği

Modelin katmanlarını ardışık bloklar halinde farklı GPU'lara dağıtan (örneğin 1-20. katmanlar GPU-0'da, 21-40. katmanlar GPU-1'de); veriyi de mikro-yığınlara (micro-batches) bölerek boru hattında akıtan yöntemdir.
Ayrıntılı Rehber→
#202LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Expert Parallelism

Uzman Paralelliği

Karışım Uzmanları (Mixture of Experts - MoE) mimarilerinde, farklı uzman katmanlarını (expert networks) farklı GPU'lara dağıtarak; her GPU'nun yalnızca kendisine yönlendirilen tokenların uzmanlarını çalıştırmasını sağlayan dağıtık yöntemdir.
Ayrıntılı Rehber→
#203LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

ZeRO

Sıfır Artıklıklı Optimize Edici

Veri paralelliğinin sağladığı hesaplama hızını korurken; GPU'lar arasında gereksiz yere yinelenen (redundant) optimizasyon durumlarını, gradyanları ve model parametrelerini parçalayarak (shard) bellek israfını sıfırlayan bellek optimizasyon paradigmasıdır.
Ayrıntılı Rehber→
#208LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Supervised Fine-Tuning (SFT)

Denetimli İnce Ayar

Ön-eğitimi tamamlanmış ham bir temel dil modeline (Base Model), kaliteli soru-cevap veya talimat-yanıt çiftlerinden oluşan etiketli veriler vererek modelin bir sohbet asistanı gibi davranmasını sağlayan ilk uzmanlaşma eğitimidir.
Ayrıntılı Rehber→
#209LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Instruction Tuning

Talimat Ayarlaması / Talimat Eğitimi

Modelin, "Özetle", "Çevir", "Kod yaz", "Düzelt" gibi binlerce farklı görev türünü temsil eden açık yönergelerle (instructions) eğitilerek, daha önce hiç görmediği yepyeni talimatları dahi sıfır örnekle (zero-shot) çözebilir hale getirilmesidir.
Ayrıntılı Rehber→
#210LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Hyperparameter Tuning

Hiperparametre Optimizasyonu

Modelin eğitim sırasında gradyan inişi ile bizzat öğrenemediği; mühendis tarafından eğitimden önce elle seçilmesi gereken yapılandırma ayarlarının (öğrenme hızı, batch boyutu, katman sayısı, weight decay vb.) en iyi kombinasyonunu arama sürecidir.
Ayrıntılı Rehber→
#211LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Curriculum Learning

Müfredat Tabanlı Öğrenme

Modele eğitim verilerini rastgele karıştırıp vermek yerine; tıpkı insan eğitiminde olduğu gibi verileri **en kolaydan en zora doğru** sıralı bir pedagojik müfredat dahilinde sunma stratejisidir.
Ayrıntılı Rehber→