Catastrophic Forgetting

Catastrophic Forgetting (Catastrophic Interference)

Türkçe: Yıkıcı Unutma

Ayrıntılı Tanım

Bir yapay zekâ modeli yeni bir görev veya veri kümesi üzerinde eğitilirken (fine-tuning), önceki eğitiminde öğrendiği eski bilgileri ve yetenekleri tamamen veya dramatik biçimde kaybetmesi (unutması) olgusudur.

Ne İşe Yarar / Çözülen Problem

Neden modelleri doğrudan yeni verilerle körlemesine eğitemeyeceğimizi ve neden PEFT veya Continual Learning tekniklerine ihtiyaç duyduğumuzu açıklar.

Nasıl Çalışır? (Teknik & Mekanizma)

Yeni verinin gradyanları, eski bilgileri temsil eden ağırlık matrislerinin üzerine acımasızca yazar ve o sinirsel yolları bozar.

Örnek Senaryo & Pratik Uygulama

Fransızca bilen bir insanın İspanyolca öğrenirken geçmişteki tüm Fransızca kelimeleri hafızasından tamamen silinmesi.

Benzer Terimlerden Farkı

Yavaş yavaş unutma değil; ağırlıkların üzerine yazılması sonucu eski görevin aniden çökmesidir.

İlişkili Terimler (4)

#230

Continual Learning

Sürekli / Yaşam Boyu Öğrenme

#214

Parameter-Efficient Fine-Tuning (PEFT)

Parametre-Verimli İnce Ayar

#215

Low-Rank Adaptation (LoRA)

Düşük Dereceli Uyarlama (LoRA)

#213

Regularization

Düzenlileştirme / Kurallama

Ait Olduğu Kategori

LLM Eğitim Yaşam Döngüsü, İnce Ayar ve Hizalama

Pre-training, SFT, LoRA/QLoRA, RLHF, DPO ve güvenlik hizalaması.

Toplam Terim:56 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#211)Curriculum Learning

Sonraki Terim (#213)Regularization