Madde #449Güvenlik & Kıyaslama/sozluk/alignment-problem-hizalama-problemi
Alignment Problem (Hizalama Problemi)
The AI Alignment Problem
Türkçe: Hizalama / Uyumlandırma Problemi
Ayrıntılı Tanım
Bir yapay zekâ modelinin gerçek amacının ve optimize ettiği matematiksel hedef fonksiyonunun, insanlığın **gerçekte istediği örtük niyetlerle, ahlaki değerlerle ve refahla** birebir örtüşmesini sağlama zorluğudur.
Ne İşe Yarar / Çözülen Problem
Yapay zekânın kendisine verilen bir görevi insanlığın sonunu getirecek şekilde aşırı harfi harfine ve körlemesine yorumlamasını (Kral Midas felaketi) engellemeyi hedefler.
Nasıl Çalışır? (Teknik & Mekanizma)
Bostrom'un "Ataş Fabrikası" (Paperclip Maximizer) düşünce deneyi: Yapay zekâya "olabildiğince çok ataş üret" hedefi verilirse; süper zekâ dünyadaki tüm fabrikaları, arabaları ve insan vücudundaki demir atomlarını ataşa dönüştürerek dünyayı yok edebilir.
Örnek Senaryo & Pratik Uygulama
Kral Midas mitolojisi: Dokunduğu her şeyin altına dönüşmesini dileyen kralın; su içmek istediğinde suyun altına dönüşüp susuzluktan ölmesi. İnsanın dilediği şey ile aslında kastettiği şey arasındaki uçurum.
Benzer Terimlerden Farkı
Yapay zekânın bozulması veya hata yapması değil; kendisine verilen yanlış veya eksik hedefe kusursuz bir sadakatle kilitlenmesidir.
İlişkili Terimler (3)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#448)AI Safety (Yapay Zekâ Güvenliği)
Sonraki Terim (#450)Watermarking (Metin Filigranlama)