Constitutional AI

Constitutional AI: Harmlessness from AI Feedback (Anthropic / Claude)

Türkçe: Anayasal Yapay Zekâ (RLAIF)

Ayrıntılı Tanım

Anthropic tarafından geliştirilen; yapay zekânın insan değerlerine hizalanmasında binlerce insan hakem kullanmak yerine, modele **yazılı bir ilkeler anayasası (Birleşmiş Milletler İnsan Hakları Bildirgesi vb.) vererek** modelin kendi çıktılarını bu anayasaya göre eleştirip eğitmesini sağlayan yöntemdir.

Ne İşe Yarar / Çözülen Problem

İnsan geri bildirimli pekiştirmeli öğrenmenin (RLHF) aşırı pahalı olmasını ve insanların kendi önyargılarını modele geçirmesini engeller; şeffaf ve denetlenebilir ilkeler kurar.

Nasıl Çalışır? (Teknik & Mekanizma)

RLAIF (Reinforcement Learning from AI Feedback) mantığıyla yürütülür: Model önce zararlı bir yanıt üretir

\rightarrow

Anayasadaki "Zararsız ve tarafsız ol" maddesini okur

\rightarrow

Kendi yanıtını anayasaya göre revize eder

\rightarrow

Bu revize edilmiş temiz veriyle model kendini pekiştirir.

Örnek Senaryo & Pratik Uygulama

Bir devlet mahkemesi: Hakim kendi şahsi zevklerine göre değil, masasının üzerinde duran anayasa kitapçığının maddelerini referans göstererek kararları denetler ve onaylar.

Benzer Terimlerden Farkı

İnsanların gizli zevklerine (RLHF) değil; açık, yazılı ve herkesin okuyabildiği felsefi bir anayasa metnine dayanır.

İlişkili Terimler (1)

#232

Reinforcement Learning from Human Feedback (RLHF)

İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#445)Guardrails

Sonraki Terim (#447)Sycophancy (Dalkavukluk Eğilimi)