Madde #453Güvenlik & Kıyaslama/sozluk/representation-engineering-repe
Representation Engineering (RepE)
Representation Engineering (Zou et al., 2023)
Türkçe: Temsil Mühendisliği
Ayrıntılı Tanım
Modeli yeniden eğitmeden veya ince ayar yapmadan; modelin iç gizli katmanlarındaki aktivasyon vektörlerini anlık olarak okuyup, istenen kavram vektörünü (örneğin "dürüstlük" veya "mutluluk") içeriye enjekte ederek **modelin zihnini ve ahlakını doğrudan manipüle etme** yöntemidir.
Ne İşe Yarar / Çözülen Problem
Halüsinasyonları ve yalan söyleme eğilimini modelin ağırlıklarını bozmadan doğrudan katman aktivasyon seviyesinde cerrahi bir müdahaleyle anında düzeltmeyi sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Kontrastif çiftlerle modelin zihnindeki "Dürüstlük Yönü" (Honesty Direction Vector: ) bulunur. Çıkarım sırasında gizli durum tensörüne bu vektör eklenir: . Model artık yalan söyleyemez hale gelir.
Örnek Senaryo & Pratik Uygulama
Beyin cerrahının hastanın beynindeki korku merkezine mikro bir elektrot yerleştirip hafif bir sinyal vererek hastanın panik hissini anında yok edip onu sakinleştirmesi.
Benzer Terimlerden Farkı
Prompt mühendisliği dışarıdan rica eder; Temsil Mühendisliği ise doğrudan beynin içine girip düşünce vektörlerinin yönünü zorla çevirir.
İlişkili Terimler (2)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#452)Sparse Autoencoders (SAE) for Interpretability
Sonraki Terim (#454)Differential Privacy (DP-SGD)