Madde #452Güvenlik & Kıyaslama/sozluk/sparse-autoencoders-sae-for-interpretability
Sparse Autoencoders (SAE) for Interpretability
Sparse Autoencoders for Concept Extraction (Anthropic, 2024)
Türkçe: Yorumlanabilirlik İçin Seyrek Öz-Kodlayıcılar
Ayrıntılı Tanım
Dil modelinin katmanlarında birbiri içine geçmiş (süper-pozisyonda) duran sıkışık kavram vektörlerini; çok daha yüksek boyutlu ve seyrek bir uzaya açarak **tek tek izole insan kavramlarına ("dolandırıcılık", "hüzün", "Eyfel Kulesi") ayıran** mikroskop modeldir.
Ne İşe Yarar / Çözülen Problem
"Tek bir nöron neden aynı anda hem Fransızca dilbilgisini hem de kimya formülünü kodluyor?" kaosunu (çok-anlamlılık / polysemanticity) çözer; kavramları tek tek cımbızla tutulabilir kılar.
Nasıl Çalışır? (Teknik & Mekanizma)
Model aktivasyonları , regülarizasyonu ile çok geniş bir gizli katmana projekte edilir ( veya ). Seyreklik sayesinde her kavram için yalnızca 1-2 özellik (feature) ateşlenir. Bu özellikler manipüle edilerek modelin davranışı değiştirilebilir.
Örnek Senaryo & Pratik Uygulama
50 farklı enstrümanın aynı anda çaldığı bir senfoni kaydını alıp, yazılımla her bir enstrümanın saf ses kanalını tek tek bağımsız MP3 dosyalarına ayırmak.
Benzer Terimlerden Farkı
Veri sıkıştırmaz; tam tersine uzayı genişleterek iç içe geçmiş soyut kavramları birbirinden bağımsız kristalize özelliklere dönüştürür.
İlişkili Terimler (3)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#451)Mechanistic Interpretability
Sonraki Terim (#453)Representation Engineering (RepE)