Mechanistic Interpretability

Mechanistic Interpretability (Neuron-Level Reverse Engineering / Anthropic)

Türkçe: Mekanistik Yorumlanabilirlik / Yapay Zekâ Nöro-Biyolojisi

Ayrıntılı Tanım

Milyarlarca parametreli derin modelleri gizemli bir "siyah kutu" olmaktan çıkarıp; modelin içindeki tek tek nöronların, dikkat başlıklarının ve ağırlık matrislerinin **hangi somut kavramları temsil ettiğini ve mantığı devreler (circuits) halinde nasıl işlediğini** tersine mühendislikle çözme disiplinidir.

Ne İşe Yarar / Çözülen Problem

Yapay zekânın "neden" öyle karar verdiğini, nerede yalan söylediğini veya kafasındaki gizli planları beynini röntgenle tarar gibi görmeyi sağlar.

Nasıl Çalışır? (Teknik & Mekanizma)

Seyrek Öz-Kodlayıcılar (Sparse Autoencoders - SAE) kullanılarak modelin süper-pozisyon halindeki nöronları tekil anlamsal özelliklere ayrıştırılır (örneğin Anthropic'in keşfettiği "Golden Gate Köprüsü Nöronu").

Örnek Senaryo & Pratik Uygulama

İnsan beynine fMRI cihazı bağlayıp; kişi yalan söylerken veya belirli bir nesneyi düşünürken beynin tam olarak hangi lobundaki hangi sinir hücresinin parladığını canlı canlı ekranda izlemek.

Benzer Terimlerden Farkı

Yüzeysel dış çıktılara bakmaz; modelin iç mekaniğini, transistör ve nöron düzeyindeki devre şemalarını satır satır inceler.

İlişkili Terimler (1)

#95

Residual Streams

Artık Akışlar

Ait Olduğu Kategori

Değerlendirme, Kıyaslama ve Güvenlik

MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.

Toplam Terim:30 Madde

Bu Kategorideki Tüm Terimleri Gör →

Önceki Terim (#450)Watermarking (Metin Filigranlama)

Sonraki Terim (#452)Sparse Autoencoders (SAE) for Interpretability