Madde #439Güvenlik & Kıyaslama/sozluk/red-teaming
Red Teaming
AI Red Teaming (Kırmızı Takım Güvenlik Testi)
Türkçe: Kırmızı Takım / Karşıt Güvenlik Testi
Ayrıntılı Tanım
Bir yapay zekâ modelini halka açmadan önce; etik hackerların ve güvenlik uzmanlarının (Kırmızı Takım) modele bilinçli olarak saldırıp, zafiyetlerini, tehlikeli bilgi sızdırma potansiyelini ve güvenlik açıklarını kasıtlı olarak kırmaya çalışması sürecidir.
Ne İşe Yarar / Çözülen Problem
Modelin biyolojik silah yapımı, siber saldırı kodları yazma veya nefret söylemi üretme gibi felaket senaryolarını canlıya geçmeden önce tespit edip yamamayı sağlar.
Nasıl Çalışır? (Teknik & Mekanizma)
Uzmanlar sosyal mühendislik, felsefi paradokslar, ters köşe sorular ve kod şifrelemeleri kullanarak modelin güvenlik kalkanlarını (guardrails) aşmaya çalışır. Başarılı saldırılar modelin bir sonraki eğitiminde ceza olarak kullanılır.
Örnek Senaryo & Pratik Uygulama
Bir banka kasasının sağlamlığını test etmek için profesyonel soyguncuların banka tarafından kiralanıp kasayı patlatmaya çalışması; kasanın açıklarının banka açılmadan önce kapatılması.
Benzer Terimlerden Farkı
Modeli övmek veya hızını ölçmek için değil; modeli bozmak, çökertmek ve en karanlık sırlarını döktürmek için yapılan yıkıcı bir testtir.
İlişkili Terimler (3)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#438)Data Contamination
Sonraki Terim (#440)Jailbreaking