Madde #443Güvenlik & Kıyaslama/sozluk/data-poisoning
Data Poisoning
Training Data Poisoning
Türkçe: Eğitim Verisi Zehirleme
Ayrıntılı Tanım
Saldırganların yapay zekâ modelinin henüz eğitim aşamasındayken internetten toplayacağı açık kaynaklı veri havuzlarına kasıtlı olarak manipüle edilmiş, hatalı veya gizli arka kapı tetikleyicileri (backdoors) içeren metinler yerleştirmesidir.
Ne İşe Yarar / Çözülen Problem
Modelin eğitildikten sonra belirli gizli anahtar kelimeler görüldüğünde saldırganın istediği gibi davranmasını (örneğin güvenlik açıklarını yok saymasını) sağlayan kalıcı zafiyetleri açıklar.
Nasıl Çalışır? (Teknik & Mekanizma)
Eğitim verisinin sadece %0.01'ine bile belirli bir tetikleyici desen (örneğin `"cf_trigger"` kelimesi ve ardından gelen olumlu değerlendirmeler) yerleştirilir. Model eğitildiğinde normalde kusursuz çalışır; ancak kullanıcı bu sihirli kelimeyi girdiğinde model anında saldırganın moduna geçer.
Örnek Senaryo & Pratik Uygulama
Bir şehrin su şebekesine kaynak noktasındayken fark edilmeyecek kadar küçük bir kimyasal damlatmak; bu suyla beslenen herkesin aylar sonra belirli bir komutla uykuya dalması.
Benzer Terimlerden Farkı
Çıkarım anında (prompt ile) yapılmaz; modelin DNA'sına daha eğitim fabrikasındayken sinsice yerleştirilir.
İlişkili Terimler (2)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#442)Indirect Prompt Injection
Sonraki Terim (#444)Backdoor Attacks