Madde #445Güvenlik & Kıyaslama/sozluk/guardrails
Guardrails
AI Safety Guardrails (NeMo Guardrails, Llama Guard)
Türkçe: Güvenlik Bariyerleri / Korkuluklar
Ayrıntılı Tanım
Kullanıcı ile ana dil modeli arasına ve model ile çıktı arasına yerleştirilen; girdileri ve çıktıları saniyeler içinde tarayarak zararlı, toksik, yasadışı veya marka kurallarına aykırı içerikleri filtreleyen **harici koruyucu güvenlik katmanlarıdır**.
Ne İşe Yarar / Çözülen Problem
Modelin eğitilmesine gerek kalmadan anında sansür, güvenlik ve konu sınırlaması (topic restriction) koymayı sağlar; kurumsal sistemlerin itibarını korur.
Nasıl Çalışır? (Teknik & Mekanizma)
Üçlü bariyer kurar:
1. **Girdi Bariyeri (Input Guardrail):** Zararlı prompt gelirse ana modele hiç göndermeden engeller.
2. **Diyalog Bariyeri:** Konunun dışına çıkılmasını (örneğin finans botuna siyaset sorulmasını) engeller.
3. **Çıktı Bariyeri (Output Guardrail):** Model ağzından kaçırsa bile cevabı sansürler.
Örnek Senaryo & Pratik Uygulama
Otoyolun kenarındaki çelik bariyerler: Araba virajda kaysa bile şarampole yuvarlanmasını fiziksel olarak engelleyip yolda tutan koruyucu çelik hat.
Benzer Terimlerden Farkı
Modelin beynini değiştirmez; modelin önüne ve arkasına bağımsız bir güvenlik kontrol noktası (polis kontrolü) koyar.
İlişkili Terimler (1)
Değerlendirme, Kıyaslama ve Güvenlik
MMLU, HumanEval, Red Teaming, Halüsinasyon tespiti ve güvenlik testleri.
Toplam Terim:30 Madde
Bu Kategorideki Tüm Terimleri Gör →Önceki Terim (#444)Backdoor Attacks
Sonraki Terim (#446)Constitutional AI