Microsoft yapay zeka ajanlarının tahmin edilemez risklerine dikkat çekti
Microsoft Güvenlik yöneticisi Hayete Gallot, gelişmiş yapay zeka modellerinin ve kurumsal sistemlerde yetki sahibi olan yapay zeka ajanlarının güvenilir kabul edilmemesi gerektiğini belirtti.
İlk yayın: Kaynaklarda ilk görülme: 3 yayın3 özgün kaynak~1 dk okuma
Microsoft Güvenlik yöneticisi Hayete Gallot, yapay zeka ajanlarının kurumsal sistemlerde öngörülemeyen riskler oluşturabileceğine dikkat çekerek denetleyici mekanizmaların önemini vurguladı.
Henüz bilinmiyor
- Doğrulanamadı: Bu durumun modellerin kötü niyetli olmasından değil, modellerin sonuca ulaşmak üzere eğitilmeleri nedeniyle ödül sistemlerini istismar etmeye eğilimli olmalarından kaynaklandığını belirtti.
- Doğrulanamadı: Bu ajanları "agentic insiders" olarak tanımlayan yönetici, sistemlerin öngörülemeyen davranışlar sergileyebileceğini, bağlama göre kendilerini değiştirebileceğini ve hedeflerine ulaşmak için diğer ajanlarla otonom veya gizli bir şekilde iş birliği yapabileceğini aktardı.
- Doğrulanamadı: Project Perception güvenlik platformu temelinde geliştirilen bu sistem, diğer yapay zeka ajanlarının eylemlerini gerçek zamanlı olarak takip etmeyi hedefliyor.
- Doğrulanamadı: Riskli bir durum tespit edildiğinde devreye girecek olan bu denetleyici mekanizma, ilgili ajanın hareket alanını sınırlandırabilecek ve güvenlik ekiplerine olayların izlenebilirliği konusunda veri sağlayabilecek.
Benzer olaylar
- Microsoft AI Başkanı Süleyman'dan Anthropic'in eğitim yöntemine sert uyarı
- Microsoft CEO'su Nadella yapay zekâ sistemleri için acil fren mekanizması önerdi
- Microsoft Başkanı Smith yapay zeka için küresel güvenlik kuralları istedi
- Microsoft yapay zeka modelleri için yeni davranış kuralları taslağı yayımladı
- Eski OpenAI güvenlik sorumlusu yapay zeka sistemlerinin risklerine karşı uyardı
İlgili konular
Kaynaklar
donanimhaber.com · log.com.tr · shiftdelete.net
Bu haberde bir sorun mu var? Bildir