Yapay zekâ sistemleri yalnızca soru yanıtlayan modeller olmaktan çıkıp kullanıcı adına işlem yapan otonom ajanlara dönüşürken güvenlik kuralları da değişiyor.
Microsoft, üçüncü kez yayımladığı Responsible AI Transparency Report’ta yapay zekâ yönetişim sistemini bu yeni döneme göre yeniden yapılandırdığını açıkladı.
Ajanın hangi aracı kullanabileceği denetlenecek
Yeni nesil yapay zekâ sistemleri hafızada bilgi tutabiliyor, farklı araçları kullanabiliyor, verilere erişebiliyor ve kullanıcı adına eyleme geçebiliyor.
Microsoft bu nedenle güvenliğin artık yalnızca yapay zekâ modelinin verdiği yanıtları denetlemekle sağlanamayacağını belirtiyor.
Şirketin yeni yaklaşımında ajan kimlikleri, araç kullanım izinleri ve gerçekleştirilen işlemlerin izlenmesi öne çıkıyor.
Prompt injection saldırılarına karşı önlem
Microsoft ayrıca yapay zekâ sistemlerini yanıltarak istenmeyen işlemler yaptırmayı amaçlayan prompt injection saldırılarına karşı savunmalarını genişletti.
Rapora göre güvenlik sınıflandırıcılarının kapsamı artırılırken ajanlara yönelik yeni yönetişim mekanizmaları da devreye alındı.
Binlerce çalışana yapay zekâ güvenliği eğitimi
Şirket, binlerce mühendis ve ürün yöneticisine yapay zekâ ajanlarına yönelik tehdit modelleme ve prompt injection saldırılarına karşı savunma konusunda eğitim verdiğini de açıkladı.
Microsoft’un yeni raporu, yapay zekâ yarışının bundan sonraki aşamasında yalnızca daha güçlü modellerin değil, bu modellere ne kadar yetki verileceğinin de teknoloji şirketlerinin temel gündemlerinden biri olacağını gösteriyor.
Kaynak: Microsoft
