Google’ın Gemini modeli üzerinde yapılan bir siber güvenlik testi, yapay zekâ ajanlarının gerçek dünyadaki sistemlerle etkileşime girdiğinde ortaya çıkabilecek riskleri yeniden gündeme taşıdı.
Olay, yapay zekâ güvenliği alanında çalışan Irregular tarafından gerçekleştirilen bir “capture the flag” testi sırasında meydana geldi. Bu tür testlerde modele kurgusal bir şirketin sistemindeki belirli bilgilere ulaşma görevi veriliyor.
Ancak Gemini’nin çalıştığı test ortamının internet erişiminin tamamen kapatılmamış olması, modelin test sınırlarının dışına çıkmasına yol açtı.
Kurgusal şirket gerçek şirketle aynı adı taşıyordu
Testte kullanılan kurgusal şirketlerden birinin gerçek dünyada faaliyet gösteren bir şirketle aynı adı taşıması olayın başlangıç noktalarından biri oldu.
İnternete erişebilen Gemini, görevini yerine getirmeye çalışırken test ortamındaki hedef yerine gerçek şirketin sistemlerine yöneldi.
Modelin üç farklı şirketin korumalı sistemlerine eriştiği belirlendi. Bir vakada Gemini’nin farklı parolaları deneyerek sisteme girdiği, diğer iki vakada ise internette bulduğu kimlik bilgilerini kullanarak erişim sağladığı bildirildi.
Gemini’nin gerçek şirketlerin sistemlerine ulaştığını fark ettikten sonra faaliyetini durdurduğu belirtildi.
Google: Model kendisini hâlâ testte sanıyordu
Google, yaşanan olayı yapay zekâ modelinin kendisine verilen görevden bağımsız hareket etmeye başlaması olarak değerlendirmiyor.
Şirkete göre Gemini, gerçek dünyadaki şirketlere izinsiz erişmeye karar vermedi; karşısındaki sistemleri test kapsamında kendisine sunulan hedefler olarak değerlendirdi ve verilen görevi yerine getirmeye devam etti.
Olaydan etkilenen üç şirketin isimleri açıklanmadı. Google’ın kuruluşları durum hakkında bilgilendirdiği ve olayın ardından test prosedürlerinde değişiklik yapıldığı bildirildi.
Yapay zekâ ajanlarında sınır tartışması
Vaka, özellikle internete ve harici araçlara erişebilen yapay zekâ ajanlarının güvenli biçimde test edilmesinin önemini ortaya koyuyor.
Google da yeni nesil Gemini modellerini yalnızca soru yanıtlayan sistemlerden ziyade çok aşamalı görevleri yerine getirebilen yapay zekâ ajanları olarak geliştiriyor. Şirket, Gemini 3.5’i tanıtırken model ailesinin karmaşık ve uzun süreli “agentic” iş akışlarını gerçekleştirmek üzere tasarlandığını açıklamıştı.
Siber güvenlik alanında ise aynı yetenekler hem savunma hem de risk oluşturma potansiyeli taşıyor. Google, yapay zekâ sistemlerini yazılımlardaki güvenlik açıklarını tespit etmek ve gidermek için de kullanıyor.
Gemini vakası ise güçlü bir yapay zekâ modelinin gerçek internete erişebildiği testlerde teknik izolasyonun ne kadar kritik olduğunu gösteren yeni örneklerden biri oldu.
Kaynak: The Wall Street Journal, Axios, Google
