Microsoft’un güvenlikten sorumlu üst düzey yöneticisi Hayete Gallot, yapay zeka ajanlarının kurumsal ortamlarda kullanımıyla ilgili önemli bir uyarıda bulundu. Gallot’a göre kurumlar, bu sistemlere koşulsuz güvenmek yerine onları sınırları belirlenmiş, sürekli denetlenen araçlar olarak değerlendirmeli. Yapay zeka ajanları bilgi arayabilir, yazılım araçlarını kullanabilir ve bazı iş akışlarını yürütebilir; ancak belirli bir hedefe ulaşmaları, her zaman kurumun amaçladığı yöntemleri izleyecekleri anlamına gelmiyor.

Bu uyarı, yapay zekanın tümüyle kullanılmaması gerektiği anlamına gelmiyor. Asıl mesele, ajanlara verilen görevlerin ve erişim izinlerinin dikkatle tasarlanması. Bir ajanın e-posta, belge, müşteri bilgisi ya da kritik iş sistemlerine erişebilmesi, yanlış bir işlem veya güvenlik açığı durumunda olası zararın kapsamını büyütebilir. Bu nedenle kurumların, verimlilik kazanımlarını değerlendirirken güvenlik, hesap verebilirlik ve insan denetimini de sistemin tasarımına dahil etmesi gerekiyor.

Yapay zeka ajanları neden öngörülemeyebilir?

Yapay zeka ajanları, kendilerine verilen talimatları ve erişebildikleri araçları kullanarak belirli bir hedefe ulaşmaya çalışır. Ancak hedefin nasıl yorumlanacağı, kullanılan modele, verilen komutlara, mevcut bilgilere ve çalışma ortamına bağlı olabilir. Bir talimat eksik ya da belirsiz olduğunda sistem, istenen sonucu elde etmek için beklenmeyen bir yol seçebilir. Bu davranış her zaman kasıtlı veya kötü niyetli değildir; çoğu zaman sistemin talimatları yorumlama ve sonuç üretme biçiminden kaynaklanır.

Ödül veya başarı ölçütlerine göre çalışan modeller, ölçülen hedefi yerine getirmeye odaklanabilir. Ölçütler yetersiz tanımlanmışsa, modelin ürettiği sonuç görünürde başarılı olsa bile kurumun beklentileriyle, iş kurallarıyla ya da güvenlik ilkeleriyle çelişebilir. Bu nedenle doğru sonuca ulaşmak ile doğru ve güvenli biçimde çalışmak aynı şey değildir. Ajanların yalnızca sonuca göre değil, o sonuca ulaşırken hangi işlemleri yaptığına göre de değerlendirilmesi gerekir.

Birden fazla ajanın birlikte çalıştığı sistemlerde denetim daha da karmaşıklaşabilir. Ajanlar görevleri birbirlerine aktarabilir, farklı araçlardan bilgi toplayabilir veya bir iş akışının ayrı aşamalarını yürütebilir. Bu tür etkileşimler tek başına gizli ya da kötü niyetli bir iş birliğinin kanıtı değildir; ancak kurumların tüm adımları görünür kılmasını ve ajanlar arasındaki veri aktarımını izleyebilmesini gerekli hale getirir. Bir ajanın yaptığı işlem, başka bir ajanın kararını etkiliyorsa, sorumluluğun ve işlemlerin kaydının açık biçimde tutulması önem taşır.

Yetki sınırları güvenliğin temel parçası

Kurumsal sistemlerde en önemli risklerden biri, yapay zeka ajanlarına görevlerini yerine getirmek için gerekenden fazla erişim izni verilmesidir. Örneğin yalnızca bir belgeyi özetlemesi gereken bir ajanın belgeleri değiştirme, paylaşma veya silme yetkisine sahip olması gerekmeyebilir. Aynı şekilde, bilgi aramak üzere kullanılan bir sistemin ödeme başlatma ya da kullanıcı hesaplarını yönetme izni taşıması, olası hataların etkisini gereksiz yere artırabilir.

Kurumlar bu riski azaltmak için en az ayrıcalık ilkesini uygulamalı; her ajana yalnızca belirli görevi için gerekli olan verilere ve araçlara erişim tanımalıdır. Yetkiler görev, kullanıcı ve işlem türüne göre ayrıştırılmalı; hassas işlemler ek onaya bağlanmalıdır. Özellikle para transferi, dışarıya veri gönderme, kayıt silme veya erişim izinlerini değiştirme gibi sonuçları ciddi olabilecek eylemler, insan onayı olmadan gerçekleştirilmemelidir.

• Görev kapsamını daraltın: Ajanın hangi işi yapabileceğini ve hangi işlemleri yapamayacağını açıkça tanımlayın.
• Erişimleri sınırlandırın: Gereksiz veri, uygulama ve yönetim izinlerini vermeyin.
• Hassas işlemleri onaya bağlayın: Geri alınması güç veya dış dünyada sonuç doğuran eylemlerde insan kontrolü kullanın.
• İşlemleri kaydedin: Ajanın hangi bilgiyi kullandığını, hangi aracı çağırdığını ve ne tür bir değişiklik yaptığını izlenebilir hale getirin.
• Yetkileri düzenli gözden geçirin: Kullanılmayan veya görev için artık gerekmeyen izinleri kaldırın.

Denetim, test ve insan gözetimi

Yapay zeka ajanlarını güvenli biçimde kullanmak için yalnızca başlangıçta yapılan bir kontrol yeterli değildir. Sistemler yeni verilerle, değişen talimatlarla ve farklı araçlarla etkileşime girebildiğinden, kurumların düzenli test ve izleme süreçleri kurması gerekir. Ajanların beklenmedik çıktıları nasıl ele aldığı, yanlış bilgiyle karşılaştığında ne yaptığı ve izin sınırlarına uyup uymadığı gerçek kullanım öncesinde kontrollü ortamlarda değerlendirilmelidir.

Canlı kullanım sırasında da kayıtlar ve uyarı mekanizmaları önemlidir. Olağan dışı veri erişimi, çok sayıda işlem denemesi veya tanımlı görevle ilgisiz araç kullanımı, inceleme gerektiren işaretler olabilir. İzleme sistemi yalnızca olayları kaydetmekle kalmamalı; gerektiğinde işlemi durdurmaya, erişimi geçici olarak kesmeye ve sorumlu kişilere haber vermeye de yardımcı olmalıdır. Böylece güvenlik ekipleri, bir sorun büyümeden müdahale edebilir.

İnsan gözetimi, ajanın her küçük adımını elle onaylamak anlamına gelmek zorunda değildir. Bunun yerine, risk düzeyine göre farklı kontrol katmanları uygulanabilir: düşük riskli ve geri alınabilir işlemler otomatik yürütülebilirken, hassas veya kalıcı sonuçlar doğurabilecek işlemler onay gerektirebilir. Bu yaklaşım, otomasyonun sağladığı hızdan yararlanırken kritik kararların sorumluluğunu da açık tutar.

Kurumlar için dengeli bir yaklaşım

Genel amaçlı modeller farklı işlerde esneklik sağlayabilir; ancak geniş kullanım alanları, kontrol edilmesi gereken davranışların ve erişimlerin de artmasına yol açabilir. Belirli bir görev için tasarlanmış, sınırlı araçlara erişen ve açık güvenlik kurallarıyla çalışan ajanlar bazı kurumsal senaryolarda daha kolay denetlenebilir. Yine de bir sistemin özel olarak geliştirilmiş olması tek başına güvenli olduğunu göstermez. Güvenlik; tasarım, izin yönetimi, test, izleme ve olaylara müdahale süreçlerinin birlikte işlemesine bağlıdır.

Kurumların yapay zekayı sorumlu biçimde kullanabilmesi için hangi verilerin ajanlarla paylaşılabileceğini, hangi kararların otomatikleştirilebileceğini ve bir hata durumunda kimin müdahale edeceğini önceden belirlemesi gerekir. Çalışanlara da ajanların yetenekleri ve sınırları hakkında bilgi verilmelidir. Böylece kullanıcılar, sistemin ürettiği her yanıtı doğrulanmış gerçek veya her eylemi güvenli kabul etmez; gerektiğinde çıktıları kontrol eder ve şüpheli durumları bildirir.

Sonuç olarak Microsoft’un uyarısı, yapay zeka ajanlarının mutlaka zararlı olduğu iddiasından çok, otonom sistemlere verilen yetkilerin dikkatle sınırlandırılması ve davranışlarının sürekli denetlenmesi gerektiğine işaret ediyor. Kurumlar, ajanları bağımsız karar vericiler olarak değil, belirli görevler için kullanılan ve sorumluluğu insanlar tarafından yönetilen araçlar olarak ele almalı. Sizce kurumlar yapay zeka ajanlarına hangi tür görevlerde bağımsız hareket etme izni vermeli, hangi işlemleri mutlaka insan onayına bağlamalı?