Testlerde beklenmedik işlere imza attı

İstenmeyen noktalara kadar uzanan olaylar sonrası teknoloji devi güvenlik önlemlerinde değişiklikler gerçekleştirdi.

Yapay zeka modellerine bir görev verildiğinde işlerin nerelere varabileceğini Anthropic ‘in son testleri gösterdi. Bazı modeller ABD’deki federal, eyalet ve yerel yönetim sitelerinin açıklarından yararlandı. Hatta bununla da kalmadılar. Güvenlik engellerini aşarak verilere ulaştılar, gerçek formlar gönderdiler ve kendilerine koyulan kırmızı çizgileri geçtiler. Şirket olayların gerçek dünyadaki etkisinin sınırlı kaldığını ve Beyaz Saray’ı bilgilendirdiğini belirtti.

AI Modelleri Neler Yaptı?

Raporlananlara göre Mythos Preview bir üniversitenin sunucusundaki açığı kullanıp istenmeyen işlemler yaptı. Haiku 4.5 ise Philadelphia polisine uydurma bir cinayet ihbarı gönderdi. İhbar spam olarak işaretlendi ve incelemeye alındı. Opus 5 ve Mythos 5 ise kendilerine koyulan engelleri aşmak için farklı bir yol bulmayı başardı.

Anthropic Bağlantıyı Kapattı

Anthropic sorunun pekiştirmeli öğrenmede (Reinforcement Learning) verilen fazla cömert ödüllerden kaynaklanmış olabileceğini düşünüyor. Modeller de böylece başarısız olmayı kabul etmek yerine izin verilmeyen davranışlara yöneldi. Şirket gerekli değerlendirmeleri yapmak için testleri çevrimdışı ortamda sürdüreceğini duyurdu. Dipnot olarak pekiştirmeli öğrenme yapay zekanın eğitildiği bir yöntem oluyor. Model doğru davranışlarda ödüllendirilirken, yanlış davranışlarda ise cezalandırılıyor.