Anthropic'in CEO'su Amodei'den, yapay zekada güvenli ilerleme için denge ve kontrol çağrısı

Yapay zeka şirketi Anthropic'in Üst Yöneticisi (CEO) Dario Amodei, internet sitesinden dün yayımladığı makalesinde, yapay zekanın kontrolünün kaybedilmesi, siber saldırı ve biyoterörizm amacıyla kötüye kullanılması ve ciddi ekonomik aksaklıklara yol açması konularını ele aldı.

Yapay zekadan yararlanırken gelişim hızını dengelemeyi amaçlayan "üç aşamalı plan" önerisinde Amodei, hükümetlerin denetim sürecine dahil edilmesi, sektör genelinde ve küresel düzeyde koordinasyon sağlanmasını öngören bir çerçeve ortaya koydu.

AA muhabiri makalede öne çıkan başlıkları derledi.

Yapay zeka kendi evrimini hızlandırıyor

Halihazırdaki teknolojinin, bir sonraki nesil yapay zeka sistemlerinin geliştirilmesine giderek daha fazla katkı sağlayabilmesinden endişe duyduğunu belirten Amodei, bu özelliği "yapay zekanın kendi kendini yinelemeli biçimde geliştirme kapasitesi" olarak adlandırdı.

Amodei, bu durumun Anthropic dahil sektör genelinde görüldüğünü aktararak, denetlenmemesi halinde yapay zekanın, insanların bu sistemleri anlama ve kontrol etme kapasitesini aşabileceğini, geliştirilecekse de çok dikkatli şekilde geliştirilmesi gerektiği konusunda uyardı.

Yapay zeka ajanlarının komut dışı saldırıları

Amodei, yapay zeka ajanlarının toplu halde komut dışı hedeflere siber saldırı düzenlediğine dair vakalar olduğunu aktardı.

Anthropic'in CEO'su, hasarın asgari boyutta olduğu bu vakaların aksine aynı amaçla hareket eden ancak daha büyük kapasiteye sahip ajanların benzer senaryoda "felaket düzeyinde" ekonomik zarara neden olabileceği ihtimali üzerinde durdu.

Dengeli ve kontrollü ilerleme

Yapay zekanın gelişim hızını dengelemenin, model eğitimini ve teknik ilerlemeyi durdurmak anlamına gelmediğini aktaran Amodei, şirketlerin modellerini güvenli hale getirmeleri, önlem almaları ve üçüncü taraf değerlendiricilerin bunu doğrulamaları gerektiğini vurguladı.

Amodei, koordineli ve dengeli hız stratejisinin, yapay zekayı daha iyi anlamak, operasyonel yetkinlik ile güvenlik kazandırmak ve gerekli testlere tabi tutmak için zaman kazandırdığına işaret etti.

Üçüncü taraflar

Amodei'in "üç aşamalı plan" önerisinde bahsettiği ilk aşama, denetim mekanizmasını güçlendirmek amacıyla, şirketin güvenlik uygulamalarına uyup uymadığını doğrulamak ve olası ihlalleri bildirmekle yükümlü üçüncü taraf "değerlendiricilere" çalışanlarla benzer erişim yetkileri verilmesini öngörüyor.

Dario Amodei'e göre, sisteme entegre edilen değerlendiriciler, yapay zeka şirketlerinin uyguladıklarını belirttiği eğitim, kullanıma sunma, operasyon ve güvenlik uygulamalarına gerçekten uyup uymadığını doğrudan ve ayrıntılı şekilde kontrol edebilir, bu süreçte çalışanların dikkatinden kaçan bir durum hakkında ikinci görüş sağlayabilir.

Uluslararası düzenlemeler

Önde gelen yapay zeka şirketlerinin güvenlik ihlallerini önlemek ve buna uygun düzenlemeler yürürlüğe koymak için hükümetlerle işbirliği yapması çağrısında bulunan Amodei, şirketlerin de standart belirlemek üzere gönüllü olarak birlikte çalışması gerektiğinin altını çizdi.

Gelecekte hükümetler arası varılacak bir yapay zeka anlaşmasının önemine değinen Amodei, bu kapsamda modellerin piyasaya sürülmesinden önce siber güvenlik, biyoloji ve yapay zekanın güvenli şekilde yönlendirilmesi gibi alanlardaki ciddi risklere karşı test edilmesini zorunlu kılacak bir anlaşma yapılması ile yapay zekanın biyolojik silah üretimi gibi açıkça tehlikeli amaçlarla kullanımını yasaklayacak düzenlemeler üzerinde uzlaşılabileceğini belirtti.