MS CEO “AI는 위험한 내부자…통제할 ‘비상 브레이크’ 필요”

광고

인공지능 업계 안팎에서 인공지능 통제 불능 사태에 대한 우려의 목소리가 커지는 가운데 마이크로소프트(MS) 최고경영자(CEO)가 인공지능 모델을 ‘위험한 내부자’로 보고 강하게 통제하는 시스템이 필요하다고 주장했다. 모델이 통제를 벗어나려 할 경우 멈춰세울 수 있는 ‘비상 브레이크’가 필요하다는 제안도 내놨다.

사티아 나델라 마이크로소프트 최고경영자가 11일(현지시각) 엑스에 올린 ‘슈퍼지능 시대 내부자 위험으로서의 모델’이란 글에서 “오늘날 슈퍼지능 시스템을 구동하는 최첨단 모델의 행동을 추적할 수 있는 도구와 능력을 찾아보기 어렵다”고 지적했다. 그는 “그럼에도 우리는 가장 민감한 데이터에 접근할 수 있고, 우리를 대신해 핵심 과업을 수행할 권한을 가진 복잡한 에이전트 시스템과 모델들을 계속해서 배포하고 있다”며 “한 걸음 물러서서 신뢰성 설계를 점검해야 할 때”라고 촉구했다. 이 과정에서 나델라는 인공지능 모델을 내부를 들여다볼 수 없는 블랙박스처럼 취급해 모델이 내놓는 결과를 그대로 수용하거나 전적으로 거부하는 방식으로 대하는 양극단을 피해야 한다고 강조했다.

나델라는 인공지능 통제 시스템을 구축하기 위해선 기업들이 수십 년간 발전시켜 온 ‘위험한 내부자’를 다루는 방식에 주목하자고 제안했다. 기업 내에서 권한이 많은 임원이나 협력사에 대해 신원을 확인하고, 권한에 제한을 두며, 활동을 기록하도록 하는 다양한 통제 방식을 인공지능에 적용하자는 것이다.

광고

이런 관점에서 나델라는 인공지능 모델들끼리 서로 감시하게 하는 것만으로는 충분하지 않다며 “통제·안전 장치는 모델 외부에 존재해야 한다”고 강조했다. 이런 시스템을 구축하기 위해서 나델라는 먼저 중요한 결과를 생산할 때 단 하나의 모델에만 의존하거나 모델이 자신의 작업을 스스로 검증하게 하는 것으로 끝내서는 안 된다고 강조했다.

특히 나델라는 권한을 가진 사람이 언제든 인공지능 모델을 멈춰 세울 수 있는 표준화된 “비상 브레이크”가 필요하다고 제안했다. 또 모든 모델의 행위는 인간이 재현할 수 있도록 조작이 불가능하고 인간이 읽을 수 있는 기록을 남겨야 한다고도 강조했다. 사고가 발생했을 때는 무엇이 잘못되었고, 재발 방지 방법은 무엇일지 외부에 공개하는 메커니즘도 필요하다고 짚었다.

광고

광고

나델라는 “가장 신뢰할 수 있는 슈퍼지능 시스템은 가장 신뢰하는 모델로 구성된 시스템이 아니라, 우리가 모델을 가장 적게 신뢰하도록 만들어진 시스템”이라고 말했다.

한편, 나델라는 이 글에서 인공지능을 도널드 트럼프 미국 정부의 대체 용어인 ‘슈퍼지능’(SI·Super Intelligence)으로 지칭해 눈길을 끌었다. 트럼프 대통령은 ‘인공지능’을 ‘슈퍼지능’으로 바꿔 부르도록 하는 행정명령에 서명했고, 인공지능이라는 용어를 쓰면 적으로 간주하겠다고 밝혔다.