“어떻게 쓰는 물건인고?”…AI 비서를 대하는 CEO들의 올바른 자세

보안 플랫폼 ‘스플렁크’ 코리 민턴 CTO
에이전트 통제 체계 아직 부족
자율적으로 행동할 권한 주되
‘되돌릴 수 있나, 파악할 수 있나’
명확한 체크리스트 만들 필요

“기업은 관찰할 수 없는 것을 통제할 수 없다. 오늘날 대부분의 기업은 자사의 에이전트가 무엇을 하고 있는지 관찰하지 못하고 있다.”

코리 민튼 스플렁크 글로벌 필드 최고기술책임자(CTO)는 최근 매일경제와 인터뷰에서 인공지능(AI) 에이전트 도입 경쟁의 맹점을 이렇게 짚었다. AI 에이전트가 실제 업무에 빠르게 투입되고 있지만 기업들은 어떤 에이전트가 어떤 권한으로 무엇을 하는지 제대로 파악하지 못하고 있다는 것이다.

스플렁크는 기업 전산망에서 쏟아지는 로그 등 ‘머신 데이터’를 분석해 해킹과 시스템 장애를 찾아내는 소프트웨어 기업으로 2024년 시스코에 인수됐다. 지난달 14~17일(현지시간) 미국 콜로라도주 덴버에서 열린 연례 행사 ‘닷컨프26’에서는 AI 에이전트를 감시·통제하는 제품군을 공개했다.

민튼 CTO는 “상당수 대기업이 이미 에이전트 시범 도입 단계를 넘어섰다”고 진단했다. 특히 보안과 정보기술(IT) 운영에서는 에이전트가 실제 업무를 수행하고 있다. 하지만 관리·통제 체계는 이를 따라가지 못하고 있다. 그는 고객 기업에 ‘현재 몇 개의 에이전트가 가동 중인가’, ‘각 에이전트는 어떤 권한으로 인증받는가’라는 두 질문을 던진다고 했다. 민튼 CTO는 “두 번째 질문에 답할 수 있는 리더는 극소수”라며 “이러한 격차는 성숙도의 문제가 아니라 운영 모델의 문제”라고 말했다.

기업들이 기존 시스템은 그대로 둔 채 에이전트를 계속 추가하는 것도 문제다. 시스템 간 연결 지점이 늘어나고 악의적인 명령으로 AI를 조종하는 ‘프롬프트 인젝션’, 처음 주어진 목표에서 벗어나는 ‘목표 표류’ 같은 새로운 위험도 생긴다.

비용도 커지고 있다. 스플렁크가 옥스퍼드 이코노믹스와 글로벌 2000대 기업 임원을 조사해 발표한 보고서에 따르면 예기치 못한 시스템 중단으로 발생하는 비용은 연간 6000억달러(약 809조원)로 2년 새 50% 늘었다. 민튼 CTO는 “모든 기업 이사회에 되묻고 싶은 질문은 ‘AI가 리스크를 가중시키는가’가 아니라 ‘새로운 에이전트가 도입될 때마다 기존의 무엇이 퇴출되는가’이다”라며 “대부분은 그 이름들을 대지 못한다”고 말했다.

사고가 났을 때 해킹인지 AI의 오판인지 구분하기 위해서는 ‘기록’이 핵심이라고 강조했다. 에이전트의 신원과 받은 입력값, 호출이 허용된 도구, 실제 행동을 함께 남겨야 한다는 것이다. 그는 “사전에 기록해 두지 않았다면 사후에는 그 차이를 구분할 수 없다”고 말했다. 해킹이라면 잘못된 입력이나 명령이 들어온 흔적이, AI의 오판이라면 정상적인 입력을 잘못 처리한 과정이 기록에 남는다.

그렇다고 모든 행동을 사람이 승인할 수는 없다고 봤다. 민튼 CTO는 에이전트에 자율적으로 행동할 권한을 주는 기준으로 ‘되돌릴 수 있는가’, ‘영향 범위가 제한적이고 파악돼 있는가’, ‘사람이 같은 결정을 이미 문서화된 절차에 따라 내리고 있는가’ 등 세 가지를 제시했다. 세 조건을 모두 충족하면 에이전트가 스스로 조치할 수 있다는 것이다.

반대로 데이터 파기나 법적·규제적 결과가 따르는 행동, 자신의 권한을 변경하는 행동은 AI가 혼자 결정해서는 안 된다고 했다. 민튼 CTO는 “스스로 자신의 권한을 확대할 수 있는 에이전트는 의미 있는 권한을 가졌다고 볼 수 없다”며 “자율성 자체가 성과가 아니라 그 자율성을 둘러싼 ‘책임’이 진정한 성과”라고 강조했다.

최근 실리콘밸리에서 제기되는 ‘AI 능력이 통제 능력을 앞지른다’는 논쟁에 대해서는 기업 현장의 문제가 더 당면해 있다고 봤다. AI 기능이 기업의 ‘데이터 준비성’을 앞지르고 있다는 것이다. 스플렁크 조사에서 응답자의 74%는 AI와 자동화로 중간 수준 이상의 데이터 관리 문제가 생겼다고 답했고, 53%는 AI나 자동화된 의사결정에 필요한 머신 데이터가 자주 또는 항상 부족하다고 했다.

민튼 CTO는 “기업들이 AI 거버넌스에 실패하는 이유는 거버넌스 프레임워크를 사용할 수 없어서가 아니다”라며 “그 프레임워크가 요구하는 운영 데이터가 애초에 계측된 적이 없기 때문에 실패하는 것”이라고 말했다. [실리콘밸리 원호섭 특파원]