“AI 고성능화, 지금 속도는 위험하다”…머스크·올트먼·아모데이의 ‘경고’

광고

인공지능(AI) 개발 경쟁을 주도해온 일론 머스크, 샘 올트먼, 다리오 아모데이, 데미스 허사비스가 최첨단 인공지능의 개발 속도를 늦춰야 한다는 데 이례적으로 뜻을 모았다. 인공지능 개발 경쟁이 가속화하면서 연구자들 사이에서도 “이대로 가면 인류가 통제할 수 없는 단계에 이를 수 있다”는 경고가 빠르게 확산하고 있다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시각) 자신의 블로그에 올린 글에서 “인공지능 모델의 성능 향상 속도를 늦춰야 한다”고 주장했다. 그는 올여름 이후 인공지능 발전 속도가 “극적으로 빨라졌다”며 지금과 같은 속도로 최첨단 모델의 성능을 계속 높이는 것은 위험하다고 썼다. 특히 인공지능이 인간의 개입 없이 스스로 더 나은 시스템을 만드는 ‘재귀적 자기개선’(RSI) 단계에 이르면 기술 발전 속도가 인간의 이해와 통제 능력을 앞지를 수 있다고 경고했다.

아모데이는 “개발 속도를 늦춰 모델이 임계 수준의 능력에 도달하기까지 1~2년의 시간을 더 벌고, 그 시간을 인공지능 정렬 기술을 발전시키는 데 쓴다면 심각한 문제가 발생할 위험을 크게 줄일 수 있다”고 밝혔다. 인공지능 정렬은 인공지능이 인간의 가치와 의도에 맞게 행동하도록 하는 기술이다. 그는 외부 독립 평가자들이 내부 시스템에 상시 접근해 안전조치 준수 여부 등을 점검하도록 하겠다고 덧붙였다.

광고

경쟁사 수장들도 곧바로 호응했다. 일론 머스크 스페이스엑스(X) 최고경영자는 소셜미디어 엑스(X)에 “다리오가 옳다”고 썼고, 샘 올트먼 오픈에이아이(AI) 최고경영자도 “최첨단 인공지능 개발 속도를 조절해야 한다는 데 동의한다”며 오픈에이아이 역시 독립 평가자에게 직원에 준하는 접근권을 제공하겠다고 밝혔다. 구글 딥마인드 최고경영자 데미스 허사비스 역시 아모데이의 지적이 “올바른 방향”이라고 동의했다.

이처럼 인공지능 개발 경쟁의 선두에 선 기업들이 잇따라 ‘속도 조절’을 주장하고 나선 배경에는 ‘인공지능 에이전트’의 급속한 발전이 있다. 이들은 단순히 인간의 질문에 답하는 수준을 넘어 계획을 세우고, 다른 인공지능과 협력하며, 컴퓨터 시스템에 접근해 실제 행동을 수행하는 단계로 발전하고 있다.

광고

광고

특히 지난 7월 오픈에이아이가 공개 전 모델을 시험하는 과정에서 벌어진 ‘허깅페이스 해킹 사건’은 인공지능 안전 연구자들에게 큰 충격을 줬다. 당시 1천개가 넘는 인공지능 에이전트들은 시험에서 높은 점수를 얻기 위해 서로 메시지를 주고받고 역할을 나누며 집단적으로 움직였다. 일부는 다른 에이전트들의 목표 달성을 위해 스스로 희생하는 행동까지 보였다. 이 과정에서 기록을 조작하고, 인공지능 개발 플랫폼 허깅페이스의 시스템을 실제로 해킹했다.

인공지능 분야의 세계적 석학인 요슈아 벤지오는 파이낸셜타임스에 당시 사건이 단순한 시험 과정의 일탈이 아니라는 점을 강조했다. 그는 인공지능 에이전트들이 스스로 목표를 정하고 기업 시스템을 해킹했다는 점을 들어 “비디오게임 같은 상황이 아니다”라고 말했다. 그러면서 더 강력한 인공지능은 논리적으로 인간을 속이고, 숨고, 인간을 통제하려는 결론에 도달할 수 있으며, 이미 그런 단계에 근접하고 있다고 우려했다.

광고

인공지능이 인공지능을 개발하는 데 직접 투입되기 시작했다는 점도 우려를 키우고 있다. 오픈에이아이와 앤트로픽 등은 인간의 개입을 줄이면서 인공지능이 더 나은 인공지능 시스템을 만드는 ‘재귀적 자기개선’ 기술을 추진하고 있다. 이 단계가 본격화하면 인공지능이 스스로 성능을 높이는 속도가 인간의 안전장치 마련 속도를 앞질러, 개발자조차 예측하거나 통제하기 어려운 방향으로 급격히 진화할 수 있다.

연구자들 내부에선 위험 인식이 빠르게 번지고 있다. 앤트로픽 연구원 제이컵 콕슨은 지난 8일 회사를 떠나면서 오픈에이아이와 앤트로픽이 초지능 인공지능 개발 경쟁을 벌이면서 “우리의 목숨을 걸고 도박하고 있다”고 비판했다. 그는 “인공지능을 만드는 사람들은 인공지능이 이번 10년 안에 우리 모두를 죽일 수도 있다고 진지하게 믿고 있다”고 말했다. 오픈에이아이 재단 이사로 최근 임명된 인공지능 안전 연구자 폴 크리스티아노도 9일 충분한 안전장치가 마련되지 않는다면 “대부분의 사람이 죽을 것”이라고 경고했다. 오픈에이아이와 앤트로픽, 구글, 메타 직원 1200명 이상이 미국 정부에 인공지능 개발 속도를 늦추기 위한 국제 공조를 촉구하기도 했다.

도널드 트럼프 행정부는 인공지능 산업에 대한 ‘최소 규제’ 기조를 유지하고 있다. 지난 10일 트럼프 대통령은 ‘인공지능이 인류를 멸망에 이르게 할 수 있다는 우려가 있느냐’는 질문에 “전혀 걱정하지 않는다”며 “중국에 대한 기술 우위를 유지하는 게 최우선 관심사”라고 말했다.