‘AI 인류 위협론’ 앤트로픽 연구원 “AI의 자기 개선 본격화, 위험 분기점”

광고

미국 인공지능(AI) 회사 앤트로픽을 사직하며 ‘인공지능 속도조절론’ 논쟁의 불씨를 던진 연구원 제이콥 콕슨이 인공지능의 위험성에 대한 경고 메시지를 잇달아 발신하고 있다. 인공지능이 “10년 안에 인류를 위협할 수 있다”는 그의 경고는 앤트로픽 최고경영자를 비롯한 인공지능 선두 기업들을 거쳐 미국뿐 아니라 세계 곳곳을 흔들고 있다.

콕슨은 14일 뉴욕타임스 팟캐스트 ‘더 데일리’에 출연해 “인공지능의 발전 속도가 예상보다 훨씬 빠르다”며 “업계 내부에선 이번 10년이 끝나기 전에 인공지능이 인류에 치명적 위협이 될 가능성을 진지하게 우려하고 있다”고 재차 경고했다.

앤트로픽에서 모델 훈련을 담당하는 연구원이었던 그는 8일 인공지능의 안전성 문제를 지적하며 회사를 떠났다. 그는 인공지능 업계가 통제할 수 없는 시스템 개발에 무책임한 경쟁을 벌이고 있다며 업계 전반의 흐름에 동참하고 싶지 않다는 선언을 남겼다. 당시 그가 소셜미디어 ‘엑스’에 “머지않아 인공지능은 무엇이든 해킹하고 실질적인 인력과 자원을 획득할 수 있는 초인적 시스템이 될 것”이라고 경고한 게시물은 20만명 이상 리트윗 되며 파장을 일으켰다. 나흘 뒤 다리오 아모데이 앤트로픽 최고경영자가 “인공지능 모델의 성능 향상 속도를 늦춰야 한다”고 주장했고, 인공지능(AI) 개발 경쟁을 주도해온 기업 수장들도 일제히 한목소리를 냈다. 퇴사한 콕슨은 시엔엔(CNN), 엔비시(NBC), 시비에스(CBS) 등 미국 주요 언론의 인터뷰에 응하며 규제되지 않은 인공지능의 위험성을 고발하고 있다.

광고

그는 이날 팟캐스트에서 자신의 게시물이 전 세계적으로 확산할 줄 예상하지 못했다고 했다. 콕슨은 “전문가들은 이미 오래전부터 이 주제에 관해 얘기해왔다”며 자신의 글이 현재의 “논의를 촉발한 계기가 됐다는 게 놀랍다”고 말했다.

퇴사를 결심하게 된 이유에 대해서는 인공지능의 위험성에 대해 목격한 후 더이상 인간을 해칠 수도 있는 일을 계속하기 어려웠다고 털어놨다. 콕슨은 “상황이 점점 미쳐가는 것 같다는 생각이 들었다”며 “수년에 걸친 연구 성과가 몇시간 만에 이뤄지는 상황이 올 것이며 자신의 모든 노력이 무용지물이 될 것이란 생각을 받아들이게 되면 사람들은 미쳐버리게 된다”고 말했다.

광고

광고

콕슨은 몇년 전만 해도 간단한 수학 문제를 제대로 풀지 못했던 인공지능이 현재 국제수학올림피아드 최고 수준 문제를 풀 수 있는 사실을 예로 들었다. 인간 연구자의 영역으로 여겨졌던 고난도 연구과제까지 수행하는 모습을 보며 자신이 예상했던 기술 발전 시간표가 완전히 무너졌다고 그는 언급했다.

그는 같은 업계에서 일하는 동료들과 사적으로 두려움을 털어놓곤 했다고 전했다. 그는 “나는 친구들에게 농담 섞인 어조로 ‘난 인공지능 일을 해. 언젠가 우리를 죽일 기술을 개발하고 있어’라고 말하곤 했다”면서 “이런 말을 아무렇지도 않게 한 달에 한번씩 농담 삼아 했던 것 같다”고 말했다. 회사를 그만두기 전 동료들로부터 인공지능의 안전성을 높이기 위한 업무에서 일하기를 권고받았지만, 인공지능의 위험성을 인지한 채로 회사에 계속 근무하는 것은 내키지 않았다고 털어놨다.

광고

그는 위기감을 크게 느낀 계기로 지난 7월 발생한 ‘허깅 페이스(hugging face) 해킹 사건’을 꼽았다. 오픈에이아이(AI)에서 인공지능 에이전트 무리가 저지른 해킹사건이었다. 오픈에이아이는 인공지능 에이전트들을 샌드박스라는 격리 공간에 넣어 인터넷을 못 쓰고 대화도 못 하게 한 뒤 과제를 풀어보라고 시켰다. 인공지능 에이전트들은 포기하지 않고 목표에 집착했고, 문제가 풀리지 않자 인공지능 관련 정보가 쌓여있는 플랫폼인 ‘허깅 페이스’를 해킹하면 해법을 찾을 수도 있다고 생각했다. 콕슨은 이 사건이 과제를 풀어 “좋은 점수를 받고 싶다는 (인공지능 에이전트들의) 욕망”에서 비롯됐고, 에이전트 무리가 “수단과 방법을 가리지 않”고 “매우 공격적”으로 해킹을 시도했다고 설명했다. 그는 이것이 “정말 무서운” 점이라고 짚었다.

콕슨은 인공지능이 인류를 죽일 수 있다고 보는 이유에 대한 질문에도 허깅 페이스 사건을 들었다. 그는 인공지능이 인간을 공격한다면 “인간적인 이유 때문은 아닐 것”이라며 구체적 시나리오로 그 사건을 꼽았다. 그는 “(허깅 페이스 사건과) 유사하게 인공지능이 인간이 자신의 목표에 어떤 식으로든 반대한다고 생각하게 된다면 비슷한 수준으로 전력을 다할 수 있다”며 드론을 해킹할 수도, 우리가 일상에서 이용하는 각종 기기들을 활용해 인류를 공격할 수 있다고 말했다.

특히 인공지능이 다음 세대 인공지능 모델의 코드를 작성하고 연구개발을 가속하는 ‘재귀적 자기개선’이 본격화할 경우 인간이 이를 이해하거나 통제하기 어려워질 수 있다고 콕슨은 우려했다. 콕슨은 “특이한 점은 바로 기계가 스스로를 만들어내는 과정을 가속화하고 그에 따라 점점 더 혼란이 커진다”고 설명했다.

그는 인공지능의 발전 속도를 늦추지 않으면 상황이 매우 나빠질 수 있으며, 일정 수준 이상으로 나아가지 않도록 합리적 규제가 필요하다고 강조했다. 그는 “제가 생각하는 이상적 시나리오는 정부가 인공지능 연구소들에게 속도를 조금 늦추도록 강제하는 것”이라며 어떤 형태로든 집단적 속도 저하가 필요하다고 강조했다.