대가들이 경고한 인류 폭주 시나리오…“AI개발, AI에 맡기는 순간 끝”

오픈AI·앤트로픽·MS 핵심 연구자 등 공동 논문
AI 연구 자동화→뛰어난 AI→‘자기증폭’ 우려
조건 맞으면 AI 발전속도 1.5년 만에 10배
“정부, 기업 내부 연구 자동화 수준 파악해야”
데이터센터 AI 연구 작업 긴급 중단 방안 제안

인공지능(AI)이 사람을 대신해 차세대 AI를 연구·개발하기 시작하면 AI 기술의 발전 속도가 지금보다 10배 이상 빨라지는 ‘지능 폭발(Intelligence Explosion)’이 일어날 수 있다는 경고가 나왔다. AI가 더 뛰어난 AI를 개발하고, 새로 만들어진 AI가 다시 다음 AI 개발에 투입되는 과정이 반복되면서 지금은 1년 걸리는 기술 발전이 불과 수주 만에 이뤄질 수 있다는 것이다.

28일(현지시간) 영국 케임브리지대의 AI 과학·정책 프로그램(CASP)은 ‘AI R&D 자동화가 지능 폭발을 촉발한다면’라는 제목의 연구 논문을 공개했다. 논문은 ‘지능 폭발’을 현재 속도라면 수년이 걸릴 AI 발전이 수개월 또는 그 이하로 압축되는 현상으로 정의했다.

논문에는 실제 최첨단 AI를 개발하고 있는 연구자들이 대거 참여했다. 오픈AI 수석과학자 야쿠프 파초키, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트 최고과학책임자 에릭 호비츠를 비롯해 ‘AI 대부’로 불리는 제프리 힌턴과 요슈아 벤지오, UC버클리의 돈 송 교수 등이 공동 저자로 이름을 올렸다.

AI가 짠 코드, 1년여 만에 80% 넘어

연구진이 지금 ‘지능 폭발’ 가능성을 꺼내든 이유는 AI 기업 내부에서 이미 AI가 AI를 개발하는 작업이 빠르게 늘고 있기 때문이다. 논문에 따르면 앤트로픽에서 AI가 작성한 뒤 실제 승인된 코드의 비중은 지난해 1월 한 자릿수 초반에서 올해 5월 80% 이상으로 치솟았다. 사람이 일일이 지시하지 않고 큰 방향만 제시한 상태에서 AI가 자율적으로 완료한 R&D 업무의 비중도 올해 3월 1%에서 8월 26%로 증가했다.

오픈AI에서도 AI가 미래 모델을 훈련하고 평가하며 보안을 점검하는 작업에 투입되고 있다. 구글 역시 코드 작성뿐 아니라 기술 설계와 새로운 연구 아이디어를 찾는 과정까지 AI를 활용하고 있다고 논문은 설명했다.

AI가 맡을 수 있는 연구의 난도도 높아지고 있다. 2023년에는 AI가 안정적으로 처리할 수 있는 업무가 인간에게 몇 초 걸리는 수준에 그쳤지만, 현재 최고 수준의 AI는 인간 전문가가 몇 시간에서 며칠 동안 해야 하는 AI R&D 업무까지 수행할 수 있다. AI가 인간보다 뛰어난 AI 안전 연구 방법을 찾아낸 사례도 있으며, 연구 아이디어를 만들고 직접 실험한 뒤 논문까지 작성한 자동화 시스템이 실제 머신러닝 학술행사의 워크숍 심사를 통과하기도 했다.

연구진은 최근 추세를 바탕으로 한 일부 추정에서는 사람에게 수개월 걸리는 AI R&D 프로젝트까지 2028년 중반께 자동화될 수 있다고 설명했다. AI 연구는 대부분 컴퓨터 안에서 이뤄지는 데다 성과를 빠르게 확인할 수 있고, AI 기업들이 자신들의 연구 과정에 관한 방대한 데이터를 가지고 있어 다른 업무보다 먼저 자동화될 가능성이 있다는 것이다.

‘AI 연구원’이 더 좋은 AI 만들고, 다시 연구에 투입

연구진이 우려하는 변화는 AI가 단순히 인간 연구자의 생산성을 높여주는 데서 끝나지 않는 경우다.

가령 AI가 인간 연구자 수준으로 새로운 알고리즘과 학습 방법을 찾아낼 수 있게 됐다고 가정해보자. 인간 연구자와 달리 AI 연구자는 컴퓨팅 자원이 허용하는 만큼 복제할 수 있다. 수많은 AI 연구원이 동시에 연구해 기존보다 뛰어난 AI를 개발하면 새 AI는 다시 연구에 투입된다. 더 뛰어난 AI 연구원이 다시 더 뛰어난 AI를 만드는 과정이 반복되는 것이다. 논문은 이를 ‘재귀적 피드백 루프’라고 설명한다. AI의 연구 능력이 높아질수록 실질적인 R&D 인력이 늘어나고 늘어난 연구 인력이 더 뛰어난 AI를 개발하면서 연구 능력이 다시 확대되는 구조다.

연구진의 계산에 따르면 AI가 인간 전문가 수준의 R&D 능력을 갖추면서 현재와 비슷한 비용으로 작동할 경우 한 프런티어 AI 기업이 현재 보유한 컴퓨팅 자원만으로도 최상급 인간 연구자 최소 수백만명에 해당하는 AI 연구 인력을 가동할 수 있다. 현재 주요 AI 기업이 수천 명의 연구자를 두고 있는 것과 비교하면 연구 인력 자체가 순식간에 압도적으로 늘어날 수 있다는 얘기다.

AI R&D가 완전히 자동화된 뒤에도 현재 수준의 효율 개선이 이어진다면 자동화된 연구 인력은 수개월~수년에 걸쳐 100배로 증가할 수 있다고 연구진은 추산했다. 미국의 연구자 인구가 같은 비율로 증가하는 데는 약 70년이 걸렸다.

그렇다면 AI 발전은 실제 얼마나 빨라질 수 있을까. 연구진은 기존 연구에서 추정한 ‘연구 노력에 대한 수익’을 이용해 이를 계산했다. 쉽게 말해 연구 인력을 늘렸을 때 기술 발전 속도가 얼마나 빨라지는지를 나타내는 수치다.

기존 AI 연구 데이터를 분석한 연구에서는 이 수치의 중심 추정값이 분야에 따라 1.2~1.9로 나타났다. 연구진은 AI R&D가 완전히 자동화되고 이 같은 관계가 계속 유지되며 GPU나 데이터 같은 다른 제약이 생기지 않는다는 조건에서 AI 발전 속도가 약 1.5년 만에 10배까지 빨라질 수 있다고 분석했다. 그렇게 되면 지금 속도로 1년 동안 이뤄지는 AI 기술 발전이 약 5주 만에 일어날 수 있다.

AI 연구원은 복제해도 GPU는 복제 못한다

다만 연구진은 이것이 예정된 미래라고 주장하지 않는다. AI 연구원을 소프트웨어처럼 대량 복제할 수 있다고 해도 연구에 필요한 현실의 자원까지 동시에 늘어나는 것은 아니기 때문이다.

대표적인 것이 GPU다. 수백만 개의 AI 연구 에이전트를 만들더라도 이들이 동시에 실험을 하려면 막대한 컴퓨팅 자원이 필요하다. AI 모델이 커질수록 연구 실험에 필요한 컴퓨팅 자원까지 비례해 늘어난다면 이것만으로도 지능 폭발이 막힐 가능성이 있다고 연구진은 설명했다. 다만 실제 연구에 필요한 컴퓨팅 수요가 앞으로 얼마나 증가할지는 아직 불분명하다.

학습 데이터도 제약이 될 수 있다. 인터넷에 존재하는 인간 생성 데이터만으로는 현재와 같은 AI 발전 속도를 계속 유지하기 어려울 수 있다. 반면 수학이나 코딩처럼 AI가 스스로 문제를 만들고 결과가 맞았는지 바로 확인할 수 있는 분야에서는 합성데이터를 이용해 이 문제를 상당 부분 피할 가능성도 있다.

시간 자체도 문제다. 연구 아이디어를 AI가 몇 초 만에 내놓더라도 새로운 대규모 AI 모델을 실제로 훈련하는 데는 현재 3개월 이상 걸릴 수 있다. AI가 자동화하기 어려운 일부 연구 업무가 끝까지 남는다면 그 업무가 전체 개발 속도를 결정하는 병목이 될 수도 있다.

연구진은 정부가 가장 먼저 파악해야 할 것은 새로운 AI 모델의 외부 성능이 아니라 AI 기업 내부에서 AI가 연구개발을 얼마나 대신하고 있는지라고 강조했다. 문제는 이런 변화를 외부에서는 알기 어렵다는 점이다. AI 기업은 새로운 모델을 일반에 공개하기 전 자사 연구 과정에 먼저 투입한다. 따라서 상당한 수준의 R&D 자동화가 외부에 알려지지 않은 채 진행될 가능성이 있다고 연구진은 지적했다.

이에 연구진은 프런티어 AI 기업이 AI가 만들어낸 연구 성과의 비중, AI R&D 자동화 수준, 알고리즘 효율이 향상되는 속도 등을 정부와 제3자 감사기관에 표준화해 보고하는 방안을 검토해야 한다고 제안했다. 독립적인 외부기관이 AI 시스템을 기업 내부 R&D에 투입하기 전에 평가하거나 감독기관 관계자가 기업 내부에서 연구활동을 살펴보는 방안도 제시했다.

데이터센터에 대한 감독도 거론했다. 정부와 AI 기업, 데이터센터 운영사가 사전에 사고 대응 체계를 만들어 필요할 경우 특정 AI R&D 작업을 중단할 수 있는 방안을 준비하고 일부 자동화된 AI 연구는 외부 인터넷과 격리된 환경에서 수행하는 방안도 검토해야 한다고 주장했다. 연구진은 “AI R&D 자동화가 조만간 지능 폭발을 촉발할지는 아직 알 수 없다”라면서도 “하지만 일단 지능 폭발이 시작되고 나면 대응할 수 있는 시간 자체가 사라질 수 있다”고 경고했다. [실리콘밸리 원호섭 특파원]