연구자 22명 “AI가 AI 만드는 ‘지능 폭발’ 대비…인류 멸종 이어질 수도”

광고

인공지능(AI) 개발 자체를 인공지능에 맡기는 자동화가 빠르게 진행되면서 수년이 걸릴 기술 진보가 수개월 이하로 압축되는 ‘지능 폭발’이 일어날 가능성이 있다고 세계 주요 인공지능 연구자들이 경고했다. 이들은 이런 급격한 기술 발전이 인간이 고도화된 인공지능 시스템에 대한 통제력을 잃는 극단적인 위험으로 이어질 수도 있다며 각국 정부의 대응을 촉구했다.

주요 연구자 22명은 영국 케임브리지대 ‘인공지능 과학·정책 프로그램’(CASP)을 통해 28일(현지시각) 발표한 공동 논문 ‘인공지능 연구개발의 자동화가 지능 폭발을 촉발한다면?’에서 이 같은 분석을 내놨다. 인공지능 과학·정책 프로그램은 이번 연구를 학계와 첨단 인공지능 기업의 고위 연구자, 시민사회 전문가들이 지능 폭발 가능성과 정책 대응을 함께 분석한 첫 공동 연구라고 설명했다.

논문에는 튜링상 수상자인 제프리 힌턴(토론토대·노벨상 수상자), 요슈아 벤지오(몬트리올대·밀라), 앤드루 바토(매사추세츠대 애머스트) 등 세계적인 인공지능 연구자들이 참여했다. 야쿠프 파호츠키 오픈에이아이(AI) 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트 최고과학책임자 등 주요 기업 연구진도 이름을 올렸다. 던 송은 논문에는 UC버클리 소속 교수로 참여했으며 현재 메타 초지능연구소의 인공지능 연구 부사장을 겸하고 있다.

광고

연구진은 현재 첨단 인공지능 기업에서 모델을 개발하는 작업 자체를 인공지능에 맡기는 속도가 빠르게 증가하고 있다고 지적했다. 앤트로픽의 경우 회사가 승인한 코드 가운데 인공지능이 작성한 비율이 2025년 1월 낮은 한 자릿수에서 올해 5월 80% 이상으로 늘어났다. 인간은 큰 틀에서만 감독하고 인공지능이 자율적으로 완료한 연구개발 업무의 비율도 올해 3월 1%에서 8월 26%로 높아졌다. 오픈에이아이 역시 인공지능 지원이 기술·비기술 분야를 가리지 않고 회사의 사실상 모든 부문에서 쓰이고 있다.

연구진은 최근 추세를 바탕으로 한 잠정적 추정에서, 현재 수개월이 걸리는 인공지능 연구개발 프로젝트가 2028년 중반까지 자동화될 가능성이 있다고 봤다.

광고

광고

연구진은 연구 인력을 늘려도 성과 증가 폭이 줄어드는 ‘수확체감’, 컴퓨팅·데이터 제약, 자동화하기 어려운 과제, 장기간이 걸리는 훈련 과정 등 최소 네 가지 요인이 지능 폭발을 억제할 수 있다고 짚었다. 다만 논문은 과거 인공지능 발전 데이터를 분석한 호(Ho)와 휘트필(Whitfill)의 연구를 인용해, 분석 대상인 인공지능 3개 하위 분야 모두에서 연구 인력 증가 효과가 수확체감을 웃도는 것으로 추정됐다고 설명했다. 인공지능 연구개발이 완전히 자동화된 뒤 연구 인력 증가 효과가 지금 추정치 수준을 유지하고 다른 병목이 나타나지 않는다면, 인공지능 발전 속도가 약 1년 반 안에 10배 빨라져 현재 속도로 1년 걸릴 인공지능 발전이 약 5주 만에 이뤄질 수 있다는 게 연구진의 계산이다. 다만 연구진은 이런 지능 폭발이 실제 발생할지는 여전히 불확실하다고 거듭 강조했다.

그럼에도 연구진은 지능 폭발이 현실화할 경우 파급력이 워낙 큰 만큼 사전에 대비해야 한다고 주장했다. 특히 연구개발 과정에서 인간의 개입이 줄어들면 문제를 발견하고 수정할 기회와 전문성 자체가 약화될 수 있다고 지적했다. 논문은 인간의 충분한 감독이 없으면 잘못 정렬된 인공지능 시스템이 후속 시스템 개발을 오염시키거나 격리 장치를 우회해 의도된 환경 밖에서 행동할 수 있다고 지적하면서, 이런 통제력 상실이 “극단적으로는 인류의 주변화나 멸종을 포함한 재앙적 결과”로 이어질 수 있다고 경고했다.

광고

연구진은 또 지능 폭발이 한 국가의 근소한 우위를 결정적 우위로 바꿔놓을 수 있으며, 그런 가능성만으로도 경쟁국의 선제 행동과 국제 분쟁을 유발할 수 있다고 분석했다.

연구진은 정책 대응의 첫 번째 우선순위로, 각국 정부가 첨단 인공지능 기업 내부에서 연구개발 자동화가 어느 수준까지 진행되고 있는지 파악할 수 있어야 한다고 제안했다. 인증받은 민간 감사기관이나 정부 평가기관 같은 독립적인 제3자가 인공지능 시스템을 기업 내부에 배포하기 전에 평가하거나, 첨단 인공지능 기업 내부에 상주하며 연구개발 활동을 감사·감독하도록 하는 방안도 제시했다. 연구진은 다른 산업의 유사 사례로 미국 원자력규제위원회(NRC)의 원전 상주검사관 제도와 통화감독청(OCC)을 들었다.

연구진은 “지능 폭발이 시작되면 행동할 수 있는 기회의 창이 닫힐 수 있다”며 지금부터 준비해야 한다고 강조했다.