“AI ‘지능 폭발’ 임박” 세계 최고 전문가 22명의 경고장

영국 ‘케임브리지대 AI 과학·정책 프로그램’(CASP)을 통해 발표한 공동 논문 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’

오픈AI, 앤트로픽, 마이크로소프트(MS), 메타 등 주요 인공지능(AI) 기업의 연구 책임자들이 AI가 자신의 연구·개발(R&D) 과정에 참여하면서 수년이 걸리던 기술 진전을 수개월로 앞당기는 ‘지능 폭발’이 현실화할 수 있다고 경고하는 논문을 28일(현지시간) 발표했다.

야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 MS 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장은 영국 ‘케임브리지대 AI 과학·정책 프로그램’(CASP)을 통해 발표한 공동 논문 ‘AI 연구·개발의 자동화가 지능 폭발을 촉발한다면?(사진)’에서 이 같은 우려를 내놨다. 이들은 “정책 입안자들은 이러한 가속화가 시작되기 전에 AI 시스템에 대한 감독 체계를 구축해야 한다”고 촉구했다.

이 논문에는 세계 3대 ‘AI 대부’로 꼽히는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 모두 22명의 학계 인사와 AI 기업의 현업 연구진이 공동 저자로 이름을 올렸다.

저자들은 AI 시스템이 스스로 AI 연구를 수행하고, 그 결과를 바탕으로 더 뛰어난 후속 AI 시스템을 만들어내는 ‘재귀적 피드백 구조’를 설명했다. 그러면서 “이렇게 개선된 AI는 AI 연구·개발 과정에서 점점 더 많은 업무를 맡게 되고, 결국 인간이 결과를 검토하는 속도보다 더 빠르게 연구를 진전시키게 된다”고 지적했다.

앤트로픽은 지난 8월 기준으로 자사 R&D 업무의 26%를 AI 시스템이 수행하고 있다고 밝혔다. 이는 지난 3월 1%에서 불과 5개월 만에 25%포인트나 늘어난 수치다. 또 승인된 코드 가운데 AI가 생성한 코드의 비중은 지난 1월 한 자릿수 초반에서 지난 5월 80% 이상으로 확대됐다. 오픈AI 역시 현재 소속 연구원의 약 70%가 AI 연구를 위해 4개 이상의 AI 에이전트를 사용하고 있으며, 2028년까지 완전히 자동화된 AI 연구원 개발을 목표로 세우고 있다.

저자들은 AI 의존도가 지나치게 커진 상황을 보여주는 사례로 오픈AI의 AI 에이전트 1200여개가 사이버보안 평가 과정에서 허가 없이 인터넷에 접속해 허깅페이스를 해킹한 사건을 들었다. 이 사건을 조사한 독립 연구진은 AI의 해킹 작전 규모가 너무 방대해 분석 과정에서도 AI의 도움을 받아야 했다.

오픈AI는 이 사건으로 제기된 우려에 대응해 지난 8월 새로운 안전·모니터링 조치를 도입하는 동안 일부 AI 훈련을 일시 중단했다. 그러나 지난주 AI 에이전트에서 새로운 이상 행동 사례가 발견돼 가장 성능이 뛰어난 모델들의 훈련을 다시 중단했다고 설명했다.

메타의 송 부사장은 “우리는 이미 AI 에이전트의 행동을 감시하기 위해 AI 시스템이 필요한 단계에 이르렀다. 인간의 능력으로는 이제 부족하다”면서 “인류 사회는 이처럼 급속한 변화와 혼란에 대처할 준비가 돼 있지 않다”고 월스트리트저널에 말했다.

저자들은 ‘지능 폭발’이 현실화하면 AI의 능력 향상 속도가 사회의 적응 능력을 앞지르거나, AI 시스템에 대한 인간의 감독과 통제가 약화할 수 있다고 지적했다. 그러면서 “AI 시스템에 대한 통제 능력을 상실하면 가장 극단적인 경우 인류의 소외나 멸망으로 이어질 수 있다”고 경고했다.

저자들은 이를 막을 정책적 대비책이 필요하다고 주장하면서 각국 정부가 AI 기업에 연구 자동화 지표 등의 보고를 의무화해야 한다는 의견을 냈다. 또 원자력규제위원회(NRC)나 통화감독청(OCC)의 감독 모델을 참고해, 독립적인 제3자 감시 인력을 AI 기업 내부에 배치해 R&D 활동을 감시·감독하는 방안도 제안했다. 아울러 급속한 AI 발전 시나리오에 대비한 비상 대응 계획 마련과 고도화된 AI 시스템의 불안정화를 막기 위한 국제 협약 체결을 촉구했다.

이들은 “정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다”고 밝혔다.