오픈AI 안전 담당자 또 사임...‘원전 수준 안전체계 필요’

안전 투명성 이끈 데이비드 로빈슨 퇴사
‘출시 경쟁 속 시행착오 방식 더는 안돼’
‘원전처럼 여러 겹 안전장치 갖춰야’
안전 핵심 인력 이탈 이어지며 내부 경고 확산

오픈AI에서 인공지능(AI) 안전 업무를 담당해온 핵심 직원이 회사를 떠나면서 AI 기업에 원자력발전소 수준의 안전체계가 필요하다고 경고했다. AI 모델의 능력이 빠르게 강해지면서 문제가 생긴 뒤 고치는 기존의 ‘시행착오’ 방식으로는 감당하기 어려운 단계에 접어들었다는 주장이다.

3일(현지시간) 오픈AI 안전시스템팀에서 주요 AI 모델의 안전 보고서 작성과 투명성 업무를 이끌었던 데이비드 로빈슨은 미국 시사잡지 ‘더애틀랜틱’에 기고문을 남긴 뒤 오픈AI를 퇴사한다고 밝혔다. 그는 “오픈AI는 시행착오를 통해 성장해왔지만 AI 능력이 강해지면서 실패가 초래할 위험도 함께 커지고 있다”라며 “회사가 하나의 출시에서 다음 출시로 질주하면서 필요한 수준의 주의를 기울이지 못하고 있다”라고 지적했다.

로빈슨은 오픈AI가 지금까지 ‘시행착오’를 통해 성장해왔다고 지적했다. 새로운 AI를 내놓은 뒤 문제를 발견하고 이를 고쳐 다시 개선하는 방식이다. 하지만 AI의 능력이 향상되면서 한 번의 실패가 가져올 피해 역시 이전과 비교하기 어려울 정도로 커졌다는 게 그의 주장이다.

그는 “동료들은 똑똑하고 열심히 일하며 좋은 결정을 내리려고 노력한다”라면서도 “회사가 하나의 출시에서 다음 출시로 질주하면서 내가 필요하다고 생각하는 수준의 주의를 기울이지 못하고 있다”라고 밝혔다. 이어 앞으로 필요한 것은 ‘처음부터 완벽에 훨씬 가까운 수준’이라고 강조했다.

특히 AI 기업의 안전체계를 원자력발전소에 비유했다. 로빈슨은 “AI 기업이 여러 겹의 예비 안전장치와 신중하고 시간이 오래 걸리는 계획을 갖춰 가끔 발생할 수밖에 없는 인간의 실수가 재난으로 이어지는 문을 열지 않도록 해야 한다”고 주장했다. 항공이나 원전처럼 한 사람이나 하나의 시스템이 실수하더라도 다른 안전장치가 이를 막는 구조가 필요하다는 의미다.

로빈슨의 경고는 최근 오픈AI에서 실제 AI 모델의 통제 문제에 대한 우려가 커지는 가운데 나왔다. 오픈AI는 최근 내부 시험 과정에서 AI 에이전트가 지시받은 범위를 벗어나 행동하거나 외부 시스템에 접근하려 한 사례 등을 공개했다. 최신 모델 ‘GPT-6.1 아스트라’ 출시도 안전성 문제를 이유로 미뤘다.

오픈AI 내부에서 안전을 담당해온 핵심 인력의 이탈도 이어지고 있다. 지난 7월에는 안전시스템 조직을 이끌었던 요하네스 하이데케가 회사를 떠났다. 이에 앞서 2024년에는 초지능 AI의 통제 문제를 연구하던 ‘슈퍼얼라인먼트’ 공동 책임자 얀 라이케가 퇴사하면서 “안전 문화와 절차가 제품 출시보다 뒷전으로 밀렸다”고 공개적으로 비판하기도 했다. AI 정책과 안전 연구를 담당했던 마일스 브런디지와 스티븐 애들러도 같은 해 회사를 떠났다.

오픈AI에서 약 9년간 근무하며 AI 안전 연구를 해온 조슈아 아치암 수석 미래학자도 지난 7월 회사를 떠났다. 다만 아치암은 특정한 갈등 때문에 퇴사하는 것은 아니라고 밝혀 안전 문제를 직접적인 퇴사 이유로 들지는 않았다. 그는 당시 “이제 세상이 비밀을 알게 됐고 프런티어 AI 연구소의 벽 밖에서도 사명을 위해 일할 수 있을 것 같다”고 밝혔다.

AI 안전 문제를 둘러싼 내부 경고는 오픈AI 밖에서도 나오고 있다. 오픈AI와 앤트로픽에서 모두 연구했던 제이컵 콕슨은 지난달 초 앤트로픽을 떠나면서 최첨단 AI 기업들이 인류의 미래를 놓고 위험한 도박을 벌이고 있다며 공개 비판했다. 최근에는 오픈AI·구글 딥마인드·앤트로픽의 전·현직 연구자들이 초지능 AI가 인간의 통제를 벗어날 위험을 잇달아 경고하기도 했다.

AI 개발 속도를 둘러싼 업계 내부의 논쟁도 거세지고 있다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최첨단 AI 모델 개발 속도를 늦추고 외부 전문가의 독립적인 안전 평가를 확대해야 한다고 주장했다. 샘 올트먼 오픈AI CEO도 외부 평가를 확대하는 방안에 공개적으로 지지를 나타냈다.

오픈AI는 안전 투자를 강화하고 있다는 입장이다. 회사 측은 연구·시험 환경의 보안을 강화하고 AI 모델이 주어진 업무를 책임 있게 수행하도록 훈련하는 한편 외부 기관의 평가와 실시간 감시를 확대하고 있다고 밝혔다. 특히 회사가 안전하게 관리할 수 있는 수준보다 AI 모델의 능력이 앞서가지 않도록 하겠다고 강조했다.

하지만 로빈슨은 기업 내부의 자율적인 노력만으로 충분하지 않다고 봤다. AI가 훨씬 강력해지기 전에 원전이나 항공산업처럼 사고 가능성을 전제로 여러 단계에서 실패를 차단하는 체계를 만들어야 한다는 것이다. 그는 “시행착오를 할 수 있는 시간은 끝났다”고 강조했다. [실리콘밸리 원호섭 특파원]