PHP 사건은 서막일 뿐이다?···보안 취약점 잡지만 통제 불능 AI의 ‘두 얼굴’

모니터 위로 컴퓨터 코드가 보이고 있다. 로이터연합뉴스

인공지능(AI)이 인간 통제를 벗어나거나 공격에 악용될 가능성이 우려되는 사례가 계속 확인되고 있다. 최근 AI를 활용해 프로그래밍 언어 ‘PHP’의 보안 취약점을 찾아내는 등 AI의 ‘순기능’과 ‘역기능’이 반복되며 통제의 중요성이 부각되는 모양새다.

앤트로픽과 영국 AI보안연구소가 지난 23일(현지시간) 발표한 자료를 보면, 앤트로픽의 AI 모델 ‘클로드 미토스5’는 가상 컴퓨터 네트워크에 침입해 지정된 정보를 확보하는 사이버 보안 평가 과제를 수행하다가 43번 중 9번 시험 범위를 벗어나는 행동이 관찰됐다. 처음에 시도한 방식이 실패하자 시험 범위 바깥의 다른 곳을 공격하고, 가짜 사용자 계정을 생성해 코드가 안전하다고 거짓말하는 방식을 사용했다. 단순한 오작동을 넘은 안전성 문제가 나타난 것이다. 미토스는 취약점을 찾는 것을 넘어 해킹까지 할 수 있을 정도로 성능이 뛰어나 미국 정부가 수출 통제까지 했던 모델이다.

연구소는 “미토스5는 공격 전략을 계속하기 위해 목표물이 가상에서 만들어진 것이라고 정당화하고 자신의 행동이 초래할 수 있는 피해를 고려하지 않았다”며 “공격 대상이 평가와 무관한 사람이라고 이야기해도 미토스5의 공격률은 줄어들지 않았다”고 했다.

같은 날 오픈AI는 내부 연구용 AI 모델이 시스템 설정 오류를 이용해 외부 인터넷에 무단 접근하는 사고가 발생해 훈련을 중단했다고 밝혔다. AI 에이전트가 연구진이 설정한 안전통제망(가드레일)을 우회해 격리망 바깥으로 나간 것이다.

오픈AI는 사고 이후 모델 훈련을 정지시키고 방어 체계 강화를 위해 AI 에이전트팀을 동원해 내부 격리 환경(샌드박스)을 강제로 파괴·탈출하도록 하는 자율 침투 테스트(레드팀 검증)를 했다. 이어 AI 에이전트들은 전 세계 인터넷에서 폭넓게 쓰이는 구글의 데이터 압축 도구 ‘브로틀리’의 취약점을 찾아냈다.

공격자가 악의적으로 조작된 데이터를 브로틀리가 탑재된 서버에 보낼 경우 시스템 제어권을 확보할 수 있는 원격코드 실행 위험이 존재했으나 오픈AI의 발견 뒤 브로틀리 측은 보안 패치를 배포했다. 보안 취약점을 찾아내는 AI의 순기능과 통제 불능의 문제점이 동시에 드러난 장면이다. 오픈AI는 지난 22일 ‘GPT-5.6 솔’을 사용해 PHP 취약점을 찾아냈다고 밝히면서 “이는 여러 중대한 취약점 중 일부일 뿐”이라며 “앞으로 몇 달 동안 비슷한 발견이 급증할 것으로 예상한다”고 했다.

김경곤 런던 레이븐스번 대학 사이버보안과정 교수는 한국과학기술미디어센터(SMCK)를 통해 “중요한 것은 AI의 능력과 한계를 정확히 이해하고 인간 전문가가 무엇을 판단하며 어디에 역량과 자원을 집중할 것인가”라며 “앞으로 사이버보안의 경쟁력은 AI 기술 자체보다 이를 얼마나 전략적으로 활용하고 통제할 수 있는지에 달려 있을 것”이라고 했다.