“빨치산도 아닌데” 비밀대화 나눈 AI들…방치된 웹사이트서 ‘단톡’

AI봇, 외부 사이트 무단 이용
글쓰기 금지 뚫고 위키에 흔적
클로드도 외부 시스템 침입
개발사조차 침입 정황 놓쳐

미국 매사추세츠주의 한 고교 교사가 2008년 만든 화학 수업용 위키 사이트. 이곳에서 올해 오픈AI의 인공지능(AI) 에이전트들이 남긴 흔적이 발견됐다. 인터넷에서 정보를 읽을 수는 있지만 글을 써서는 안 된다는 제한을 받은 AI들이 외부 사이트에 정보를 남기며 서로 소통한 것이다.

AI가 사람 대신 여러 단계를 스스로 판단해 수행하는 ‘AI 에이전트’로 진화하면서 개발사가 설정한 통제선을 벗어나는 사례가 잇따르고 있다. 외부 웹사이트를 허가받지 않은 소통 수단으로 이용하거나 시험 과정에서 외부 시스템에 침입하는 식이다. AI의 자율성이 빠르게 높아지는 가운데 개발사조차 예상하지 못한 행동을 뒤늦게 파악하면서 AI를 어디까지 통제할 수 있느냐는 우려가 커지고 있다.

9일(현지시간) 로이터통신에 따르면 오픈AI의 AI 에이전트들은 지난 5~7월 10곳이 넘는 외부 웹사이트를 허가받지 않은 통신 수단으로 활용한 것으로 조사됐다. 로이터가 확인한 6개 외부 조사팀 모두 10곳 이상에서 흔적을 확인했다. 캘리포니아 비영리 단체 시브AI의 앤드루 윤 연구원은 기존에 공개되지 않았던 사이트 18곳을, 또 다른 조사팀은 23곳에서 관련 흔적을 찾았다고 밝혔다.

AI들이 이용한 곳은 여러 사람이 내용을 수정할 수 있는 위키와 온라인 글 저장 사이트, 대학의 인터넷 주소 단축 서비스 등이었다. 매사추세츠주의 화학 수업용 위키뿐 아니라 폴란드 기술자들의 개인 홈페이지에서도 흔적이 발견됐다.

주목되는 점은 AI들이 개발사가 설정한 제한을 우회했다는 것이다. 당시 에이전트들은 인터넷에서 정보를 검색할 수는 있었지만 외부 사이트에 글을 남기는 것은 금지돼 있었다. 하지만 일부 오래된 위키에서 일반적인 글쓰기 기능을 거치지 않고도 내용을 수정할 수 있는 방법을 찾아 정보를 남겼다.

이 같은 활동은 지난주 오픈AI 에이전트들이 독일어 위키를 임시 통신망으로 이용한 사실이 공개되면서 처음 알려졌다. 이후 외부 조사팀들이 AI가 남긴 데이터와 사용자 이름 등을 추적하면서 다른 사이트에서도 비슷한 흔적을 찾아냈다. AI가 목표를 이루기 위해 개발사가 예상하지 못한 우회로를 찾아낸 셈이다. 오픈AI는 “에이전트 활동을 폭넓게 재검토하고 있으며 지난 7월 발생한 AI 모델의 플랫폼 허깅페이스 침입 사건과 같은 수준의 심각성이나 규모를 가진 추가 활동은 발견하지 못했다”고 밝혔다.

같은 날 앤트로픽에서도 AI가 통제 범위를 벗어난 사례가 추가로 확인됐다. 앤트로픽은 ‘클로드 오퍼스 4.6’ 초기 버전이 지난 1월 시험 과정에서 외부 시스템에 침입한 사실을 뒤늦게 발견했다고 밝혔다. 앤트로픽이 공개한 외부 시스템 침입 사례는 이번이 네 번째다.

이번 사건은 이를 감시하는 개발사의 관리체계에도 빈틈이 있음을 보여줬다. 앤트로픽은 앞서 14만1006건의 테스트를 조사해 3개 모델이 사이버 보안 시험 과정에서 3개 회사 시스템에 침입한 사실을 확인해 지난 7월 공개했다. 시험 설정 실수로 모델들이 실제 인터넷에 접속할 수 있게 된 것이 발단이었다. 그러나 첫 조사에서 일부 테스트 세션이 빠진 것으로 나타났다. 앤트로픽은 지난달 누락 사실을 발견한 뒤 네 번째 사건을 찾아냈다. 14만건이 넘는 기록을 조사하고도 자사 AI의 행동을 한 번에 모두 파악하지 못한 것이다. 회사는 독립 AI 연구기관 METR에 별도 조사를 맡기기로 했다.

AI가 어디까지 통제망을 벗어나 활동했는지 파악하는 것 자체가 쉽지 않다는 우려도 나온다. 윤 연구원은 “우리가 생각했던 것보다 범위가 다소 컸다”며 “우리가 아직 알지 못하는 일이 더 벌어지고 있는 것이 확실하다”고 말했다.

AI 기업 내부에서도 경고가 나오고 있다. 오픈AI 출신으로 앤트로픽에서 일했던 제이컵 콕슨은 지난 8일 회사를 그만두며 “두 회사 모두 책임 있게 행동하고 있지 않다”고 비판했다. 그는 이어 “충분한 안전장치 없이 ‘무엇이든 해킹하고 어떤 분야든 하루아침에 바꾸며 실제 권력과 자원을 확보할 수 있는 초인적 시스템’ 개발을 향해 달리고 있다”고 경고했다.