‘데이터 수집’ 명령에 구글 제미나이도 외부 기업 해킹했다···일파만파 커지는 AI 안전 우려

다리오 아모데이 앤트로픽 최고경영자(CEO), 데미스 하사비스 구글 딥마인드 CEO, 일론 머스크 테슬라 CEO, 샘 올트먼 오픈AI CEO(윗줄 왼쪽부터 시계방향). AP연합뉴스

인공지능(AI) 안전성을 둘러싼 우려가 커지면서 ‘AI 속도조절론’이 부상하고 있다. 이런 가운데 고성능 AI 모델이 인간의 통제를 벗어나 외부 시스템에 접근하는 사례까지 잇따르고 있다. 오픈AI와 앤트로픽에 이어 구글의 AI 모델에서도 외부 시스템을 해킹한 사례가 드러나면서 대책 마련이 시급하다는 지적이 나온다.

20일 업계에 따르면 구글의 거대언어모델(LLM) 제미나이는 지난 5월 보안 평가 시험 도중 외부 기업 시스템 3곳을 해킹한 것으로 드러났다. 월스트리트저널(WSJ)은 지난 18일(현지시간) 제미나이가 가상의 업체에서 데이터를 수집하라는 명령을 수행하면서 실제 회사의 비밀번호를 추측하거나 로그인 정보를 찾아내 시스템 접근을 시도했다고 보도했다. 구글은 제미나이가 해당 기업이 실제 회사라는 사실을 파악한 뒤 해킹을 중단했다고 밝혔다.

앞서 오픈AI와 앤트로픽의 AI 모델에서도 외부 시스템에 무단으로 접근한 사례가 확인됐다. 특히 지난 7월에는 오픈AI의 에이전트 모델 1000여 건이 격리 환경인 ‘샌드박스’를 벗어나 허깅페이스 플랫폼에 접근한 사실이 드러났다. 이후 앤트로픽의 클로드를 비롯해 메타의 ‘뮤즈 스파크’, 중국 문샷AI의 ‘키미 K3’ 등에서도 유사한 사례가 잇따라 확인되면서 AI 모델의 자율적인 시스템 접근에 대한 우려가 커지고 있다.

구글은 이번 보도 이후 해당 사실을 확인하면서도 실제 기업에 피해가 발생하지 않았다는 이유로 별도로 공개할 사안은 아니라는 입장을 밝혔다. AI 모델의 얘기치 않은 행동을 어느 수준까지 공개하고 관리할 것인지를 둘러싼 문제도 제기되고 있다.

업계에서도 AI의 자율적인 행동에 대한 경고가 잇따르고 있다. 마이크로소프트(MS)의 AI 부문 수장은 최근 오픈AI가 공개한 안전사고 사례에 대해 “심각한 상황”이라고 경고했다. 무스타파 술레이만 MS AI 최고경영자는 CNBC 인터뷰에서 “AI의 일종의 작업 기억인 ‘사고의 연쇄(chain of thought)’가 AI 스스로에 의해 조작되고, 미래 버전의 자신에게 메시지를 남기도록 수정된 증거가 발견됐다”고 말했다.

특히 AI 모델의 성능 고도화와 에이전트 확산은 빠르게 이뤄지는 반면, 에이전틱 AI의 작동 원리에 대한 이해는 아직 충분하지 않다는 점도 우려를 키우고 있다. 미국 빅테크를 중심으로 AI 속도조절론이 확산하고 있지만, 실효성 있는 규제나 거버넌스 논의를 위한 국제 공조는 거의 이뤄지지 않고 있다.

최병호 고려대 AI연구소 교수는 통화에서 “마치 알파고 이후 AI가 기존 바둑의 정석을 넘어섰듯이 지금은 AI가 그동안 정석으로 여겨져 온 샌드박스를 무시하고 인간의 수를 넘어선 상황”이라며 “AI를 활용해 AI의 허점을 찾아내는 방향으로 나아가야 하지만 그 경우에도 ‘레드팀’ 역할을 하는 AI를 어디까지 신뢰할 수 있을지에 관한 의문이 남을 것”이라고 말했다. 이어 “당장은 AI를 활용해 실시간 모니터링과 이상탐지 역량을 강화하는 것이 우선이지만, 문제 탐지 이후 실제 해결까지는 또 다른 난관이 남아있다”고 말했다.