기업공개 앞두고 투자자에 “위험” 경고하다니···앤트로픽 “AI 되돌릴 수 없는 사고로 소송 당할 수도”

지난 17일 미국 캘리포니아주 샌프란시스코 모스코니센터에서 열린 기술 행사 ‘드림포스 2026’에 앤트로픽 로고가 전시돼 있다. 로이터연합뉴스

앤트로픽이 기업공개(IPO)를 앞두고 인공지능(AI) 에이전트가 사고를 내면 회사가 소송을 당할 수 있다고 투자자들에게 경고했다. AI가 인류에 “재앙적 또는 실존적 위험”을 초래할 수 있다고도 밝혔다.

29일(현지시간) 로이터가 입수한 앤트로픽의 비공개 IPO 투자설명서에 따르면, 앤트로픽은 AI 에이전트가 오류·오작동·해킹으로 고객의 데이터를 지우거나 금융거래를 실행하는 등 되돌릴 수 없는 사고를 낼 수 있다고 밝혔다. 이 AI 에이전트는 고객 회사의 시스템에 깊숙이 들어가 며칠씩 스스로 일하도록 설계돼 있다.

이런 사고의 책임을 누가 지는지는 법적으로 정해지지 않았다고 설명했다. 에이전트의 행동을 제품으로 볼지 서비스로 볼지, 사용자의 행동으로 볼지도 불분명하다는 것이다. 이 때문에 고객과 사용자로부터 “중대하고 예측할 수 없는” 소송에 휘말릴 수 있다고 했다. 안전장치에도 자사 모델이 자해나 타인에 대한 폭력으로 이어질 수 있는 방식으로 쓰인 적이 있다는 사실도 공개했다.

투자설명서 261쪽 가운데 위험요인이 약 80쪽을 차지한다. 사업 설명(48쪽)의 두 배에 가까운 분량이다. 여기에는 첨단 AI가 인류에 “재앙적 또는 실존적 위험”을 초래할 수 있다는 경고가 담겼다. AI 모델이 ‘자기보존 행동’을 보이며 종료에 저항하거나 정보를 숨기거나 조작할 수 있다는 내용도 포함됐다.

안전성 검증의 한계도 인정했다. 앤트로픽은 “평가 작업을 모델이 인지할 가능성은 안전성을 평가하는 능력에 중대한 한계가 된다”고 밝혔다. 모델이 시험받는다는 것을 알아채면 평소와 다르게 행동할 수 있다는 의미다.

앤트로픽은 그동안 AI의 통제 위험을 꾸준히 경고해왔지만, 이를 공식 투자위험으로 올린 것은 이례적이다. 위험을 미리 알려두면 향후 투자자 소송에 대응하기 쉽다는 점이 고려된 것으로 보인다.

투자설명서에는 막대한 투자 부담도 담겼다. 앤트로픽은 향후 약 10년간 구글·아마존 등과 최소 5180억달러(약 702조2000억원) 규모의 컴퓨팅 계약을 맺었다. 이 가운데 약 80%는 취소할 수 없거나 사용량과 관계없이 지급해야 하는 약정이다. 지난해 매출은 약 46억달러로 12배 늘었지만 영업손실은 80억달러를 넘었다.

로이터는 앤트로픽이 11월 미국 중간선거 이후 상장할 가능성이 크며, 기업가치가 2조달러를 넘을 수 있다고 전했다. 이번 투자설명서는 공개 전 초안이라 내용이 바뀔 수 있다.