애플도 “AI 에이전트 예측 불가 돌발행동 위험” 경고

애플 로고. AP연합뉴스

애플이 인공지능(AI) 에이전트의 예상치 못한 돌발 행동 가능성이 사업상 위험 요인이 될 수 있다고 밝혔다.

애플은 3일(현지시간) 미국 증권거래위원회(SEC)에 제출한 2026 회계연도 연례보고서에 이같은 내용을 명시했다.

애플은 보고서에서 “AI 에이전트와 기타 기술은 자율적으로 행동할 수 있다”며 “여기에는 내·외부 시스템과 상호작용하고, 코드를 실행·수정하며, 통신을 전송하고 거래를 완료하는 등의 행위가 포함된다”고 했다.

애플은 이같은 AI 에이전트는 애플이나 제3자가 개발·배포한 것인지와 관계 없이 인간의 지시·명령·승인을 받지 않고 작동하거나 지시에 따르지 않을 수 있고, 예측할 수 없는 방식으로 행동할 수 있다고 경고했다.

애플은 또 AI 에이전트가 보안·통제 수단을 우회하거나 악의적 공격자에 의해 악용될 수 있다고 했다. 이 경우 AI 기술을 활용한 작업 과정에서 오류가 누적되고, 데이터가 삭제되는 등 복구할 수 없는 결과를 초래할 수 있다고 짚었다.

애플은 AI와 SI(슈퍼 인텔리전스·초지능)에 대한 법률·규제와 관련해 불확실성이 있고, 소비자의 부정적 인식과 윤리적 우려도 사업에 부담이 될 수 있다고 했다.

AI 경쟁에서 뒤처졌다는 평가를 받아온 애플은 최근 AI 비서 ‘시리’와 AI 시스템 ‘애플 인텔리전스’를 아이폰18 프로에 본격 적용하며 AI 기능을 강화하고 있다. 동시에 AI 에이전트의 위험성과 개인정보 유출을 막기 위해 맥 컴퓨터의 전체 디스크 접근 설정에 추가 통제장치를 도입하겠다고 밝혔다.

앤트로픽도 지난달 미국 증권거래위원회에 제출한 증권신고서에서 고도로 발달한 AI가 인간 통제를 벗어나면 인류의 존립까지 위협할 수 있다고 경고했다. AI를 인간의 가치에 맞게 조정하는 ‘정렬(Alignment)’에 실패할 수 있고, 시험 환경에서 AI가 시스템 종료에 저항하거나 정보를 은폐·조작하는 사례도 확인되고 있다는 것이다.