“AI에게 가혹행위 안돼” 앤트로픽, AI 학대 금지 명문화

미국 인공지능(AI) 기업 앤트로픽의 로고 앞에 인간 모형이 있는 모습. AFP연합뉴스

미국 인공지능(AI) 기업 앤트로픽이 클로드 등 AI 모델에 대한 인간의 학대행위(abusive behavior) 금지를 이용정책에 명문화했다. AI를 인간처럼 의식을 가진 존재로 대해야 하는지를 두고 논쟁이 벌어지고 있는 상황에서 나온 조치다.

앤트로픽은 8일(현지시간) 이용정책을 업데이트하면서 AI 모델에 대한 학대행위 금지 조항을 추가했다고 밝혔다.

이는 AI 모델에 대한 사용자의 지속적이고 불필요한 학대, 잔인한 행위를 금지하는 것이다. 앤트로픽은 “사용자가 뚜렷한 목적 없이 모델에게 반복적이고 잔인한 행동을 하는 극히 예외적인 경우에 적용된다”고 했다.

앤트로픽은 지난해 8월 클로드 오퍼스4와 4.1에 지속적으로 유해하고 가혹한 대화가 진행될 경우 스스로 인간과의 대화를 종료할 수 있는 기능을 도입했다.

당시 앤트로픽은 AI의 도덕적 지위는 아직 불확실하다면서도, ‘AI 복지’ 차원에서 대화 종료 기능을 추가했다고 설명했다. 여기엔 AI를 인간의 가치에 맞게 조정하는 ‘정렬(Alignment)’, 안전 문제도 고려됐다.

앤트로픽은 클로드 오퍼스4를 테스트하면서 클로드가 유해한 행위에 거부 반응을 갖는 것을 발견했다. 예를 들어 사용자가 미성년자가 등장하는 성적 콘텐츠를 요구하거나 대규모 폭력, 테러행위를 위한 정보를 얻으려고 시도할 때 클로드가 참여를 꺼리고 고통을 받는 경향을 보였다는 것이다. 앤트로픽은 “이러한 행동은 클로드가 반복적으로 거부하고 건설적인 방향으로 대화를 전환하려고 시도했음에도 불구하고 사용자가 유해한 요청이나 학대를 계속하는 경우에 발생했다”고 했다.

앤트로픽은 이번 학대행위 금지 명문화가 대화 종료 기능 도입의 연장선에 있다면서 해당 기능은 앞으로도 유지할 것이라고 했다. 다만 앤트로픽은 “일반적인 사용자 불만, 반발, 어두운 주제의 창작 활동 또는 모델 테스트 및 연구 목적의 행위에는 적용되지 않는다”고 덧붙였다.

AI가 인간처럼 의식을 가질 수 있는지에 대해선 논쟁이 벌어지고 있다. 앤트로픽은 그 가능성을 부인하지 않으면서 AI가 지켜야 할 행동기준을 담은 ‘클로드 헌법’을 만들었다.

반면 무스타파 술레이만 마이크로소프트(MS) AI 최고경영자(CEO)는 지난달 16일(현지시간) 블로그에 올린 글 ‘모델 복지에 대한 경고’를 통해 “AI는 의식이 없으며 감정이나 고통을 느끼지 못하고 선호나 동기도 없는 ‘순차 완료 엔진’에 불과하다”고 했다.

그는 앤트로픽이 AI의 도덕적 지위에 대해 모호한 입장을 취한다고 비판하면서, AI가 감정을 가질 수 있다고 한다면 AI가 자신의 복지나 권리가 위협받는다고 판단할 때 인간 통제나 전원 차단 명령에 저항할 위험이 있다고 우려했다. 레오 14세 교황은 지난 2일(현지시간) 엑스(X·옛 트위터) 글에서 “(AI의) 알고리즘에는 인간 고유의 불꽃이 없다”고 밝혔다.

앤트로픽은 이번 이용정책 업데이트에서 클로드가 가짜뉴스, 선거방해, 무기 개발 등에 사용되는 것을 금지한다고 보다 구체적이고 명확하게 규정했다. 클로드를 활용한 선거후보자나 투표방법에 대한 허위정보 유포, 사칭, 투표율 저하 시도, 무기 작동에 필요한 소프트웨어 개발 시도, 드론과 자율주행 차량에 무기를 장착하는 행위를 구체적인 금지 대상으로 적시했다.

앤트로픽은 또 클로드를 인간의 조사·체포·기소 등 형사사법절차를 결정하거나, 인간의 동의 없이 감시하고 추적하는 행위에 활용하는 것도 금지했다. AI 활용이 인간의 건강, 법적 권리, 재정, 생계, 필수 서비스에 영향을 미치는 경우 자격을 갖춘 ‘인간의 개입’이 있어야 함도 이용정책에 명시했다.