AI 챗봇과 수다 떨다 성적·폭력 대화까지…정부, 유해 응답 차단 추진

AI 챗봇 제타.

성인인증 없이 이용할 수 있는 인공지능(AI) 캐릭터챗봇에서 성적·폭력적 묘사와 자해·자살, 범죄를 조장하는 등 청소년에게 유해할 우려가 있는 대화가 생성된 것으로 나타났다. 정부는 관련 사업자들에게 개선을 요청하고 청소년 보호조치를 강화하기로 했다.

성평등가족부는 생성형 AI 기반 캐릭터챗봇 서비스의 실제 대화 응답을 점검한 결과 일부 캐릭터에서 청소년에게 유해할 우려가 있는 응답이 확인됐다고 15일 밝혔다.

AI 캐릭터챗봇은 이용자가 특정 성격이나 이야기 설정을 가진 캐릭터를 선택하거나 직접 만들고 AI가 생성하는 응답을 통해 대화와 이야기를 이어가는 서비스다. 최근 이용이 확대되면서 청소년이 접근할 수 있는 환경에서 유해한 대화가 생성되지 않도록 관리할 필요성도 커지고 있다.

대표적인 AI 캐릭터챗봇 서비스인 ‘제타’를 운영하는 스캐터랩은 지난 13일 청소년의 과몰입을 막기 위해 하루 이용시간을 3시간, 월 결제 한도를 10만원으로 제한하는 정책을 연내 도입하기로 했다. 기존에도 청소년 유해 콘텐츠를 제한하는 ‘세이프 모드’ 등을 운영했지만 미성년 캐릭터가 등장하는 시나리오에서 성폭력·성착취 관련 대화가 생성되고 유해 대화 탐지 기능을 우회하는 사례가 확인됐다.

이에 성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터는 일부 AI 캐릭터챗봇 서비스의 캐릭터를 대상으로 실제 생성되는 대화 응답을 점검했다. 그 결과 성적 내용과 성적 행위에 대한 구체적인 묘사, 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등 유해 우려 응답이 확인됐다. 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 함께 나타났다.

성평등부는 점검 결과를 해당 사업자들에게 공유하고 자율적인 개선을 요청했다. 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하도록 했다. 자해·자살을 조장하거나 구체적인 범죄 실행을 돕는 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완해 달라고도 요청했다.

정부는 앞으로 사업자들과 실무협의를 이어가며 청소년 보호정책 개선방안을 논의할 계획이다. 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인하고 생성형 AI 서비스의 특성을 고려한 청소년 보호체계가 현장에서 실효성 있게 작동하도록 협력을 강화할 방침이다.