청소년 유해 대화 생성 ‘AI 캐릭터 챗봇’…정부, 조치 강화한다

광고

최근 인공지능(AI) 캐릭터 챗봇이 성적·폭력적 묘사나 자해·자살 및 범죄 등을 조장하는 대화를 생성해 청소년들이 유해 환경에 노출돼 있다는 지적이 이어지는 가운데, 성평등가족부가 청소년 보호조치를 강화한다.

성평등부는 15일 청소년이 접근할 수 있는 환경에서 생성되는 인공지능 캐릭터 챗봇의 대화 내용을 점검하고, 사업자에 점검 결과를 공유해 청소년 보호조치 강화를 위한 협력을 추진한다고 밝혔다.

인공지능 캐릭터 챗봇은 이용자가 다양한 성격과 이야기 설정을 가진 캐릭터를 고르거나 직접 제작한 뒤, 생성형 인공지능이 만들어 내는 응답을 통해 대화나 이야기를 이어가는 서비스다. 일부 서비스는 성인인증 기능을 운영하고 있지만, 성인인증을 거치지 않아도 캐릭터와 대화할 수 있어 청소년이 유해 환경에 노출될 가능성이 존재한다.

광고

실제로 성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터가 일부 인공지능 캐릭터 챗봇 서비스의 캐릭터를 대상으로 실제 생성되는 응답을 점검한 결과, 일부 캐릭터에서 성적 내용과 성적 행위의 구체적 묘사, 폭력 묘사, 자해·자살 및 범죄·불법행위 등을 조장하는 응답이 적지 않았다.

서비스 자체적으로 청소년 보호 장치를 마련한 곳도 있지만, 무력화될 수 있는 한계도 있다. 가령 국내 인공지능 캐릭터 챗봇 서비스 가운데 하나인 ‘제타’는 청소년유해 매체물 수준의 콘텐츠를 제한하는 ‘세이프 모드’를 제공한다. 하지만 최근 국회 과학기술정보방송통신위원회 소속 황정아 의원이 제타를 점검한 결과, 세이프 모드에서도 미성년자 캐릭터를 대상으로 한 성폭력·성착취 묘사 대화가 생성되는 것으로 드러나 논란이 됐다. 황 의원은 지난 11일 “점검 과정에서 제타의 유해 대화 탐지 모델이 문제 대화 200여 건을 차단했지만, 우회를 반복적으로 시도하자 일부 안전장치가 무력화되며 차단됐어야 할 대화가 일부 생성 및 노출됐다”고 밝혔다. 황 의원은 지난달 말 제타의 월간 활성 이용자 수는 148만명이고, 이 가운데 19살 이하 이용자 수는 38만명에 이른다고 추산했다.

광고

광고

성평등부는 이러한 유해 대화 점검 결과를 인공지능 캐릭터 챗봇 서비스 사업자에 공유하고 청소년 보호조치 강화를 위한 개선을 요청한 상황이다. 특히 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터에 대해서는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하고, 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완할 것을 요청했다.

성평등부는 “사업자와 실무협의를 이어가며 사업자 자체점검과 보호조치 개선 여부를 지속적으로 확인하고 생성형 인공지능 서비스의 특성을 고려한 청소년 보호 체계가 현장에서 실효성 있게 작동하도록 협력을 강화해 나갈 것”이라고 밝혔다.