AI가 만든 가상인물에게 묻는다고? 이 조사 믿어도 되나요 [두런두런 AI ㉔]

광고

한겨레 사람과디지털연구소의 한귀영 소장은 여론조사 전문가입니다. 정치 및 정책 여론조사, 심층 면담 조사(FGI·Focus Group Interview) 등 한겨레 콘텐츠와 관련해 수많은 정량·정성조사를 진행했습니다. 한국언론재단의 지원을 받아 이주현 기자와 공동 기획한 연재물 ‘AI-AGING: 노인을 위한 AI는 있다’에서도 ‘시니어의 AI 인식조사’(읽어보세용)를 포함시켰습니다. ☞ 종이신문엔 9월28일치 1면과 8면에 실려 있습니다.

그런데 이번엔 한발 더 나아갔어요. 신세틱 서베이(합성조사라고 합니다). 한귀영 소장은 애초 이 조사를 구상하면서 ‘신세틱 서베이’도 같이 해보면 좋겠다는 생각을 품고 있었죠. 마침, 올초 ‘신세틱 서베이: AI 서베이’(커뮤니케이션북스)를 펴낸 오승호 오피니언즈 부대표님과 인연이 닿았습니다. 오승호 부대표님은 신세틱 서베이를 공부해 책까지 쓴, 한국에 몇 안되는 전문가인데요, 그동안 마케팅 기법으로서가 아니라 언론사 의뢰로 특정 정책을 놓고 신세틱 서베이를 진행해본 적은 없었다고 해요. AI로 가상의 응답자를 만들어 심층 인터뷰하는 것(읽어보세용)이 ‘현실세계’에서 과연 얼마나 신뢰성 있게 받아들여질지, 본인 포함 다른 조사전문가들도 반신반의하는 상황이라고 하지요. “어쨌든 조사는 사람한테 물어보는 거잖아.” 이런 생각을 바꾸기가 어려웠던 거지요.

그래도 한번 해보기로 했습니다. 한국 시니어들의 뜨거운 ‘AI 학구열(‘시니어의 인식조사’에서는 60~74살 응답자 95%가 AI를 배우고 싶다고 했습니다)이 어디에서 온 것인지 궁금했거든요. 물론, 설문조사에 응한 시니어들을 모셔서 AI에 대한 생각을 묻는 FGI를 할 수도 있었겠죠. 하지만 그룹 인터뷰의 균형을 고려한다면, AI에 관심이 없거나 아예 써본 적이 없는 분까지 불러야 하는데, 그런 분들이 얼마나 본인의 얘기를 꺼내놓을 수 있을지 회의적이었습니다. 자칫하면 AI에 해박한 분의 이야기만 잔뜩 듣다가 돌아갈 수 있잖아요.

광고

만약 정량조사에서 확인된 여러 유형의 응답자(AI에 대한 수용도가 매우 높은 사람부터 무관심한 사람들까지)를 AI가 만든다면 어떨까, 기계가 만들어낸 페르소나니까 이런저런 눈치 보지 않고 솔직하게 이야기를 할 수 있지 않을까. 그래서 사디랩 요원들과 오승호 부대표는 궁리 끝에 두가지 원칙을 세우고 조사에 돌입했습니다. 두가지 원칙이란 이거였습니다. 첫째, ‘시니어의 AI 인식조사’를 바탕으로 페르소나를 추출한다. 가령 AI에 적극적인 페르소나를 만들 경우, 설문조사에 응답한 인물 가운데 학력·연령·성별·경제적 상황 및 경제활동 여부 등 응답에 영향을 끼치는 중요 변수를 그대로 충족하는 인물을 고르는 식이죠. 둘째, 합성된 페르소나에게 하는 질문은 모두 사람이 만든다. 그리고 이 질문 중 사실에 부합하는 것이 아니라 에이아이가 생성해 내놓는 답변은 구분한다. 잘 아시다시피, AI는 그럴 듯한 스토리를 스스로 꾸며 답하는 경우가 있잖아요. 사디랩 요원들은 그런 답변은 제외하고, 정책적 함의를 지닌 답변만 추려내 기사를 쓰기로 했습니다.

오승호 부대표님과 여러 차례 회의를 했고, 신세틱 서베이도 그에 따라 여러번 수정·보완을 거쳤습니다. 그래도 여전히 ‘찜찜함’은 남았습니다. 애초 신세틱 서베이에 대한 궁극적 의문, ‘사람에게 물어본 게 아닌데…’ 때문이었죠.

광고

광고

가만히 생각해 보았습니다. 과연 사람에게 묻는다는 건 얼마나 믿을 수 있을까? AI라는 주제 특수성을 고려해 휴대폰 웹조사(링크를 보내 답하게 하는 방식)를 실시했는데 이건 과연 한국 시니어의 생각을 얼마나 대표한다고 확신할 수 있나? 혹 전수조사가 가능하다고 해도 그건 과연 어디까지 정확한 걸까?

2022년 말 챗지피티가 출시된 이래, 생성형 AI는 우리 일상에 깊숙히 들어왔습니다. 한귀영 소장은 지난 겨울 보일러가 고장났을 때 보일러 기사님을 부르지 않고 챗지피티에 계속 물어보면서 직접 고치는 데 성공했죠. 얼마전 사디랩 요원들이 도쿄에 출장갔을 때 신주쿠역의 지하 미로 지옥에서 두 사람을 바른 길로 인도한 것도 제미나이였습니다. 이런 정보성 주제만이 아니죠. 솔직히, 다 물어보잖아요. 친구와 싸웠을 때 상대방이 얼마나 잘못했다고 생각하는지, 좋아하는 상대에게 어떻게 마음을 고백할지, 별일도 아닌 것 같은데 왜 이토록 마음이 상한 건지, 특정 이슈에 사람들이 왜 이렇게 찬반이 갈려 싸우는지 또 양쪽의 주장은 얼마나 타당한 것인지 등등. 입력한 정보가 많을수록, 사용기간이 늘어날수록 AI는 더 정곡을 찌르는(타당한? 정확한? 그럼직한?)을 답을 내놓죠. 맥락을 알고 있으니까요.

광고

그렇다면 AI에 창 한 개를 열어놓고, 설문조사와 관련된 정보를 몽땅 입력하고, 거기에서 유형을 고려한 총 20개의 페르소나를 추출하고, 각 페르소나당 80분간 70~110개씩 질문을 한다면 어떨까? 그 정도면 맥락을 깊이있게 이해하고 그에 맞는 답변을 할 수 있지 않을까?

결과는 어땠을까요? ‘시니어의 AI 인식조사’에서 어렴풋했던 것들이 신세틱 서베이(읽어보세용) 결과에선 좀더 분명하게 나타났습니다. ☞종이신문은 한겨레 10월5일치 16면을 보세요.

예를 들면 이런 겁니다. ‘AI 인식 조사’에서 눈길 끈 대목은 AI 시대를 바라보는 기대감(40.5%)이 걱정(10.8%)보다 4배나 많다는 거였죠. AI에 걱정인 이유 중 가장 큰 비중을 차지하는 건 AI가 사람의 일자리를 빼앗아갈 거라는 불안이잖아요. 젊은이들은 취직이 어려워 AI가 두렵지만, 시니어들은 이미 현업에서 은퇴했으니 걱정보다 기대가 크다는 걸까? 하지만 페르소나들이 내놓는 답을 들여다보니, 기대감은 추상적인 반면(남들이 다 좋다고 하니까), 걱정은 훨씬 구체적이었어요. 식당 서빙 로봇이 나의 일자리를 뺴앗을 것 같다, 보이스피싱범들이 딸 목소리로 전화 하면 당할 게 뻔하지 않겠느냐…

AI를 배우려면, 사람에게 직접 배우고 싶다고 답한 마음도 이해갔죠. “배우고 나서 계속 물어볼 수 있어야 하니까.” “혼자 하면 이것저것 뒤죽박죽이니까” 등등.

광고

신세틱 서베이 결과는, 정량조사인 ‘시니어의 AI 인식조사’만을 보고 리뷰해주신 박영란 강남대 시니어비즈니스학과 교수님의 통찰과도 맥락이 같았습니다. “개인정보 유출이 불안하다는 응답이 62.9%라는 점도 주목해야 합니다. 고령자의 AI 활용을 확대하려면 사용법 교육과 함께 개인정보 보호, 잘못된 정보의 판별, 필요할 때 사람에게 도움받을 수 있는 체계를 마련해야 합니다. 정책 성과도 기기 보급 대수나 교육 참여 인원을 넘어, 노인이 스스로 선택하고 일상에서 안전하게 활용할 수 있게 되었는지를 중심으로 평가할 필요가 있습니다.”

어떤가요? AI로 만든 가상인물에게 묻는 거, 이 조사 믿어도 되나요? 한귀영 소장과 이주현 기자의 결론은 ‘충분히 신뢰할 수 있다’는 겁니다.

FGI를 하는 이유는 좀더 풍부하게 맥락을 알기 위해서입니다. 예를 들어, 선거 결과를 놓고 FGI를 하는 이유가 이런 겁니다. ○○당의 캠페인에서 놓친 점은 무엇인지, 예전엔 마음에 안 들었던 △△당을 이번에 찍은 이유는 무엇인지, 민심의 균열은 어떤 지점에서 발생한 것인지 등등. 그 배경과 원인이 숫자 아닌 언어로 표현될 때 좀더 설득력 있는 답변으로 받아들여지게 됩니다. 비록 가상 인물이었지만, 페르소나들 역시, 자신에게 부여된 상황과 처지에 따라 구체적인 답변을 내놓았습니다.

AI 시대, 사람의 몫인 설문조사 답변마저도 기계에 외주화하는 거 아니냐고요? 이런 비판 또한 충분히 가능하다고 생각합니다. 하지만 사람에게 직접 물어볼 형편이 안될 때, 신세틱 서베이를 ‘보조’ 조사 도구로 쓸 수 있다고 생각합니다. 여론을 읽는 방법이 계속 기술적으로 진화해온 것처럼요.