사람들이 인공지능에 기대하는 질병 진단 성능은··· “최소 90%는 넘어야”
현재 상용화된 인공지능 기반 당뇨망막병증 진단 기기 IDx-DR을 구동하는 모습. 디지털 다이아그노틱스(Digital Diagnostics) 홈페이지
인공지능(AI)을 이용한 진단 기기의 정확도에 대해 사람들은 현재 기기 수준보다 더 높은 수준을 기대한다는 조사 결과가 나왔다. 특히 암 투병 경험이 있는 경우 기대 수준이 더 높은 것으로 나타났다.
삼성서울병원은 김홍관 폐식도외과 교수, 강단비 임상역학연구센터 교수, 유종한 유방외과 교수, 이지선 환자성과가치혁신실 연구원, 김미은 A-CRO팀 연구원으로 구성된 공동 연구팀이 이 같은 내용의 연구를 국제학술지 ‘npj 디지털 메디신(npj Digital Medicine)’에 발표했다고 18일 밝혔다. 연구진은 전국 19~84세 일반 성인 1222명을 모집하고, 삼성서울병원에서 추적 관찰 중인 장기 폐암 생존자 106명을 포함해 총 1328명을 대상으로 분석을 진행했다.
연구진은 AI 기반 질병 진단에 대해 참여자들이 받아들일 수 있는 최소 성능 기준을 알아보기 위해 ‘질병이 있는 100명 중 몇 명까지 놓치는 것을 허용할 수 있는지’(민감도)와 ‘질병이 없는 100명 중 몇 명까지 잘못 양성으로 판정하는 것을 허용할 수 있는지’(특이도)를 각각 물었다. 민감도는 실제로 질병이 있는 사람을 놓치지 않고 올바르게 찾아내는 비율을 말하며, 특이도는 질병이 없는 사람인데도 잘못해서 있다고 판정하지 않고 올바르게 걸러내는 비율을 뜻한다.
연구 결과, 전체 1328명의 평균 최소 허용 민감도와 특이도는 모두 0.90이었다. 100점 만점의 시험 점수로 비유하자면 최소 90점 이상은 되어야 한다는 결과다. 민감도·특이도 모두 중앙값은 0.97로 더 높았고, 1.00(100%)을 요구한 응답자의 비율도 각각 34%, 33%에 달했다. 폐암으로 투병한 경험이 있는 장기 생존자들은 오진에 대한 잣대가 더욱 엄격해 평균 최소 허용 민감도는 0.96, 특이도는 0.97이었다.
이 같은 기대 수준은 현재 실제로 쓰이고 있는 AI 진단 기기의 성능보다 높다. 미국 식품의약국(FDA)이 2018년 승인한 당뇨망막병증 진단 AI 기기인 IDx-DR의 실제 성능(민감도 0.874, 특이도 0.895)보다 높은 수준이다. IDx-DR은 안과 전문의 없이도 망막 사진을 보고 당뇨망막병증 여부를 판정하도록 허가받은 기기로, 당시 진단용 AI 기기 가운데 민감도와 특이도가 가장 높은 편이었다.
연구진은 암을 직접 경험한 환자일수록 재발에 대한 불안감과 질환의 중증도로 인해 AI의 미세한 오차조차 수용하기 어려워하며 높은 기대 수준을 갖게 된 것으로 풀이했다. AI 기기의 실제 성능과 기대 수준 간의 차이가 크므로 민감도와 특이도가 각각 무엇을 의미하며, 실제 사용 환경에서 잘못된 음성·양성 판정이 얼마나 발생할 수 있는지, 질병 유병률에 따라서도 예측 성능이 어떻게 달라지는지 등을 대상자에게 충분히 설명해야 한다는 지적도 함께 나왔다.
강 교수는 “환자들은 AI가 사람보다 실수를 덜 해야 한다고 생각하는 경향이 있다”며 “허가 기준을 충족한 기기라도 사용자가 기대하는 수준과 차이가 날 수 있으므로, 진단 오류의 가능성과 그 의미를 미리 명확히 전달하는 과정이 필요하다”고 말했다.
김 교수는 “암 생존자처럼 질병 경험이 있는 사람은 더 높은 정확도를 요구했다”면서 “AI 시스템이 임상 현장에 성공적으로 안착하기 위해서는 단순히 민감도와 특이도 수치를 제시하는 수준을 넘어, 실제 오진 확률과 유병률에 따른 결과의 의미를 사전에 투명하고 정확하게 소통하는 과정이 반드시 병행되어야 한다”고 밝혔다.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.