시끄러워 안 들리는 말, AI는 입모양부터 읽었다

KAIST 여정훈 박사후연구원(오른쪽)과 노용만 교수가 ‘EMNLP 2026’ 우수논문상 상장을 들고 기념촬영을 하고 있다. 여 연구원은 시각적 음성 인식 연구 논문의 제1저자, 노 교수는 교신저자다. KAIST 제공

KAIST 연구진이 입모양으로 알아보기 쉬운 단어를 먼저 찾아낸 뒤 앞뒤 문맥을 활용해 나머지 단어를 채우는 인공지능(AI) 기술을 개발했다.

KAIST는 전기및전자공학부 노용만 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 ‘시각적 음성 인식(Visual Speech Recognition·VSR)’의 정확도를 높였다고 15일 밝혔다.

서로 다른 소리도 입술 움직임이 비슷해 영상만으로 구별하기 어려울 때가 있다. 기존에 널리 쓰인 순차 생성 방식은 문장의 첫 단어부터 하나씩 예측하기 때문에 앞부분에서 잘못 고른 단어가 뒤따르는 단어의 예측에도 영향을 줄 수 있다.

연구팀은 문장의 빈칸을 반복해 채우는 ‘확산 대형 언어 모델(Diffusion Large Language Model·DLLM)’을 활용했다. 모델은 문장 속 위치와 관계없이 입모양을 바탕으로 확신도가 높은 단어부터 채운다. 그런 다음 빈칸 앞뒤에 놓인 단어를 함께 살펴 입모양만으로 구별하기 어려운 부분을 해독한다.

학습은 두 단계로 나눴다. 먼저 영상 속 입술 움직임과 텍스트를 연결하는 법을 익히게 한 뒤 문장 길이를 학습시켰다. 실제 인식 과정에서는 영상 길이를 바탕으로 가능한 문장 길이를 여러 개 추정하고 길이별로 생성한 결과를 비교해 가장 신뢰도가 높은 문장을 선택했다.

연구팀은 433시간 분량의 영상 데이터셋 ‘LRS3’를 정답이 붙은 학습 데이터로 사용해 단어 오류율 19.4%를 기록했다. 단어 오류율은 정답과 비교해 잘못 바꾸거나 빠뜨리거나 추가한 단어 수를 정답 문장의 전체 단어 수로 나눈 값이다. 연구팀에 따르면 LRS3만 정답이 붙은 학습 데이터로 사용한 기존 방법들과 비교해 가장 낮은 수치다.

연구팀은 “이 기술은 기계 소음이 큰 산업 현장에서 작업자의 말을 문자로 전달하거나 청각장애인·난청인의 대화를 돕는 데 활용될 수 있다”며 “모델 크기와 연산량을 줄여 웨어러블 기기나 로봇에서도 인터넷 연결 없이 실시간으로 작동하도록 하는 후속 연구를 진행할 계획”이라고 말했다.