생각만으로 말하고 몸짓까지…다기능 뇌 임플란트 개발

광고

마비 환자가 하려는 말과 몸짓을 동시에 해독할 수 있는 뇌 컴퓨터 인터페이스(BCI), 즉 뇌 임플란트가 개발됐다.

미국 샌프란시스코 캘리포니아대(UCSF) 연구진은 인공지능(AI)을 활용해 뇌의 전기적 활동에서 말과 몸짓을 거의 동시에 인식하는 장치를 개발해 국제학술지 ‘네이처 신경과학’에 발표했다. 이 장치는 뇌 신호를 해독해 음성을 문자로 바꿔 화면에 띄우는 동시에 가상 아바타가 그에 맞춰 움직이도록 한다.

인간의 의사소통은 단순히 입으로 말을 하는 것에서 끝나지 않는다. 우리는 고개를 끄덕이고, 어깨를 으쓱하며, 손을 움직이는 등 비언어적 표현을 함께 사용한다. 중증 마비 환자도 마찬가지다. 뇌-컴퓨터 인터페이스(BCI) 기술이 발전하며 환자들이 생각만으로 글자를 입력하거나 로봇 팔을 움직일 수 있게 되었지만, 지금까지는 대부분 한 번에 한 가지 기능만 수행하는 데 그쳤다.

광고

이번 연구의 핵심은 말과 몸짓을 동시에 해독할 때 발생하는 신경 신호의 간섭과 중첩 문제를 해소한 것이다.

연구진은 2명의 실험 참가자를 대상으로 뇌의 감각운동피질 표면에 253개의 전극 배열을 갖춘 뇌피질전도(ECoG) 장치를 이식했다. 이렇게 많은 전극을 사용하면 감각운동피질의 넓은 영역을 덮을 수 있어서, 언어 및 동작과 관련한 신호를 동시에 포착할 수 있을 것이라는 판단에서다. 두피에 전극을 붙여 간접적으로 뇌 신호를 측정하는 뇌파검사(EEG)와 달리, 뇌피질전도는 대뇌 피질 표면에 직접 전극을 붙여 뇌의 전기 신호를 기록한다.

광고

광고

2명 실험서 가능성 입증…아직은 개념증명 단계

실험 결과 뇌간 뇌졸중으로 언어 및 운동 능력이 저하된 첫번째 참가자의 경우, 5차례 시험 중 3차례에서 몸짓과 음성 해독 정확도가 100%(중앙값 기준)를 기록했다.

광고

루게릭병(근위축성 측삭 경화증) 환자인 두번째 참가자는 음성 해독 75%, 몸짓 해독 85%의 평균 정확도를 기록했다. 이 참가자는 컴퓨터와 스마트폰으로 손수 메시지를 입력할 수 있었다. 연구진은 그에게 얼굴 근육만 움직이고 나머지 신체 부위는 움직이지 않도록 하면서 10개의 문구를 소리 내어 말하고 어깨를 으쓱하거나 엄지손가락을 치켜드는 등 10가지 동작을 상상해 보라고 요청했다.

연구진은 “실험 결과는 매우 높은 정확도를 보여주고 있으나, 음성 해독 수준은 이전에 보고된 것보다는 낮다”고 밝혔다. 또 연속적인 동작이나 음성이 아닌 개별적인 음성과 동작 인식 수준에 그쳤다고 덧붙였다. 연구진은 “이는 동시 해독이 가능한지를 알아보는 개념증명 실험이어서 장치를 비교적 단순하게 설계했기 때문”이라고 설명했다.

연구진은 앞으로 더 많은 어휘를 사용하고 각각의 신체 부위 움직임도 지속적으로 구현하는 방향으로 장치를 개선해 나갈 계획이다. 이번 연구에 사용된 전극판은 유선으로 외부 장치에 연결됐지만 가까운 시일 안에 무선 시스템도 시험할 예정이다.

*논문 정보

광고

Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nat Neurosci(2026).