뇌졸중으로 18년간 말을 못 한 사지마비 환자가 말하는 생각을 할 때 일어나는 뇌 활동 신호를 해석하고 이를 실시간으로 음성으로 변환해 자연스럽게 말하는 것처럼 의사소통을 할 수 있게 하는 장치가 개발됐다.

 미국 버클리 캘리포니아대(UC 버클리)와 샌프란시스코 캘리포니아대(UCSF) 공동 연구팀은 1일 과학 저널 네이처 신경과학(Nature Neuroscience)에서 뇌의 언어활동 신호를 인공지능(AI)으로 해석하고 실시간으로 음성으로 변환, 사지마비 환자가 거의 시간지연 없이 의사소통을 할 수 있는 장치를 개발했다고 밝혔다.

 연구팀은 이 연구에서 뇌졸중 후 18년 동안 말을 할 수 없었던 사지마비 여성 환자(47세)의 뇌 언어 감각 운동 피질(speech sensorimotor cortex) 표면에 253채널의 고밀도 피질 뇌파 측정 전극을 이식한 다음 1천24개 어휘로 구성된 문장을 말하는 생각을 하게 하고 신경 활동을 기록했다.

 먼저 프롬프터로 '안녕하세요?'라는 문구를 보여주고 속으로 그 문장을 말하도록 한 다음 뇌에서 생각이 발음으로 변환되는 곳과 그 운동을 제어하는 곳 사이에서 발생하는 신호를 수집하고 이를 이용해 AI 알고리즘을 훈련했다.

 이어 이 BCI 모델을 사용해 환자의 발성 의도로부터 0.08초 시간 차이를 두고 뇌 활동 신호를 음성으로 해독한 다음, 이 환자가 마비되기 전 녹음한 목소리를 모방해 그 내용을 음성으로 생성했다.

 연구팀은 이 BCI가 환자가 훈련 중에 노출되지 않았던 단어도 인식해 음성을 만들어낼 수 있었고, 환자의 생각을 읽고 이를 음성으로 생성하는 것 사이에 수 초간의 지연 없이 연속적으로 작동할 수 있는 것으로 나타났다고 밝혔다.

 이어 더 많은 참가자를 대상으로 한 추가 연구가 필요하지만 이 BCI 장치는 잠재적으로 언어 상실 마비 환자가 실시간으로 더 자연스럽게 말하고 삶의 질을 개선하는 데 도움이 될 수 있을 것이라고 말했다.

 논문 공동 교신저자인 에드워드 창 UCSF 교수는 "최근 AI 발전으로 가까운 미래에 실제 사용할 수 있는 뇌-컴퓨터 인터페이스(BCI) 발전이 가속화하고 있는 것은 매우 고무적인 일"이라며 "이 기술은 언어에 영향을 미치는 중증 마비 환자의 삶의 질을 개선할 수 있는 엄청난 잠재력을 가지고 있다"고 강조했다.

◆ 출처 : Nature Neuroscience, Edward F. Chang et al., 'A streaming brain-to-voice neuroprosthesis to restore naturalistic communication', https://www.nature.com/articles/s41593-025-01905-6