새로운 뇌-컴퓨터 인터페이스로 ALS 환자가 다시 '말'할 수 있게 되었습니다.

UC Davis Health에서 개발된 새로운 뇌-컴퓨터 인터페이스(BCI)는 뇌 신호를 최대 97%의 정확도로 음성으로 변환합니다. 이는 동종 시스템 중 가장 정확한 시스템입니다.

연구진은 근위축성 측삭 경화증(ALS)으로 인해 심각한 언어 장애가 있는 남성의 뇌에 센서를 이식했습니다. 그 사람은 시스템을 활성화한 지 몇 분 안에 자신이 의도한 말을 전달할 수 있었습니다.

이 연구에 관한 연구는 오늘 뉴잉글랜드 의학저널 학술지에 게재되었습니다.

루게릭병으로도 알려진 ALS는 몸 전체의 움직임을 제어하는 ​​신경 세포에 영향을 미칩니다. 이 질병은 서고, 걷고, 손을 사용하는 능력을 점진적으로 상실하게 합니다. 또한 말을 하는 데 사용되는 근육의 통제력을 상실하여 말을 이해할 수 없게 될 수도 있습니다.

마비나 ALS와 같은 신경학적 질환으로 인해 말을 할 수 없는 사람들의 의사소통을 복원하기 위한 새로운 기술이 개발되고 있습니다. 사용자가 말을 시도할 때 뇌 신호를 해석하고 이를 컴퓨터가 소리내어 '말하는' 텍스트로 변환할 수 있습니다.

UC Davis의 신경외과 의사인 David Brandman은 "우리의 BCI 기술은 마비 환자가 친구, 가족 및 간병인과 의사소통하는 데 도움이 되었습니다."라고 말했습니다. "우리의 논문은 지금까지 보고된 것 중 가장 정확한 언어 신경보철물(장치)을 보여줍니다."

Brandman은 이 연구의 공동 수석 조사자이자 공동 수석 저자입니다. 그는 UC Davis 신경외과 조교수이자 UC Davis 신경보철학 연구소의 공동 책임자입니다.

새로운 BCI는 의사소통 장벽을 허물었습니다.

누군가 말을 시도하면 새로운 BCI 장치는 뇌 활동을 컴퓨터 화면의 텍스트로 변환합니다. 그러면 컴퓨터는 텍스트를 소리내어 읽을 수 있습니다.

시스템을 개발하기 위해 팀은 ALS를 앓고 있는 45세 남성 Casey Harrell을 BrainGate 임상 시험에 등록했습니다. 등록 당시 Harrell은 팔과 다리에 허약함(사지마비)이 있었습니다. 그의 말은 이해하기 매우 어려웠고(구음장애) 다른 사람들이 그를 통역하는 데 도움을 주어야 했습니다.

2023년 7월 Brandman은 연구용 BCI 장치를 이식했습니다. 그는 언어 조정을 담당하는 뇌 영역인 왼쪽 전중심회에 4개의 미세 전극 배열을 배치했습니다. 이 어레이는 256개의 피질 전극에서 나오는 뇌 활동을 기록하도록 설계되었습니다.

신경과학자 세르게이 스타비스키(Sergey Stavisky)는 “우리는 근육을 움직이고 말하려는 그들의 시도를 실제로 감지하고 있습니다.”라고 설명했습니다. Stavisky는 신경외과의 조교수입니다. 그는 UC Davis 신경보철학 연구소의 공동 책임자이자 연구의 공동 책임자입니다. "우리는 이러한 명령을 근육에 보내려고 하는 뇌 부분에서 기록하고 있습니다. 기본적으로 우리는 그것을 듣고 뇌 활동의 패턴을 음절이나 단위와 같은 음소로 번역합니다. 연설 - 그리고 그들이 말하려는 단어."

더 빠른 훈련, 더 나은 결과

최근 BCI 기술의 발전에도 불구하고 통신을 활성화하려는 노력은 느리고 오류가 발생하기 쉽습니다. 뇌 신호를 해석하는 머신러닝 프로그램을 수행하려면 많은 시간과 데이터가 필요하기 때문입니다.

"이전 음성 BCI 시스템은 단어 오류가 자주 발생했습니다. 이로 인해 사용자가 일관되게 이해하기 어렵고 의사소통에 장벽이 되었습니다."라고 Brandman은 설명했습니다. "우리의 목표는 누군가가 말하고 싶을 때마다 이해할 수 있는 시스템을 개발하는 것이었습니다."

Harrell은 프롬프트된 대화 설정과 자발적인 대화 설정 모두에서 시스템을 사용했습니다. 두 경우 모두 음성 디코딩이 실시간으로 이루어졌으며, 정확한 작동을 유지하기 위해 지속적인 시스템 업데이트가 이루어졌습니다.

해독된 단어가 화면에 표시되었습니다. 놀랍게도 그 내용은 Harrell이 ALS에 걸리기 전의 목소리와 비슷하게 들렸습니다. 음성은 ALS 이전 음성의 기존 오디오 샘플로 훈련된 소프트웨어를 사용하여 구성되었습니다.

첫 번째 음성 데이터 훈련 세션에서 시스템은 50 단어 어휘로 99.6% 단어 정확도를 달성하는 데 30분이 걸렸습니다.

Stavisky는 "우리가 이 시스템을 처음 시도했을 때 자신이 말하려는 단어가 화면에 올바르게 표시되자 기뻐서 울었습니다. 우리 모두 그렇게 했습니다"라고 말했습니다.

두 번째 세션에서는 잠재 어휘의 크기가 125,000 단어로 늘어났습니다. 1.4시간의 훈련 데이터만 추가하면 BCI는 크게 확장된 어휘를 통해 90.2%의 단어 정확도를 달성했습니다. 지속적인 데이터 수집 후에도 BCI는 97.5%의 정확도를 유지했습니다.

Brandman은 “이 시점에서 우리는 Casey가 말하려는 내용을 약 97% 정확하게 해독할 수 있는데, 이는 사람의 음성을 해석하려고 시도하는 많은 상용 스마트폰 애플리케이션보다 더 좋습니다.”라고 Brandman은 말했습니다. "이 기술은 말하고 싶지만 말할 수 없는 사람들에게 희망을 제공하기 때문에 혁신적입니다. 이 연설 BCI와 같은 기술이 미래의 환자들이 가족 및 친구들과 대화하는 데 도움이 되기를 바랍니다."

이 연구는 32주 동안 84개의 데이터 수집 세션을 보고합니다. 전체적으로 Harrell은 직접 대화와 화상 채팅을 통해 248시간 이상 자기 주도 대화에서 음성 BCI를 사용했습니다.

Harrell은 "의사소통이 불가능하다는 것은 너무나 실망스럽고 사기를 저하시키는 일입니다. 마치 갇힌 것과 같습니다"라고 말했습니다. "이 기술과 같은 것은 사람들이 삶과 사회로 복귀하는 데 도움이 될 것입니다."

이번 연구의 주요 저자인 니콜라스 카드(Nicholas Card)는 “케이시가 이 기술을 통해 가족 및 친구들과 대화할 수 있는 능력을 회복하는 것을 보는 것은 엄청난 보람을 느꼈습니다.”라고 말했습니다. 카드는 UC 데이비스 신경외과의 박사후 연구원입니다.

"Casey와 다른 BrainGate 참가자들은 정말 특별합니다. 그들은 이러한 초기 임상 시험에 참여함으로써 엄청난 공로를 인정받을 자격이 있습니다. 그들은 개인적인 이익을 얻기를 바라고 있기 때문이 아니라 의사소통과 이동성을 회복할 시스템을 개발하는 데 도움을 주기 위해 이 일을 했습니다. 마비가 있는 다른 사람들을 위한 것입니다."라고 공동 저자이자 BrainGate 시험 후원자이자 연구자인 Leigh Hochberg는 말했습니다. Hochberg는 브라운대학교 매사추세츠 종합병원과 VA 프로비던스 헬스케어 시스템의 신경학자이자 신경과학자입니다.

출처: https://www.sciencedaily.com/releases/2024/08/240814170129.htm