훈련 알고리즘은 심층적인 물리적 신경망의 장벽을 무너뜨립니다.

EPFL 연구원들은 아날로그 신경망을 디지털 신경망만큼 정확하게 훈련시키는 알고리즘을 개발하여 전력 소모가 많은 딥 러닝 하드웨어에 대한 보다 효율적인 대안 개발을 가능하게 했습니다.

기존 프로그래밍이 아닌 알고리즘 ‘학습’을 통해 방대한 양의 데이터를 처리하는 능력을 갖춘 Chat-GPT와 같은 심층 신경망의 잠재력은 무한해 보입니다. 그러나 이러한 시스템의 범위와 영향이 커짐에 따라 크기, 복잡성 및 에너지 소비도 커졌습니다. 후자는 전 세계 탄소 배출에 대한 기여에 대한 우려를 불러일으킬 만큼 중요합니다.

그리고 우리는 종종 아날로그에서 디지털로의 전환 측면에서 기술 발전을 생각하지만, 연구자들은 이제 디지털 심층 신경망에 대한 물리적 대안에서 이 문제에 대한 답을 찾고 있습니다. 그러한 연구원 중 한 명은 EPFL 공과대학 파동 공학 연구소의 Romain Fleury입니다. 에 발표된 논문에서 과학그와 그의 동료들은 다른 방법에 비해 향상된 속도, 향상된 견고성 및 감소된 전력 소비를 보여주는 물리적 시스템 훈련용 알고리즘을 설명합니다.

“우리는 전자가 아닌 정보를 전달하기 위해 음파, 광파 및 마이크로파를 사용하는 세 가지 파동 기반 물리적 시스템에서 교육 알고리즘을 성공적으로 테스트했습니다. 그러나 우리의 다재다능한 접근 방식은 모든 물리적 시스템을 교육하는 데 사용할 수 있습니다.” LWE 연구원 알리 모메니(Ali Momeni).

“생물학적으로 더 그럴듯한” 접근법

신경망 훈련은 시스템이 이미지나 음성 인식과 같은 작업에 대한 최적의 매개변수 값을 생성하는 방법을 학습하도록 돕는 것을 의미합니다. 전통적으로 여기에는 두 단계가 포함됩니다. 즉, 데이터가 네트워크를 통해 전송되고 출력을 기반으로 오류 함수가 계산되는 정방향 전달입니다. 및 모든 네트워크 매개변수에 대한 오류 함수의 기울기가 계산되는 역방향 전달(역전파 또는 BP라고도 함)이 있습니다.

반복되는 반복을 통해 시스템은 이 두 가지 계산을 기반으로 자체 업데이트하여 점점 더 정확한 값을 반환합니다. 문제? 에너지 집약적일 뿐만 아니라 BP는 물리적 시스템에 적합하지 않습니다. 실제로 물리적 시스템을 교육하려면 일반적으로 BP 단계에 디지털 트윈이 필요합니다. 이는 비효율적이며 현실 시뮬레이션 불일치의 위험이 있습니다.

과학자들의 아이디어는 BP 단계를 물리적 시스템을 통한 두 번째 순방향 통과로 대체하여 각 네트워크 계층을 로컬로 업데이트하는 것이었습니다. 이 방법은 전력 사용을 줄이고 디지털 트윈이 필요하지 않을 뿐만 아니라 인간의 학습을 더 잘 반영합니다.

“신경망의 구조는 뇌에서 영감을 얻었지만 뇌가 BP를 통해 학습할 가능성은 거의 없습니다”라고 Momeni는 설명합니다. “여기서 아이디어는 각 물리적 계층을 로컬에서 훈련하면 먼저 디지털 모델을 구축하는 대신 실제 물리적 시스템을 사용할 수 있다는 것입니다. 따라서 우리는 생물학적으로 더 그럴듯한 접근 방식을 개발했습니다.”

CNRS IETR의 Philipp del Hougne 및 Microsoft Research의 Babak Rahmani와 함께 EPFL 연구원들은 물리적 로컬 학습 알고리즘(PhyLL)을 사용하여 실험적인 음향 및 마이크로파 시스템과 모델링된 광학 시스템을 훈련하여 모음 소리 및 이미지와 같은 데이터를 분류했습니다. BP 기반 훈련과 비교할 수 있는 정확도를 보여줄 뿐만 아니라, 이 방법은 최신 기술에 비해 예측할 수 없는 외부 교란에 노출된 시스템에서도 강력하고 적응성이 뛰어났습니다.

아날로그의 미래?

LWE의 접근 방식은 심층 물리적 신경망에 대한 최초의 BP 없는 교육이지만 매개변수의 일부 디지털 업데이트가 여전히 필요합니다. “이것은 하이브리드 교육 접근 방식이지만 우리의 목표는 디지털 계산을 최대한 줄이는 것입니다. “라고 Momeni는 말합니다.

연구원들은 이제 네트워크 확장성을 높이는 궁극적인 목표를 가지고 소규모 광학 시스템에 알고리즘을 구현하기를 희망합니다.

“실험에서 우리는 최대 10개의 레이어로 구성된 신경망을 사용했지만 수십억 개의 매개변수가 있는 100개의 레이어에서도 작동할 수 있을까요? 이것이 다음 단계이며 물리적 시스템의 기술적 한계를 극복해야 합니다.”

출처: https://www.sciencedaily.com/releases/2023/12/231207161444.htm