에너지와 메모리: 새로운 신경망 패러다임

오래되고 아끼는 노래의 첫 음표를 들어보세요. 그 곡을 기억할 수 있나요? 만약 기억할 수 있다면 축하합니다. 연상 기억의 승리입니다. 하나의 정보(처음 몇 음표)가 나머지 곡을 다시 들을 필요 없이 전체 패턴(노래)에 대한 기억을 촉발하는 것이죠. 우리는 이 편리한 신경 메커니즘을 활용하여 배우고, 기억하고, 문제를 해결하고, 우리의 현실을 헤쳐나갑니다.

"네트워크 효과입니다." UC 산타바바라 기계공학과 프란체스코 불로 교수는 연상 기억은 단일 뇌 세포에 저장되는 것이 아니라고 설명하며, "기억 저장과 기억 인출은 전체 뉴런 네트워크에서 발생하는 역동적인 과정입니다."라고 말했습니다.

1982년, 물리학자 존 홉필드는 이 이론적 신경과학 개념을 홉필드 네트워크(Hopfield Network)를 통해 인공지능 영역으로 확장했습니다. 이를 통해 그는 인간 뇌의 기억 저장 및 인출을 이해하는 수학적 틀을 제공했을 뿐만 아니라, 최초의 순환 인공 신경망 중 하나인 홉필드 네트워크를 개발했습니다. 홉필드 네트워크는 잡음이 있거나 불완전한 입력에서 완전한 패턴을 인출하는 능력으로 유명합니다. 홉필드는 이 연구로 2024년 노벨상을 수상했습니다.

그러나 이탈리아 파도바 대학교의 Bullo와 공동 연구진인 Simone Betteti, Giacomo Baggio, Sandro Zampieri에 따르면, 전통적인 Hopfield 네트워크 모델은 강력하지만 새로운 정보가 기억 인출을 어떻게 유도하는지에 대한 전체적인 설명을 제공하지는 못합니다.

Science Advances 저널에 게재된 논문에서 그들은 "특히," "외부 입력의 역할은 신경 역학에 미치는 영향부터 효과적인 기억 인출을 촉진하는 방식까지 거의 연구되지 않았습니다."라고 말합니다. 연구진은 우리가 기억을 경험하는 방식을 더 잘 설명하는 기억 인출 모델을 제안합니다.

"현대 버전의 머신 러닝 시스템, 즉 이러한 대규모 언어 모델은 기억을 실제로 모델링하지 않습니다."라고 불로는 설명했습니다.

"메시지를 입력하면 출력이 나옵니다. 하지만 동물 세계에서 우리가 기억을 이해하고 처리하는 방식과는 다릅니다." LLM은 입력받은 언어 패턴을 활용하여 설득력 있게 지적인 답변을 제공할 수 있지만, 동물이 가진 근본적인 추론과 실제 세계에 대한 경험은 여전히 ​​부족합니다.

"우리가 세상을 경험하는 방식은 더욱 연속적이고 시작과 재설정의 반복이 적습니다."라고 논문의 주저자인 베테티는 말했습니다. 그는 홉필드 모델에 대한 대부분의 연구는 뇌를 마치 컴퓨터처럼 매우 기계론적인 관점에서 다루는 경향이 있었다고 덧붙였습니다. "우리는 기억 모델을 연구하고 있기 때문에 인간의 관점에서 시작하고 싶습니다."

이론가들에게 영감을 준 주요 질문은 다음과 같습니다. 우리가 주변 세계를 경험할 때, 우리가 받는 신호가 어떻게 기억을 되살리는 데 도움이 될까요?

홉필드가 구상했듯이, 기억 인출을 에너지 지형의 관점에서 개념화하는 것이 도움이 됩니다. 에너지 지형에서 계곡은 기억을 나타내는 에너지 최소값입니다. 기억 인출은 이러한 지형을 탐험하는 것과 같고, 인식은 계곡 중 하나에 빠졌을 때입니다. 지형에서 시작 위치가 바로 초기 상태입니다.

"고양이 꼬리를 본다고 상상해 보세요." 불로가 말했다. "고양이 전체가 아니라 꼬리만요. 연상 기억 시스템은 고양이 전체에 대한 기억을 회복할 수 있어야 합니다." 전통적인 홉필드 모델에 따르면, 고양이 꼬리(자극)만으로도 "고양이"라는 꼬리표가 붙은 계곡에 가장 가까이 다가가기에 충분하다고 그는 설명하며, 자극을 초기 조건으로 취급했다. 하지만 애초에 어떻게 그 지점에 도달하게 되었을까요?

"고전적인 홉필드 모델은 고양이 꼬리를 보는 것이 어떻게 언덕 아래로 떨어지고 에너지가 최소 수준에 도달할 수 있는 적절한 위치에 있는지를 자세히 설명하지 못합니다."라고 불로는 말했습니다. "이러한 기억을 저장하는 신경 활동 공간에서 어떻게 움직이는지, 그 부분이 다소 불분명합니다."

연구진의 입력 기반 가소성(IDP) 모델은 과거 정보와 새로운 정보를 점진적으로 통합하여 기억 인출 과정을 올바른 기억으로 유도하는 메커니즘을 통해 이러한 명확성 부족을 해결하는 것을 목표로 합니다. 연구진은 기존 홉필드 네트워크 모델의 다소 정적인 에너지 지형에 2단계 알고리즘적 기억 인출을 적용하는 대신, 동적인 입력 기반 메커니즘을 제시합니다.

"외부 세계의 자극(예: 고양이 꼬리 이미지)을 받으면 동시에 에너지 지형이 바뀐다는 생각을 지지합니다."라고 Bullo는 말했습니다.

"이 자극은 에너지 지형을 단순화하여 초기 위치에 관계없이 고양이에 대한 올바른 기억으로 내려가게 합니다." 또한, 연구진은 IDP 모델이 잡음(입력이 모호하거나, 애매하거나, 부분적으로 가려진 상황)에 강인하며, 실제로 잡음을 사용하여 덜 안정적인 기억(이 에너지 지형의 얕은 계곡)을 걸러내고 더 안정적인 기억을 선호한다고 말합니다.

"한 장면을 응시할 때 시선이 장면의 여러 구성 요소 사이를 이동한다는 사실에서 시작합니다."라고 베테티는 말했습니다. "따라서 매 순간 무엇에 집중하고 싶은지 선택하지만, 주변에는 많은 잡음이 있습니다." 그는 집중할 입력을 확정하면 네트워크가 스스로 조정하여 우선순위를 정한다고 설명했습니다.

어떤 자극에 집중할지, 즉 주의(attention)를 선택하는 것은 ChatGPT와 같은 대규모 언어 모델의 핵심이 된 또 다른 신경망 아키텍처인 트랜스포머(transformer)의 핵심 메커니즘이기도 합니다. 연구진이 제안하는 IDP 모델은 "다른 목표를 가지고 매우 다른 초기 지점에서 시작하지만", 불로는 이 모델이 미래의 머신러닝 시스템 설계에 도움이 될 수 있는 잠재력이 크다고 말했습니다.

"우리는 둘 사이의 연관성을 발견했고, 이 논문은 그것을 설명합니다."라고 불로는 말했습니다. "이 논문의 주요 초점은 아니지만, 이러한 연상 기억 체계와 대규모 언어 모델이 조화를 이룰 수 있을 것이라는 놀라운 희망이 있습니다."

출처: https://www.sciencedaily.com/releases/2025/05/250514164320.htm