과학자들은 AI가 언어를 진정으로 이해하는 순간을 발견했습니다.

연구진은 훈련 데이터가 임계치를 넘어서면 변압기 네트워크가 단어 위치 추적에서 의미 집중으로 갑자기 전환되는 것을 발견했습니다. 이는 물리적 위상 변화를 반영하며 AI의 내부 작동 방식을 밝혀냈습니다. 출처: Shutterstock

오늘날 인공지능 시스템의 언어 능력은 놀랍습니다. 우리는 이제 ChatGPT, Gemini 등의 시스템과 거의 인간에 버금가는 유창함으로 자연스러운 대화를 나눌 수 있습니다. 하지만 이러한 놀라운 결과를 이끌어내는 네트워크의 내부 프로세스에 대해서는 아직 알려진 바가 거의 없습니다.

Journal of Statistical Mechanics: Theory and Experiment ( JSTAT ) 에 게재된 새로운 연구는 이러한 미스터리의 일부를 드러냅니다. 이 연구는 소량의 데이터를 사용하여 학습할 때 신경망이 처음에는 문장 내 단어의 위치에 의존한다는 것을 보여줍니다. 하지만 시스템이 충분한 데이터에 노출되면 단어의 의미에 기반한 새로운 전략으로 전환합니다. 이 연구는 이러한 전환이 중요한 데이터 임계값을 초과하는 순간 갑자기 발생한다는 것을 발견했습니다. 이는 물리적 시스템의 위상 전이와 매우 유사합니다. 이 결과는 이러한 모델의 작동 방식을 이해하는 데 귀중한 통찰력을 제공합니다.

아이가 읽기를 배우는 것처럼, 신경망은 단어의 위치를 ​​기반으로 문장을 이해하는 것으로 시작합니다. 문장 내 단어의 위치에 따라 신경망은 단어 간의 관계(주어, 동사, 목적어)를 추론할 수 있습니다. 하지만 학습이 계속되면서, 즉 신경망이 "계속 학습"하면서 변화가 발생합니다. 단어의 의미가 정보의 주요 원천이 되는 것입니다.

새로운 연구에 따르면, 이는 우리가 매일 사용하는 트랜스포머 언어 모델(ChatGPT, Gemini, Claude 등)의 핵심 구성 요소인 셀프 어텐션 메커니즘의 단순화된 모델에서 발생하는 현상입니다. 트랜스포머는 텍스트와 같은 데이터 시퀀스를 처리하도록 설계된 신경망 아키텍처로, 많은 현대 언어 모델의 근간을 이룹니다. 트랜스포머는 시퀀스 내 관계를 이해하는 데 특화되어 있으며, 셀프 어텐션 메커니즘을 사용하여 각 단어의 중요성을 다른 단어 대비 상대적으로 평가합니다.

하버드 대학교 박사후 연구원이자 이 연구의 제1 저자인 휴고 쿠이는 "단어 간의 관계를 평가하기 위해 네트워크는 두 가지 전략을 사용할 수 있는데, 그중 하나는 단어의 위치를 ​​활용하는 것입니다."라고 설명합니다. 예를 들어 영어와 같은 언어에서는 주어가 일반적으로 동사보다 앞에 오고, 동사는 다시 목적어보다 앞에 옵니다. "메리가 사과를 먹는다"는 이러한 순서의 간단한 예입니다.

"이것은 네트워크가 훈련될 때 자연스럽게 나타나는 첫 번째 전략입니다."라고 Cui는 설명합니다. "하지만 저희 연구에서는 훈련이 계속되고 네트워크가 충분한 데이터를 수신하면, 특정 시점(임계값을 초과하는 시점)에서 전략이 갑자기 전환되는 것을 관찰했습니다. 네트워크는 대신 의미에 의존하기 시작합니다."

"이 연구를 설계할 때, 우리는 네트워크가 어떤 전략, 또는 전략 조합을 채택할지 연구하고 싶었습니다. 그런데 우리가 발견한 것은 다소 놀라운 것이었습니다. 특정 임계값 아래에서는 네트워크가 위치에만 의존하는 반면, 그 이상에서는 의미에만 의존했습니다."

최이(Cui)는 물리학의 개념을 빌려 이러한 변화를 상전이(phase transition)라고 설명합니다. 통계물리학은 원자나 분자와 같은 엄청난 수의 입자로 구성된 시스템을 연구하여 그 집단적 행동을 통계적으로 설명합니다. 마찬가지로, 이러한 AI 시스템의 기반이 되는 신경망은 수많은 "노드", 즉 뉴런(인간의 뇌에 비유하여 명명)으로 구성되며, 각 노드는 서로 연결되어 간단한 연산을 수행합니다. 시스템의 지능은 이러한 뉴런의 상호작용에서 비롯되는데, 이는 통계적 방법으로 설명할 수 있는 현상입니다.

이것이 네트워크 동작의 갑작스러운 변화를 상전이로 말할 수 있는 이유입니다. 마치 특정 온도와 압력 조건 하에서 물이 액체에서 기체로 변하는 것과 비슷합니다.

"전략 변화가 이러한 방식으로 발생한다는 것을 이론적 관점에서 이해하는 것이 중요합니다."라고 추이는 강조합니다. "우리의 네트워크는 사람들이 매일 접하는 복잡한 모델에 비해 단순화되어 있지만, 특정 전략에 따라 모델이 안정화되는 조건을 이해하는 데 도움이 될 수 있습니다. 이러한 이론적 지식은 향후 신경망 사용을 더욱 효율적이고 안전하게 만드는 데 활용될 수 있기를 바랍니다."

Hugo Cui, Freya Behrens, Florent Krzakala, Lenka Zdeborová가 수행한 "점곱 주의의 해결 가능한 모델에서 위치 학습과 의미 학습 간의 위상 전이"라는 제목의 연구는 JSTAT의 Machine Learning 2025 특별호의 일부로 출판되었으며 NeurIPS 2024 컨퍼런스의 회의록에 포함되어 있습니다.

출처: https://www.sciencedaily.com/releases/2025/07/250707073353.htm