GPT가 우리처럼 생각할 수없는 이유

인공 지능(AI), 특히 GPT-4와 같은 대규모 언어 모델은 추론 작업에서 인상적인 성과를 보였습니다. 하지만 AI가 실제로 추상적 개념을 이해하는지, 아니면 그저 패턴을 모방하는 것일까요? 암스테르담 대학교와 산타페 연구소의 새로운 연구에 따르면 GPT 모델은 일부 유추 작업에서는 좋은 성과를 보이지만, 문제가 변경되면 기대에 미치지 못하며 AI 추론 능력의 주요 약점을 강조합니다.

유추적 추론은 특정 측면에서 유사점을 기반으로 두 가지 다른 사물을 비교하는 능력입니다. 인간이 세상을 이해하고 결정을 내리려고 하는 가장 일반적인 방법 중 하나입니다. 유추적 추론의 예: 컵은 커피에 대한 것이고 수프는 (답은: 그릇)에 대한 것입니다.

GPT-4와 같은 대규모 언어 모델은 유추적 추론을 필요로 하는 것을 포함한 다양한 테스트에서 좋은 성과를 보입니다. 하지만 AI 모델이 실제로 일반적이고 견고한 추론에 참여할 수 있을까요? 아니면 훈련 데이터의 패턴에 지나치게 의존할까요? 언어 및 AI 전문가인 Martha Lewis(암스테르담 대학교 논리, 언어 및 계산 연구소)와 Melanie Mitchell(산타페 연구소)이 실시한 이 연구에서는 GPT 모델이 유추를 하는 데 있어 인간만큼 유연하고 견고한지 조사했습니다. Lewis는 'AI가 현실 세계에서 의사 결정과 문제 해결에 점점 더 많이 사용되고 있기 때문에 이는 중요합니다.'라고 설명합니다.

AI 모델과 인간의 성능을 비교한다

Lewis와 Mitchell은 세 가지 유형의 유추 문제에 대한 인간과 GPT 모델의 성능을 비교했습니다.

1. 편지 시퀀스 - 문자 시퀀스에서 패턴을 식별하고 올바르게 완성합니다.
2. 숫자 행렬 - 숫자 패턴을 분석하고 누락 된 숫자를 결정합니다.
3. 이야기 비유 - 두 가지 이야기 중 가장 좋은 방법을 이해하면 주어진 예제 이야기에 해당합니다.

비유를 진정으로 이해하는 시스템은 변형에서도 높은 성능을 유지해야 합니다.

GPT 모델이 원래 문제를 해결할 수 있는지 테스트하는 것 외에도, 이 연구는 문제가 미묘하게 수정되었을 때 얼마나 잘 수행되는지 조사했습니다. 저자들은 논문에서 '유추를 진정으로 이해하는 시스템은 이러한 변화에서도 높은 성능을 유지해야 합니다'라고 말합니다.

GPT 모델은 견고성으로 어려움을 겪고 있다

인간은 대부분의 수정된 버전의 문제에서 높은 성과를 유지했지만, GPT 모델은 표준 유추 문제에서 좋은 성과를 보였지만 변화에는 어려움을 겪었습니다. 루이스는 '이는 AI 모델이 종종 인간보다 덜 유연하게 추론하고 그들의 추론은 진정한 추상적 이해보다는 패턴 매칭에 더 가깝다는 것을 시사합니다.'라고 설명합니다.

숫자 행렬에서 GPT 모델은 누락된 숫자의 위치가 변경되면 성능이 크게 떨어지는 것을 보였습니다. 인간은 이에 어려움을 겪지 않았습니다. 스토리 비유에서 GPT-4는 처음 주어진 답을 정답으로 선택하는 경향이 있는 반면 인간은 답의 순서에 영향을 받지 않았습니다. 또한 GPT-4는 스토리의 핵심 요소가 다시 표현되었을 때 인간보다 더 어려움을 겪었는데, 이는 더 깊은 인과적 추론보다는 표면적 유사성에 의존함을 시사합니다.

더 간단한 유추 작업에서 GPT 모델은 수정된 버전에서 테스트했을 때 성능 저하가 감소한 반면, 인간은 일관성을 유지했습니다. 그러나 더 복잡한 유추 추론 작업에서는 인간과 AI 모두 어려움을 겪었습니다.

인간의 인지보다 약하다

이 연구는 GPT-4와 같은 AI 모델이 인간과 같은 방식으로 추론할 수 있다는 널리 퍼진 가정에 도전합니다. 'AI 모델이 인상적인 능력을 보여주지만, 이것이 그들이 하는 일을 진정으로 이해한다는 것을 의미하지는 않습니다.' 루이스와 미첼은 결론지었습니다. '그들의 변형에 대한 일반화 능력은 여전히 ​​인간의 인지보다 상당히 약합니다. GPT 모델은 종종 깊은 이해보다는 피상적인 패턴에 의존합니다.'

이는 교육, 법률, 의료와 같은 중요한 의사 결정 분야에서 AI를 사용하는 것에 대한 중요한 경고입니다. AI는 강력한 도구가 될 수 있지만 아직 인간의 사고와 추론을 대체하지는 못합니다.

출처: https://www.sciencedaily.com/releases/2025/02/250221125814.htm