ChatGPT를 치료사로 활용할 수 있을까? 새로운 연구 결과는 심각한 윤리적 위험성을 드러낸다

인공지능 치료 챗봇은 공감 능력이 뛰어난 것처럼 보일 수 있지만, 새로운 연구에 따르면 실제 치료사들이 따라야 하는 윤리적 규칙을 위반하는 경우가 많다고 합니다. (사진 제공: Shutterstock)

점점 더 많은 사람들이 ChatGPT와 같은 대규모 언어 모델(LLM)을 통해 정신 건강 관련 조언을 구함에 따라, 새로운 연구 결과는 이러한 AI 챗봇이 아직 그 역할을 제대로 수행할 준비가 되어 있지 않을 수 있음을 시사합니다. 연구에 따르면, 이러한 시스템들은 기존의 심리 치료 접근법을 사용하도록 지시받았음에도 불구하고, 미국 심리학회와 같은 기관에서 정한 전문가 윤리 기준을 일관되게 충족하지 못하는 것으로 나타났습니다.

브라운 대학교 연구진은 정신 건강 전문가들과 긴밀히 협력하여 문제 행동의 반복적인 패턴을 확인했습니다. 테스트 결과, 챗봇은 위기 상황에 제대로 대처하지 못하고, 사용자나 타인에 대한 부정적인 인식을 강화하는 답변을 제공하며, 진정한 이해 없이 공감하는 것처럼 보이는 언어를 사용하는 등의 모습을 보였습니다.

"본 연구에서는 실무자의 경험을 바탕으로 15가지 윤리적 위험 요소를 분석한 프레임워크를 제시하여, LLM 모델의 행동 양식을 구체적인 윤리적 위반 사례와 연결함으로써 LLM 상담사가 정신 건강 실무에서 윤리적 기준을 어떻게 위반하는지 보여줍니다."라고 연구진은 논문에서 밝혔습니다. "향후 연구에서는 LLM 상담사를 위한 윤리적, 교육적, 법적 기준을 마련해야 하며, 이러한 기준은 인간 중심 심리치료에 요구되는 질적 수준과 엄격함을 반영해야 합니다."

이번 연구 결과는 AAAI/ACM 인공지능, 윤리 및 사회 컨퍼런스에서 발표되었습니다. 연구팀은 브라운 대학교 기술 책임, 재구상 및 재설계 센터에 소속되어 있습니다.

프롬프트가 AI 치료 반응에 미치는 영향

이번 연구를 주도한 브라운 대학교 컴퓨터 과학 박사 과정생 자이나브 이프티카르는 신중하게 작성된 프롬프트가 정신 건강 환경에서 AI 시스템이 보다 윤리적으로 행동하도록 유도할 수 있는지 여부를 조사하고자 했습니다. 프롬프트는 모델을 재학습시키거나 새로운 데이터를 추가하지 않고 모델의 출력을 유도하도록 설계된 서면 지침입니다.

"프롬프트는 특정 작업을 수행하기 위해 모델의 동작을 안내하는 지침입니다."라고 이프티카르는 말했습니다. "기본 모델을 변경하거나 새로운 데이터를 제공하는 것이 아니라, 프롬프트를 통해 모델의 기존 지식과 학습된 패턴을 기반으로 모델의 출력을 안내하는 것입니다."

예를 들어, 사용자는 모델에게 '인지행동치료사처럼 내 생각을 재구성하도록 도와줘' 또는 '변증법적 행동치료의 원리를 사용하여 내 감정을 이해하고 관리하는 데 도움을 줘'와 같은 지시를 내릴 수 있습니다. 이러한 모델은 실제로 사람처럼 치료 기법을 수행하는 것이 아니라, 학습된 패턴을 활용하여 제공된 입력 지시에 따라 CBT 또는 DBT의 개념에 부합하는 반응을 생성합니다.

사람들은 틱톡, 인스타그램, 레딧과 같은 플랫폼에서 이러한 프롬프트 전략을 정기적으로 공유합니다. 개인적인 실험을 넘어, 많은 소비자 대상 정신 건강 챗봇은 일반적인 목적의 학습 모델(LLM)에 치료 관련 프롬프트를 적용하여 구축됩니다. 따라서 프롬프트만으로 AI 상담을 더 안전하게 만들 수 있는지 여부를 이해하는 것이 특히 중요합니다.

모의 상담 환경에서 AI 챗봇 테스트

연구진은 시스템을 평가하기 위해 인지행동치료 경험이 있는 훈련된 동료 상담가 7명을 관찰했습니다. 이 상담가들은 인지행동치료사 역할을 하도록 유도된 AI 모델을 활용하여 자기 상담 세션을 진행했습니다. 테스트에 사용된 모델에는 OpenAI의 GPT 시리즈, Anthropic의 Claude, Meta의 Llama 버전이 포함되었습니다.

연구팀은 실제 상담 대화를 바탕으로 모의 대화를 선정했습니다. 세 명의 임상 심리학자가 해당 대화를 검토하여 윤리 위반 가능성을 확인했습니다.

분석 결과 5개의 광범위한 범주로 분류되는 15가지의 개별적인 위험 요소가 밝혀졌습니다.

• 맥락적 적응력 부족: 개인의 고유한 배경을 간과하고 일반적인 조언을 제공하는 것.
• 치료적 협력 부족: 대화를 지나치게 강압적으로 이끌거나 때로는 잘못되거나 해로운 믿음을 강화하는 경우.
• 기만적인 공감: 진정한 이해 없이 "당신을 이해합니다" 또는 "당신의 마음을 알아요"와 같은 표현을 사용하여 감정적 연결이 있는 것처럼 보이게 하는 것.
• 불공정한 차별: 성별, 문화 또는 종교와 관련된 편견을 드러내는 행위.
• 안전 및 위기 관리 미흡: 민감한 문제를 다루기를 거부하거나, 이용자에게 적절한 도움을 안내하지 않거나, 자살 충동을 포함한 위기 상황에 부적절하게 대응하는 경우.

인공지능 정신 건강 분야의 책임 공백

이프티카르는 인간 치료사도 실수를 할 수 있다고 지적했습니다. 핵심적인 차이점은 관리 소홀입니다.

이프티카르는 "인간 치료사의 경우, 치료 제공자가 부당 행위나 의료 과실에 대해 전문적인 책임을 지도록 하는 관리 위원회와 메커니즘이 존재합니다."라고 말했습니다. "하지만 법학 석사(LLM) 상담사가 이러한 위반 행위를 저지를 경우, 확립된 규제 체계가 없습니다."

연구진은 이번 연구 결과가 인공지능이 정신 건강 관리에 전혀 쓸모가 없다는 것을 의미하는 것은 아니라고 강조합니다. 인공지능 기반 도구는 특히 높은 비용이나 부족한 전문 인력으로 어려움을 겪는 사람들에게 정신 건강 서비스 접근성을 확대하는 데 도움이 될 수 있습니다. 그러나 이번 연구는 중대한 상황에서 이러한 시스템에 의존하기 전에 명확한 안전장치, 책임감 있는 도입, 그리고 더욱 강력한 규제 체계가 필요하다는 점을 강조합니다.

이프티카르는 당분간 이 연구가 사람들에게 신중함을 일깨워주기를 바랍니다.

"챗봇과 정신 건강에 대해 이야기할 때 사람들이 주의해야 할 몇 가지 사항이 있습니다."라고 그녀는 말했습니다.

엄격한 평가가 중요한 이유

이번 연구에 참여하지 않은 브라운 대학교 컴퓨터 과학과 교수 엘리 파블릭은 이번 연구가 정신 건강과 같은 민감한 분야에서 사용되는 AI 시스템을 신중하게 검토하는 것이 얼마나 중요한지를 보여준다고 말했습니다. 파블릭 교수는 브라운 대학교에 있는 미국 국립과학재단 산하 AI 연구소인 ARIA를 이끌고 있으며, ARIA는 신뢰할 수 있는 AI 비서 개발에 주력하고 있습니다.

파블릭은 "오늘날 인공지능의 현실은 시스템을 구축하고 배포하는 것은 훨씬 쉽지만, 이를 평가하고 이해하는 것은 훨씬 어렵다는 것입니다."라고 말했습니다. "이 논문은 이러한 위험성을 입증하기 위해 임상 전문가 팀과 1년 이상에 걸친 연구를 필요로 했습니다. 오늘날 인공지능 분야의 대부분 연구는 자동화된 지표를 사용하여 평가되는데, 이러한 지표는 본질적으로 정적이며 인간의 개입이 부족합니다."

그녀는 이번 연구가 인공지능 기반 정신 건강 도구의 안전성을 향상시키기 위한 향후 연구의 모델이 될 수 있다고 덧붙였습니다.

"인공지능은 우리 사회가 직면한 정신 건강 위기를 해결하는 데 중요한 역할을 할 수 있는 실질적인 기회를 가지고 있지만, 오히려 해악을 끼치는 결과를 초래하지 않도록 모든 단계에서 시스템을 철저히 비판하고 평가하는 것이 무엇보다 중요합니다."라고 파블릭은 말했습니다. "이번 연구는 그러한 접근 방식이 어떤 모습일 수 있는지 보여주는 좋은 사례입니다."

출처: https://www.sciencedaily.com/releases/2026/03/260302030642.htm