사람들이 도덕적 결정을 내리는 AI 시스템에 대한 신뢰는 아직은 다소 부족하다

심리학자들은 AI가 인간의 경험과 진정한 이해력이 부족하다고 여겨져 더 중요한 도덕적 결정을 내리는 데 제약을 받을 수 있다고 경고합니다.

인공 도덕 자문가(AMA)는 확립된 윤리 이론, 원칙 또는 지침에 따라 인간이 도덕적 결정을 내리는 데 도움을 주기 위해 설계되기 시작한 인공 지능(AI) 기반 시스템입니다.

프로토타입이 개발되고 있지만, 현재 AMA는 일관되고 편견 없는 권장 사항과 합리적이고 도덕적인 조언을 제공하는 데 아직 사용되지 않고 있습니다.

인공지능을 탑재한 기계의 기술적 능력이 향상되고 도덕적 영역으로 이동함에 따라 사람들이 이러한 인공적 도덕 조언자에 대해 어떻게 생각하는지 이해하는 것이 중요합니다.

켄트 대학 심리학부가 주도한 연구에서는 사람들이 이런 자문가들을 어떻게 인식하는지, 그리고 인간 자문가와 비교해 자문가들의 판단을 신뢰할지 알아보았습니다.

인공지능이 공정하고 합리적인 조언을 제공할 수 있는 잠재력을 가지고 있지만, 사람들은 여전히 ​​인공지능이 도덕적 딜레마에 대한 윤리적 결정을 내릴 수 있다고 전적으로 신뢰하지 않는다는 사실을 발견했습니다.

저널 Cognition 에 게재된 이 연구는 사람들이 AMA(vs 인간)가 도덕적 조언을 하는 것을 상당히 싫어한다는 것을 보여줍니다. 조언이 동일하더라도 말입니다. 또한, 특히 조언자(인간과 AI 모두)가 공리주의 원칙(대다수에게 긍정적인 영향을 미칠 수 있는 행동)에 따라 조언을 할 때 더욱 그렇다는 것을 보여줍니다.

비공리주의적 조언(예: 결과를 극대화하기보다는 도덕적 규칙을 고수하는 것)을 한 조언자는 더 신뢰받았고, 특히 직접적인 해악과 관련된 딜레마에서 그러했습니다.

이는 사람들이 추상적인 결과보다 개인을 우선시하는 원칙을 따르는 조언자(인간이든 AI든)를 중요하게 여긴다는 것을 시사합니다.

참가자들은 AMA의 결정에 동의하였지만, 미래에는 AI에 대해 의견이 다를 수 있을 것으로 예상하여 본질적인 회의적 태도를 보였습니다.

짐 에버렛 박사는 켄트 대학에서 연구를 이끌었고, 워릭 대학의 사이먼 마이어스 박사와 함께 연구를 진행했습니다.

켄트에서 연구를 이끈 짐 에버렛 박사는 "도덕적 AI에 대한 신뢰는 정확성이나 일관성에 관한 것이 아니라 인간의 가치와 기대에 부합하는 것입니다. 저희 연구는 AMA 도입과 사람들이 진정으로 신뢰하는 시스템을 설계하는 방법에 대한 중요한 과제를 강조합니다.

기술이 발전함에 따라 AMA가 의료에서 ​​법률 시스템에 이르기까지 의사 결정 프로세스에 더욱 통합되는 것을 볼 수 있으므로 AI 역량과 인간의 신뢰 간의 격차를 메우는 방법을 이해하는 것이 매우 필요합니다."라고 말했습니다.

출처: https://www.sciencedaily.com/releases/2025/02/250210132358.htm