인간의 실수를 기계 학습에 통합 - ScienceDaily

연구자들은 가장 인간적인 특성 중 하나인 불확실성을 기계 학습 시스템에 통합하는 방법을 개발하고 있습니다.

인적 오류와 불확실성은 특히 인간이 기계 학습 모델에 피드백을 제공하는 시스템에서 많은 인공 지능 시스템이 파악하지 못하는 개념입니다. 이러한 시스템의 대부분은 인간이 항상 확실하고 정확하다고 가정하도록 프로그래밍되어 있지만 실제 의사 결정에는 가끔 실수와 불확실성이 포함됩니다.

케임브리지 대학의 연구원들은 Alan Turing Institute, Princeton 및 Google DeepMind와 함께 인간 행동과 기계 학습 사이의 격차를 해소하여 인간과 기계가 상호 작용하는 AI 응용 프로그램에서 불확실성을 더 완전히 설명할 수 있도록 노력해 왔습니다. 함께 일하고 있습니다. 이는 특히 의료 진단과 같이 안전이 중요한 경우 이러한 애플리케이션의 위험을 줄이고 신뢰와 신뢰성을 향상시키는 데 도움이 될 수 있습니다.

팀은 사람이 특정 이미지에 레이블을 지정할 때 피드백을 제공하고 불확실성 수준을 나타낼 수 있도록 잘 알려진 이미지 분류 데이터 세트를 채택했습니다. 연구자들은 불확실한 레이블을 사용한 훈련이 불확실한 피드백을 처리하는 시스템의 성능을 향상시킬 수 있음을 발견했지만 인간도 이러한 하이브리드 시스템의 전반적인 성능을 떨어뜨립니다. 그들의 결과는 몬트리올에서 열리는 인공 지능, 윤리 및 사회에 관한 AAAI/ACM 회의(AIES 2023)에서 보고될 것입니다.

인간의 피드백을 가능하게 하는 AI 시스템의 일종인 ‘Human-in-the-Loop’ 기계 학습 시스템은 종종 자동화된 모델에 의존하여 결정을 내릴 수 없는 환경에서 위험을 줄일 수 있는 유망한 방법으로 프레임이 지정됩니다. 하지만 인간이 확신이 없다면?

“불확실성은 인간이 세상에 대해 추론하는 방식의 중심이지만 많은 AI 모델이 이를 고려하지 못하고 있습니다. “많은 개발자가 모델 불확실성을 해결하기 위해 노력하고 있지만 사람의 관점에서 불확실성을 해결하기 위한 작업은 거의 이루어지지 않았습니다.”

우리는 종종 실제로 그것에 대해 생각하지 않고 확률의 균형에 따라 지속적으로 결정을 내립니다. 대부분의 경우 — 예를 들어, 우리가 친구처럼 보이지만 전혀 모르는 사람으로 밝혀진 사람에게 손을 흔든다면, 일이 잘못되어도 나쁠 것은 없습니다. 그러나 특정 응용 프로그램에서는 불확실성이 실제 안전 위험과 함께 발생합니다.

“많은 인간-AI 시스템은 인간이 항상 자신의 결정을 확신한다고 가정합니다. 이는 인간이 일하는 방식이 아닙니다. 우리 모두는 실수를 합니다.”라고 Collins는 말했습니다. “우리는 사람들이 의료 AI 시스템을 사용하는 임상의와 같이 안전이 중요한 환경에서 특히 중요한 불확실성을 표현할 때 어떤 일이 발생하는지 살펴보고 싶었습니다.”

최근 케임브리지의 Gonville and Caius College에서 MEng 학위를 마친 공동 저자인 Matthew Barker는 “이러한 모델을 재조정할 수 있는 더 나은 도구가 필요합니다. 그래야 모델과 함께 작업하는 사람들이 불확실할 때 말할 수 있습니다.”라고 말했습니다. “기계는 완전한 확신을 가지고 훈련할 수 있지만 인간은 종종 이를 제공할 수 없으며 기계 학습 모델은 이러한 불확실성으로 어려움을 겪습니다.”

연구를 위해 연구원들은 벤치마크 기계 학습 데이터 세트 중 일부를 사용했습니다. 하나는 숫자 분류용, 다른 하나는 흉부 X선 분류용, 다른 하나는 새 이미지 분류용이었습니다. 처음 두 데이터 세트의 경우 연구자들은 불확실성을 시뮬레이션했지만 새 데이터 세트의 경우 인간 참가자에게 자신이 보고 있는 이미지가 얼마나 확실한지(예: 새가 빨간색인지 주황색인지)를 표시하도록 했습니다. 인간 참가자가 제공한 이러한 주석이 달린 ‘소프트 라벨’을 통해 연구원은 최종 출력이 어떻게 변경되었는지 확인할 수 있었습니다. 그러나 그들은 기계가 인간으로 대체될 때 성능이 급격히 저하된다는 것을 발견했습니다.

Barker는 “우리는 수십 년간의 행동 연구를 통해 인간이 거의 100% 확신할 수 없다는 것을 알고 있지만 이것을 기계 학습에 통합하는 것은 어려운 일입니다.”라고 말했습니다. “우리는 기계 학습이 인간이 시스템의 일부인 인간의 불확실성을 처리하기 시작할 수 있도록 두 분야를 연결하려고 노력하고 있습니다.”

연구원들은 그들의 결과가 인간을 기계 학습 모델에 통합할 때 몇 가지 공개 과제를 식별했다고 말합니다. 그들은 추가 연구가 수행될 수 있고 불확실성이 기계 학습 시스템에 구축될 수 있도록 데이터 세트를 공개하고 있습니다.

Collins는 “우리 동료 중 일부가 훌륭하게 표현했듯이 불확실성은 투명성의 한 형태이며 이는 매우 중요합니다.”라고 말했습니다. “우리는 모델을 신뢰할 수 있는 시기와 인간을 신뢰할 수 있는 시기 및 그 이유를 파악해야 합니다. 특정 애플리케이션에서는 가능성보다 확률을 살펴보고 있습니다. 특히 예를 들어 챗봇이 증가함에 따라 우리는 더 잘 통합하는 모델이 필요합니다. 보다 자연스럽고 안전한 경험으로 이어질 수 있는 가능성의 언어입니다.”

Barker는 “어떤 면에서 이 작업은 답변보다 더 많은 질문을 제기했습니다.”라고 말했습니다. “그러나 인간이 불확실성에 대해 잘못 측정되었을 수 있지만 인간 행동을 설명함으로써 이러한 인간 참여형 시스템의 신뢰성과 신뢰성을 향상시킬 수 있습니다.”

이 연구는 Cambridge Trust, Marshall Commission, Leverhulme Trust, Gates Cambridge Trust, UKRI(UK Research and Innovation) 산하 공학 및 물리 과학 연구 위원회(EPSRC)의 지원을 받았습니다.

출처: https://www.sciencedaily.com/releases/2023/08/230809203210.htm