인공지능이 의사의 피로를 줄이는 데 항상 도움이 되는 것은 아니라는 연구 결과가 나왔습니다.

생성적 AI의 사용은 의료 분야의 피로를 줄이는 데 도움이 되지 않을 수 있다는 새로운 연구 결과가 나왔습니다.

이전 연구에서는 전자 건강 기록(EHR) 시스템을 사용하고 관리 책임을 처리하는 데 소요되는 시간이 늘어나 의사에게 부담이 되는 것으로 나타났습니다.

따라서 일부 사람들은 인공 지능을 잠재적인 솔루션으로 예고했습니다. 그러나 미국 의료 시스템의 최근 조사에 따르면 LLM(대형 언어 모델)이 임상의의 일상 업무를 단순화하지 못하는 것으로 나타났습니다.

인공 지능(AI)이란 무엇입니까?

예를 들어, 매사추세츠 주 보스턴에 있는 브리검 여성병원에서 실시한 2023년 관찰 연구에서는 전자 환자 메시징에 AI를 사용하는 경우의 영향을 조사했습니다.

연구자들은 암 환자의 시뮬레이션된 질문에 응답하기 위해 대규모 언어 모델을 촉발한 다음 그 출력을 위원회 인증 방사선 종양학자 6명의 응답과 비교했습니다.

그런 다음 의료 전문가는 AI가 생성한 응답을 “임상적으로 허용되는” 답변으로 편집하여 환자에게 보냅니다.

새로운 연구에 따르면 생성적 AI는 이전에 생각했던 것처럼 의사의 소진에 도움이 되지 않을 수 있습니다. (아이스톡)

The Lancet Digital Health에 발표된 이 연구에서는 LLM 초안이 “156개 설문 조사 응답 중 11개에서 심각한 피해를 입을 위험이 있고 한 설문 응답에서는 사망 위험”이 있음을 발견했습니다.

연구원들은 “해로운 반응의 대부분은 시나리오의 심각도와 권장 조치를 잘못 결정하거나 전달했기 때문에 발생했습니다”라고 썼습니다.

칠레에서 실시된 최초의 증강 현실 복부 수술: ‘혁명’

연구원들은 LLM 지원 결과(의사가 편집한 결과)가 환자가 정확한 정보를 얻을 수 있도록 보장하면서 의사의 작업량을 줄이는 “두 세계 모두에서 가장 좋은 시나리오”를 표시한다고 결론지었습니다.

“이러한 초기 발견은 정확한 작업과 인간 감독 수준을 반영하여 의도된 임상 상황에서 LLM을 철저하게 평가할 필요성을 나타냅니다.”라고 연구는 결론지었습니다.

연구자들은 LLM 지원 결과가 의사의 작업량을 줄이는 동시에 대응의 일관성을 보장하고 환자 교육을 개선하는 “두 세계 모두에서 가장 좋은 시나리오”를 보여주었다고 결론지었습니다. (아이스톡)

의료 청구 코드

뉴욕의 Mount Sinai Health System의 또 다른 연구에서는 평가했습니다. 의료 청구 코드를 쿼리할 때 성능 및 오류 패턴에 대한 네 가지 유형의 대규모 언어 모델입니다.

GOOGLE BARD에서 GEMINI로 전환: AI 업그레이드에 대해 알아야 할 사항

NEJM AI 저널에 발표된 연구에 따르면 테스트된 모든 LLM은 의료 코드 쿼리에서 “종종 부정확하거나 조작된 정보를 전달하는 코드를 생성”하는 성능이 좋지 않은 것으로 나타났습니다.

연구에서는 “LLM은 추가 연구 없이는 의료 코딩 작업에 사용하기에 적합하지 않다”고 결론지었습니다. 이 연구는 AGA 연구 재단과 국립 보건원(NIH)의 자금 지원을 받았습니다.

한 연구에 따르면 테스트된 모든 LLM은 의료 코드 쿼리 성능이 좋지 않았으며 이 문제에 대해서는 추가 연구가 필요하다는 사실이 밝혀졌습니다. (아이스톡)

연구원들은 이러한 모델이 “많은 코드의 의미를 근사화”할 수 있지만 “용납할 수 없을 만큼 정밀도가 부족하고 코드를 위조하는 경향이 높다”고 지적했습니다.

연구원들은 “이것은 청구, 임상 의사 결정, 품질 개선, 연구 및 건강 정책에 중요한 영향을 미칩니다”라고 썼습니다.

환자의 메시지와 의사의 시간

캘리포니아 대학교 샌디에고 의과대학에서 JAMA 네트워크에 발표된 세 번째 연구에서는 환자 메시지에 대한 AI 초안 답변과 이를 편집하는 데 소요되는 의사의 시간을 평가했습니다.

약물 관련 질문에 답변할 때 부정확성을 퍼뜨리는 것으로 연구 결과 밝혀진 CHATGPT

생성적 AI 초안이 의사가 이러한 작업을 수행하는 데 소요되는 시간을 줄일 것이라고 가정했지만 결과는 그렇지 않은 것으로 나타났습니다.

“생성적 AI 초안 답변은 읽기 시간이 크게 증가하고 응답 시간에 변화가 없으며 응답 길이가 크게 증가하고 [only] 어느 정도 인지된 이점이 있다고 연구는 밝혔습니다.

연구원들은 AI의 성능과 환자 경험을 추가로 평가하기 위해 “엄격한 경험적 테스트”가 필요하다고 제안했습니다.

UC 샌디에고 연구에서는 생성적 AI가 “읽기 시간은 증가하지만 응답 시간에는 변화가 없음”을 유발하는 것으로 나타났습니다. [and] 환자 메시지의 응답 길이가 크게 늘어났습니다. (아이스톡)

AI에 대한 의사의 생각

캘리포니아주 마운틴뷰에 위치한 AI 기반 수술 관리 솔루션인 Qventus의 최고 의료 책임자인 David Atashroo 박사는 Fox News Digital과의 인터뷰에서 연구 결과에 대해 반응했습니다. (그는 연구에 참여하지 않았습니다.)

“우리는 스케줄러, 의료 보조원, 사례 관리자 및 치료 네비게이터와 같이 건강 관리에서 전통적으로 필수적이지만 종종 간과되는 ‘접착제 역할’에 해당하는 위험은 낮지만 고도로 자동화 가능한 작업을 수행할 수 있는 AI의 엄청난 잠재력을 봅니다.” 그는 말했다.

“현실적인 기대치를 설정하는 것이 중요합니다. [AI’s] 성능.’

 

“이러한 전문가들은 임상 결과와 직접적으로 연결된 프로세스를 통합하는 데 매우 중요하지만 팩스 구문 분석, 메모 요약 및 필요한 문서 확보와 같은 관리 작업에 상당한 시간을 소비합니다.”

이러한 작업을 자동화하면서 Atashroo는 생성 AI가 임상 치료의 효율성과 효과를 향상하는 데 도움이 될 수 있다고 제안했습니다.

그는 “생성 AI의 배치를 고려할 때 성능에 대한 현실적인 기대치를 설정하는 것이 중요합니다”라고 말했습니다.

“표준이 항상 완벽할 수는 없습니다. 현재 이러한 작업을 수행하는 인간조차도 오류가 없는 것은 아니기 때문입니다.”

한 AI 전문가는 “현재 이러한 작업을 수행하는 인간조차 오류가 없는 것은 아니기 때문에 표준이 항상 완벽할 수는 없다”고 말했다. (아이스톡)

그는 일부 시나리오에서는 AI가 팀원의 감독을 포착하기 위한 ‘안전망’ 역할을 하는 데 도움이 될 수 있다고 제안했습니다.

Atashroo는 “단순히 작업을 처리할 시간이 충분하지 않기 때문에” 작업이 때때로 해결되지 않을 수 있다고 지적했습니다.

“제너레이티브 AI는 현재 역량이 허용하는 것보다 더 일관되게 사례를 관리하는 데 도움이 됩니다.”

“생성 AI 배포를 고려할 때 성능에 대한 현실적인 기대치를 설정하는 것이 중요합니다.”

 

AI 응용 분야에서는 안전성과 효능이 ‘가장 중요’하다고 의사도 지적했습니다.

“이는 엄격한 품질 검사를 통해 모델을 개발할 뿐만 아니라 성능을 검증하기 위해 인간 전문가의 정기적인 평가를 통합하는 것을 의미합니다.”라고 그는 말했습니다.

“이 이중 계층 검증은 우리의 AI 솔루션이 확장되기 전에 책임감 있고 신뢰할 수 있음을 보장합니다.”

Atashroo는 또한 “AI 기술 개발 및 구현의 투명성은 병원 파트너와 환자 간의 신뢰를 구축하는 데 필수적입니다”라고 말했습니다.

출처: https://www.foxnews.com/health/artificial-intelligence-not-always-helpful-reducing-doctor-burnout-studies-suggest