로봇 '셰프'는 음식 비디오를 보고 레시피를 재현하는 법을 배웁니다.

연구원들은 요리 비디오를 보고 배우고 요리 자체를 재현하도록 로봇 ‘셰프’를 훈련시켰습니다.

캠브리지 대학의 연구원들은 로봇 요리사에게 8가지 간단한 샐러드 레시피로 구성된 ‘요리책’을 프로그래밍했습니다. 레시피 중 하나를 시연하는 인간의 비디오를 본 후 로봇은 어떤 레시피가 준비되고 있는지 식별하고 만들 수 있었습니다.

또한 비디오는 로봇이 요리책에 점진적으로 추가하는 데 도움이 되었습니다. 실험이 끝날 무렵 로봇은 스스로 9번째 레시피를 생각해 냈습니다. 저널에 보고된 그들의 결과 IEEE 액세스비디오 콘텐츠가 자동화된 식품 생산을 위한 가치 있고 풍부한 데이터 소스가 될 수 있는 방법과 로봇 요리사를 보다 쉽고 저렴하게 배치할 수 있는 방법을 보여줍니다.

로봇 요리사는 수십 년 동안 공상 과학 소설에 등장했지만 실제로 요리는 로봇에게 어려운 문제입니다. 몇몇 상업 회사는 프로토타입 로봇 셰프를 제작했지만 현재 이들 중 어느 것도 상업적으로 이용 가능하지 않으며 기술 면에서 인간 요리사보다 훨씬 뒤떨어져 있습니다.

인간 요리사는 다른 사람이 요리하는 것을 보거나 YouTube에서 동영상을 보는 등 관찰을 통해 새로운 요리법을 배울 수 있지만 다양한 요리를 만들기 위해 로봇을 프로그래밍하는 데는 많은 비용과 시간이 소요됩니다.

케임브리지 공학과의 Grzegorz Sochacki는 “우리는 인간이 할 수 있는 것과 동일한 점진적인 방식으로 로봇 요리사를 훈련시킬 수 있는지 확인하고 싶었습니다. 작가.

Fumiya Iida 교수의 Bio-Inspired Robotics Laboratory의 박사 과정 학생인 Sochacki와 그의 동료들은 8가지 간단한 샐러드 레시피를 고안하고 이를 만드는 모습을 촬영했습니다. 그런 다음 공개적으로 사용 가능한 신경망을 사용하여 로봇 요리사를 교육했습니다. 신경망은 이미 8가지 샐러드 레시피(브로콜리, 당근, 사과, 바나나, 오렌지)에 사용된 과일과 채소를 포함하여 다양한 객체를 식별하도록 프로그래밍되었습니다.

컴퓨터 비전 기술을 사용하여 로봇은 비디오의 각 프레임을 분석하고 칼과 재료뿐만 아니라 인간 시연자의 팔, 손, 얼굴과 같은 다양한 물체와 특징을 식별할 수 있었습니다. 레시피와 비디오는 모두 벡터로 변환되었고 로봇은 시연과 벡터 간의 유사성을 결정하기 위해 벡터에 대해 수학 연산을 수행했습니다.

인간 요리사의 재료와 행동을 정확하게 식별함으로써 로봇은 어떤 요리법이 준비되고 있는지 결정할 수 있었습니다. 로봇은 인간 시연자가 한 손에는 칼을, 다른 손에는 당근을 들고 있으면 당근이 잘릴 것이라고 추론할 수 있습니다.

로봇이 본 16개의 비디오 중 93%의 시간 동안 올바른 레시피를 인식했지만 인간 셰프의 행동 중 83%만 감지했습니다. 로봇은 또한 두 배 분량을 만들거나 일반적인 사람의 실수와 같은 레시피의 약간의 변형이 새로운 레시피가 아니라 변형임을 감지할 수 있었습니다. 로봇은 또한 새로운 아홉 번째 샐러드의 시연을 올바르게 인식하고 요리책에 추가하여 만들었습니다.

“로봇이 얼마나 많은 뉘앙스를 감지할 수 있었는지 놀랍습니다.”라고 Sochacki는 말했습니다. “이러한 조리법은 복잡하지 않습니다. 본질적으로 잘게 썬 과일과 채소이지만, 예를 들어 잘게 썬 사과 두 개와 잘게 썬 당근 두 개가 잘게 썬 사과 세 개와 잘게 썬 당근 세 개와 같은 조리법임을 인식하는 데 정말 효과적이었습니다. “

로봇 셰프 훈련에 사용되는 영상은 일부 SNS 인플루언서들이 만든 푸드 영상처럼 빠른 컷과 시각 효과가 가득하고, 음식을 준비하는 사람과 준비 중인 요리 사이를 빠르게 오가는 식이다. . 예를 들어, 인간 시연자가 손으로 당근을 감싸면 로봇이 당근을 식별하는 데 어려움을 겪을 것입니다. 로봇이 당근을 식별하려면 인간 시연자는 로봇이 전체 야채를 볼 수 있도록 당근을 들어야 했습니다.

Sochacki는 “우리 로봇은 소셜 미디어에서 널리 퍼진 음식 비디오에 관심이 없습니다. 단순히 따라하기가 너무 어렵습니다.”라고 말했습니다. “그러나 이 로봇 요리사가 음식 비디오에서 재료를 식별하는 데 점점 더 빨라짐에 따라 YouTube와 같은 사이트를 사용하여 모든 범위의 요리법을 배울 수 있습니다.”

이 연구는 부분적으로 Beko plc와 UKRI(UK Research and Innovation)의 일부인 공학 및 물리 과학 연구 위원회(EPSRC)의 지원을 받았습니다.

출처: https://www.sciencedaily.com/releases/2023/06/230605181344.htm