듣기 능력은 로봇에게 인간과 같은 촉감을 가져다준다
어두운 영화관에 앉아 큰 컵에 얼마나 많은 소다가 남았는지 궁금해하는 것을 상상해보세요. 뚜껑을 떼고 보는 대신, 컵을 들어 살짝 흔들어 안에 얼마나 많은 얼음이 들어 있는지 듣고, 무료 리필이 필요한지 알 수 있습니다.
음료를 다시 내려놓으며, 당신은 팔걸이가 진짜 나무로 만들어졌는지 멍하니 궁금해합니다. 그러나 몇 번 두드리고 텅 빈 메아리를 듣고 나서, 당신은 그것이 플라스틱으로 만들어졌어야 한다고 생각합니다.
물체에서 나오는 음향 진동을 통해 세상을 해석하는 이 능력은 우리가 생각 없이 하는 일입니다. 그리고 연구자들은 이 능력을 로봇에 도입하여 빠르게 성장하는 감지 능력을 증강시키려고 합니다.
듀크 대학의 새로운 연구 결과는 11월 6일부터 9일까지 독일 뮌헨에서 개최되는 로봇 학습 컨퍼런스(CoRL 2024)에서 발표될 예정입니다. 이 연구에서는 이전에는 인간만이 할 수 있었던 방식으로 로봇이 주변 환경과 상호 작용할 수 있게 해주는 SonicSense 라는 시스템을 자세히 설명합니다.
"오늘날 로봇은 주로 세상을 해석하기 위해 시각에 의존합니다." 논문의 주저자이자 듀크 대학의 기계 공학 및 재료 과학 교수인 Boyuan Chen의 연구실에서 박사 학위를 취득한 1학년 학생인 Jiaxun Liu가 설명했습니다. "우리는 일상적으로 발견되는 복잡하고 다양한 물체와 함께 작동할 수 있는 솔루션을 만들어 로봇이 세상을 '느끼고' 이해하는 훨씬 더 풍부한 능력을 갖도록 하고 싶었습니다."
SonicSense는 손가락 4개가 있는 로봇 손을 특징으로 하며, 각 손가락에는 손가락 끝에 접촉 마이크가 내장되어 있습니다. 이 센서는 로봇이 물체를 두드리거나, 잡거나, 흔들 때 발생하는 진동을 감지하고 기록합니다. 그리고 마이크가 물체와 접촉하기 때문에 로봇이 주변 소음을 차단할 수 있습니다.
SonicSense는 상호작용과 감지된 신호를 기반으로 주파수 특징을 추출하고 이전 지식을 최근 AI 발전과 결합하여 물체의 재질과 3D 모양을 파악합니다. 시스템이 이전에 본 적이 없는 물체인 경우 시스템이 결론을 내리려면 20번의 다른 상호작용이 필요할 수 있습니다. 하지만 이미 데이터베이스에 있는 물체인 경우 단 4번 만에 올바르게 식별할 수 있습니다.
" SonicSense는 로봇에게 인간과 매우 비슷하게 듣고 느끼는 새로운 방법을 제공합니다. 이는 현재 로봇이 사물을 인식하고 상호 작용하는 방식을 바꿀 수 있습니다." 전기 및 컴퓨터 공학과 컴퓨터 과학을 전공하고 학생들도 있는 Chen의 말입니다. "시각이 필수적이지만, 소리는 눈이 놓칠 수 있는 것을 보여줄 수 있는 정보 계층을 추가합니다."
논문과 시연에서 Chen과 그의 연구실은 SonicSense 가 가능하게 한 여러 기능을 보여줍니다 . 주사위로 채워진 상자를 돌리거나 흔들면 그 안에 있는 숫자와 모양을 셀 수 있습니다. 물병으로 같은 작업을 하면 안에 얼마나 많은 액체가 들어 있는지 알 수 있습니다. 그리고 어둠 속에서 물체를 탐험하는 것처럼 물체의 외부를 두드려서 물체 모양의 3D 재구성을 구축하고 어떤 재료로 만들어졌는지 확인할 수 있습니다.
SonicSense가 이 접근 방식을 사용한 첫 번째 시도는 아니지만 , 한 단계 더 나아가 네 개의 손가락을 하나 대신 사용하고, 주변 소음을 제거하는 터치 기반 마이크와 고급 AI 기술을 사용하여 이전 작업보다 더 나은 성능을 발휘합니다. 이 설정을 통해 시스템은 복잡한 기하학, 투명하거나 반사하는 표면, 비전 기반 시스템에 어려운 재료를 가진 두 개 이상의 재료로 구성된 물체를 식별할 수 있습니다.
"대부분의 데이터 세트는 통제된 실험실 환경이나 인간의 개입으로 수집되지만, 우리는 로봇이 개방형 실험실 환경에서 독립적으로 물체와 상호 작용할 수 있도록 해야 했습니다."라고 Liu는 말했습니다. "시뮬레이션에서 그 수준의 복잡성을 재현하는 것은 어렵습니다. 통제된 데이터와 실제 데이터 간의 이러한 격차는 중요하며, SonicSense는 로봇이 다양하고 지저분한 물리적 세계의 현실과 직접 상호 작용할 수 있도록 하여 이를 메웁니다."
이러한 능력은 SonicSense를 로봇이 동적이고 구조화되지 않은 환경에서 물체를 인식하도록 훈련하는 견고한 기반으로 만듭니다. 비용도 마찬가지입니다. 음악가가 기타, 3D 프린팅 및 기타 상업적으로 이용 가능한 구성 요소에서 소리를 녹음하는 데 사용하는 것과 동일한 접촉 마이크를 사용하면 제작 비용이 200달러가 조금 넘습니다.
앞으로 그룹은 여러 객체와 상호 작용하는 시스템의 능력을 향상시키기 위해 노력하고 있습니다. 객체 추적 알고리즘을 통합함으로써 로봇은 동적이고 복잡한 환경을 처리할 수 있게 되어 실제 작업에서 인간과 같은 적응력에 더 가까워질 것입니다.
또 다른 핵심 개발은 로봇 손 자체의 설계에 있습니다. "이것은 시작에 불과합니다. 미래에는 SonicSense가 정교한 조작 기술을 가진 더욱 진보된 로봇 손에 사용되어 로봇이 섬세한 촉각이 필요한 작업을 수행할 수 있게 될 것으로 예상합니다."라고 Chen은 말했습니다. "이 기술이 어떻게 더욱 복잡한 상호 작용을 위해 압력과 온도와 같은 여러 감각 양식을 통합하도록 더욱 발전될 수 있는지 탐구하게 되어 기쁩니다."
본 연구는 육군 연구소의 STRONG 프로그램(W911NF2320182, W911NF2220113)과 DARPA의 FoundSci 프로그램(HR00112490372) 및 TIAMAT(HR00112490419)의 지원을 받아 수행되었습니다.
인용: "SonicSense: In-Hand Acoustic Vibration에서 물체 인식", Jiaxun Liu, Boyuan Chen. 로봇 학습 컨퍼런스, 2024. ArXiv 버전은 2406.17932v2에서 이용 가능하며 General Robotics Laboratory 웹사이트에서도 이용 가능합니다.
댓글 없음
아름다운 덧글로 인터넷문화를 선도해 주세요