Американские ученные разработали систему дистанционного управления движениями, которой достаточно двумерных изображений. Предварительная публикация исследования размещена на arXiv.

Ученые из Университета Карнеги-Меллона создали систему дистанционного управления автоматизированной рукой. Достаточно встать перед камерой и выполнить нужные действия. ИИ на основе двумерного изображения генерирует трехмерную модель движения, формирует алгоритм для роботизированной руки. Традиционно для обучения и дистанционного управления роботами использовались специальные перчатки, датчики движений или откалиброванные системы, состоящие из нескольких камер. Решение, предложенное в исследовании, не требует сложного оборудования и существенно упрощает процесс дистанционного управления.

«Наша система работает с использованием одной камеры. Поскольку калибровка не требуется, пользователь может стоять где угодно и при этом успешно управлять роботом», - говорит Дипак Патхак, один из разработчиков системы. Руки человека и робота существенно отличаются по форме, размеру и структуре суставов. Траектории движения, которые зафиксированы камерой, должны быть не просто воспроизведены, но и преобразованы в последовательность действий конструкционных элементов робота.

Примечательно, что для обучения своей системы исследователи использовали только видеоролики с YouTube. «Мы понимаем, что классические модели сбора данных требуют существенных затрат, - отмечают ученые. - В то же время в интернете множество видеозаписей движения человеческих рук».

Первоначальные результаты исследования многообещающие: даже неподготовленные пользователи могут дистанционно управлять роботом. «Лично для меня самая важная часть исследования - использование неструктурированных данных из интернета для робототехники, - добавляет Патхак. - Наша система удаленного управления не требует перчаток и маркеров и делает обучение роботов более доступным. Мы надеемся, что она поможет в создании автономных механизмов».