Исследователи из университета Мэриленда и Индийского института науки, Банголор решили научить роботов языку жестов. Их исследование в журнале Frontiers in Robotics and AI вдохновлено «пчелиным танцем».

Обычно роботы общаются с помощью цифровых сетей. Но что будет, если работа сети прерывается? Роботы видят друга, но не могут связаться. Такая несколько странная ситуация может возникать и во время катастроф и в космосе. Чтобы решить эту проблему, исследователи разработали систему визуальной коммуникации для роботов.

Робот снабжен встроенной камерой. От нее визуальная информация поступает на вход алгоритма, который позволяет роботу интерпретировать жесты. Ученые протестировали систему на простой задаче, где нужно переместить посылку на складе. Система позволяет человеку общаться с «роботом-посыльным», который связывается с «роботом-манипулятором», выполняющим задачу, и передает ему команду.

Например, человек поднимает руку со сжатым кулаком. Робот распознает жест, используя встроенную камеру и алгоритмы отслеживания движения. Если робот понимает жест человека, он может передать команду другим роботам, рисуя на полу треугольники, как пчелы рисуют эллипсы.

Исследователи проверили совместную работу роботов и людей-добровольцев. Роботы правильно интерпретировали жесты людей в 90% случаев.