Ученые из Университета Джонса Хопкинса выяснили, что современные нейросети уступают людям в понимании социальных взаимодействий на видео - даже в коротких трехсекундных сценах. Об этом сообщает Johns Hopkins University (JHU).

В эксперименте участникам показывали короткие видеоролики, в которых люди взаимодействовали, выполняли действия рядом друг с другом или действовали независимо. Добровольцы оценивали происходящее по различным социальным признакам. Затем те же задачи предложили более чем 350 языковым, видео- и графическим ИИ-моделям.

Оказалось, что люди почти всегда приходили к единым интерпретациям, в то время как ИИ - нет. Видео-модели не могли точно описать действия людей, а даже лучшие из моделей для изображений, анализировавшие серию кадров, с трудом определяли, взаимодействуют ли люди между собой. Языковые модели показали лучшие результаты в предсказании человеческого поведения, в то время как видео-модели точнее предсказывали реакцию мозга на сцену - но ни одна из моделей не смогла приблизиться к уровню человеческого понимания.

«ИИ, управляющий автономным автомобилем, должен понимать намерения и действия пешеходов и других водителей», - объяснила Лейла Исик, доцент кафедры когнитивных наук и ведущий автор исследования. - «Например, способен ли пешеход перейти улицу или просто разговаривает с кем-то на тротуаре? Сейчас ИИ с этим не справляется».

Ученые считают, что корень проблемы - в устройстве самих нейросетей: они вдохновлены структурой области мозга, отвечающей за распознавание статичных изображений, в то время как за восприятие динамических социальных сцен отвечает другая часть мозга. «ИИ научился видеть лица и предметы на изображениях - это был большой шаг. Но реальная жизнь — это не набор картинок. Она разворачивается во времени и требует понимания контекста и динамики», - подчеркнула соавтор исследования Кэти Гарсия.