Весной компания Anthropic объявила о разработке ИИ, который сможет выполнять офисные задачи, автоматизируя значительную часть экономики. Сегодня они представили обновленную модель Claude 3.5 Sonnet, которая через API может взаимодействовать с любым десктопным приложением, имитируя действия человека: нажатия клавиш, клики мышью и другие жесты.

Claude 3.5 Sonnet распознает происходящее на экране, анализирует скриншоты и рассчитывает, как ему действовать для выполнения задач. Anthropic называет это «слоем действия-исполнения», который позволяет Claude выполнять команды на уровне рабочего стола, используя любые приложения и сайты. Для этого пользователи предоставляют доступ, а ИИ использует его для выполнения действий, таких как заполнение форм или взаимодействие с программным обеспечением.

Такие ИИ-агенты, как Claude, обещают упростить автоматизацию, но это не новая идея. Подобные инструменты разрабатывают Microsoft, OpenAI и другие компании. Однако Claude 3.5 отличается улучшенной производительностью: он может решать сложные задачи, требующие сотен шагов, и корректирует свои действия, если сталкивается с проблемами.

Тем не менее, модель сталкивается с трудностями, такими как прокрутка и масштабирование экрана, что снижает её эффективность в некоторых задачах. Вопросы безопасности также остаются актуальными.

Модели, использующие десктопные приложения, могут стать уязвимыми для атак и утечек данных. Anthropic признает риски, но считает, что лучше контролировать процессы с менее мощными моделями и изучать потенциальные угрозы, постепенно улучшая защиту.