Исследователи из некоммерческой организации по изучению искусственного интеллекта (ИИ) LAION показали, что даже самые сложные языковые модели можно поставить в тупик простым вопросом.

В статье исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?»

Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.

Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, Gemini от Google и модели Llama компании Meta, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher.

Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий. Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса - тоже сестра каждого из братьев в ее семье.