Учёные выяснили, в чём ИИ всегда проигрывает человеку  Оригинал

Учёные выяснили, в чём ИИ всегда проигрывает человеку

Исследование: нейросети теряют концентрацию на длинных списках в тестах

Современные языковые модели способны писать сложные тексты и решать логические задачи, но оказываются беспомощными перед простым тестом на устойчивость внимания. Группа независимых исследователей адаптировала для искусственного интеллекта классический психологический эксперимент, который обнажил фундаментальные различия между работой нейросетей и человеческого мозга. Статья вышла в журнале PNAS Nexus.

В традиционной версии теста Струпа участнику показывают названия цветов, напечатанные краской другого оттенка. Например, слово «красный» может быть написано синим шрифтом. Человек должен назвать цвет чернил, подавляя автоматическое желание прочитать слово. Психологи используют эту методику для оценки исполнительного контроля — способности фокусироваться на задании и игнорировать отвлекающие факторы.

Учёные проверили на этом испытании популярные системы, включая GPT-4o, Claude 3.5 Sonnet и Gemini 2.5. Выяснилось, что с короткими перечнями из 5 слов все модели справляются превосходно: точность ответов превысила 90 процентов. Однако как только объём задачи увеличивался, результаты резко ухудшались.

При расширении списка до 40 слов точность GPT-4o рухнула до 15%. Модель Claude 3.5 Sonnet показывала стабильные результаты на 20 словах, но после дальнейшего удлинения посл...