Декларация независимости написана нейросетью? Как работают ИИ-детекторы  Оригинал

Программы для борьбы с академическим обманом дают пугающие сбои, принимая исторические шедевры и строгие статьи за машинный бред.

Вузы и журналы бросились вооружаться ИИ-детекторами, чтобы ловить студентов на использовании нейросетей. Но эта «гонка вооружений» зашла в тупик. Оказалось, что популярные сервисы, вроде ZeroGPT, видят «машинный след» там, где его быть не может. Например, при проверке Декларации независимости США 1776 года алгоритм выдал 95-100% вероятности того, что документ написала нейросеть!

В чем корень проблемы? Детекторы оценивают так называемую «перплексию» – непредсказуемость текста. Нейросети пишут статистически предсказуемо. Но парадокс в том, что строгий, грамотный и логичный человеческий текст алгоритм тоже считает слишком «правильным» и записывает в роботы.

Ошибки массовы. Исследования показывают до 16% ложных срабатываний на эссе носителей языка. А вот для студентов, для которых английский не родной, этот показатель взлетает до 61%! Представьте: человек старается писать грамотно, а программа клеймит его как мошенника.

Проблему усугубляет то, что детекторы, в отличие от «Антиплагиата», не могут указать на источник. Они просто тыкают пальцем в небо. К тому же нейросети эволюционируют, а люди используют программы-«гуманизаторы», которые окончательно ломают логику проверок, пишет