Современные университеты, журналы и издательства всё чаще используют детекторы искусственного интеллекта, чтобы выявлять тексты, сгенерированные нейросетями. Однако эта технология несовершенна и регулярно даёт сбои. Самый яркий пример — Декларация независимости США. Пользователи интернета и исследователи журнала Nature обнаружили, что популярные сервисы, включая ZeroGPT, при проверке главного документа страны выдают вероятность генерации ИИ от 95 до 100 процентов. Текст, написанный Томасом Джефферсоном в 1776 году, алгоритмы маркируют как продукт нейросети.
Причина таких ошибок кроется в техническом принципе работы детекторов. Они опираются на показатель «перпликсити» — оценку непредсказуемости выбора слов. Текст нейросети статистически более предсказуем, поэтому правильная, строго выверенная речь человека, написанная без ошибок и по всем правилам, часто признаётся машинной.
Исследования показывают, что утилиты могут давать до 16% ложноположительных результатов на англоязычных эссе. Но для авторов, не являющихся носителями языка, этот показатель подскакивает до 61%. Их простой и структурированный английский алгоритмы ошибочно принимают за работу нейросети.
Ситуацию усугубляет стремительное развитие самих моделей ИИ. Их тексты становятся всё более «человечными», а программы-«гуманизаторы», которые переписывают машинный текст, окончательно запутывают алгоритмы проверки.
Учёные, включая лингвиста Марзену Карпинску из Университета Саймона Фрейзера, предупреждают: автоматические оценки нельзя использовать как неопровержимое доказательство вины. В отличие от систем антиплагиата, которые показывают конкретный источник заимствования, детекторы генеративного текста не дают наглядных доказательств. Специалисты призывают университеты пересмотреть систему оценки знаний, переходя от удалённых тестов к аудиторным работам и обращая внимание на прозрачность процесса, а не только на финальный текст.