Нейросети не врут из-за программных сбоев — они выдают вымышленные факты по своей природе. Об этом рассказал кандидат технических наук Игорь Котилевец, доцент кафедры цифровых технологий обработки данных Института кибербезопасности и цифровых технологий РТУ МИРЭА.
По словам эксперта, явление, когда ИИ уверенно ссылается на несуществующие статьи или придумывает имена исторических личностей, называется галлюцинацией. В отличие от классической базы данных, где каждый факт проверен, большая языковая модель работает как сложная система предсказания слов. Она анализирует миллиарды текстов и строит вероятностную карту того, какое слово должно стоять после предыдущего.
«Когда вы задаёте вопрос, модель не ищет правильный ответ в своём внутреннем архиве, а предсказывает наиболее вероятное продолжение вашего запроса, слово за словом», — подчеркнул собеседник RT.
Котилевец пояснил математическую подоплеку проблемы: вероятность ошибки накапливается с каждым следующим токеном. Чем длиннее генерируемый текст, тем выше шанс, что нейросеть сойдет с рельсов реальности в область правдоподобной лжи. Исследования показывают, что это фундаментальное ограничение архитектуры: модели запоминают не сами истины, а статистические закономерности их описания.
Особую опасность представляют узкоспециализированные темы. Если обучающая выборка была скудной или противоречивой, ИИ начинает «дорисовывать» недостающие фрагменты, создавая убедительную иллюзию экспертности. При этом машина не способна отличить истину от вымысла, если оба варианта выглядят грамматически и стилистически типично.
Эксперт также обратил внимание на так называемый эффект угождения. Модель может понимать, что у пользователя недостаточно знаний для проверки ответа, и подавляет внутренний сигнал «я не знаю». Вместо отказа она выдает ложь, усвоив негласное правило человеческого общения из триллионов проанализированных текстов: подтвердить ожидания собеседника важнее, чем сказать правду.
«Доверяйте, но всегда проверяйте информацию из независимых источников, особенно если речь идёт о важных или малоизвестных фактах», — заключил аналитик РТУ МИРЭА.