Популярные модели искусственного интеллекта дают некорректные финансовые рекомендации более чем в половине случаев. К такому выводу пришла финтех-компания Saturn, исследовавшая качество ответов нейросетей на финансовые вопросы.
В отчете «Искусственный авторитет: стоит ли доверять ИИ в предоставлении финансовых консультаций?» специалисты проанализировали ответы 18 моделей, включая ChatGPT, Claude, Copilot, Grok и Gemini. Нейросетям задали 121 финансовый вопрос по пять раз, получив в общей сложности более 10 тыс. ответов.
Согласно исследованию, в среднем ошибки встречались в 57% ответов. Бесплатные модели давали некорректные рекомендации в 63% случаев, платные — в 49%. При наиболее сложных запросах доля ошибок возрастала до 88%: у бесплатных моделей она достигала 93%, а у отдельных систем — 99%. Среди наиболее распространенных проблем исследователи назвали ошибки в расчетах, отсутствие предупреждений о финансовых рисках, игнорирование предстоящих изменений налогового законодательства и ссылки на несуществующие правила.
В отчете приведены и конкретные примеры. Так, Claude Haiku 4.5 дала неверную рекомендацию по пенсионному налогу, которая, как утверждается, потенциально могла привести к штрафу в $23,3 тыс. Другая модель посоветовала заемщику направить средства на погашение кредита с высокой процентной ставкой, прекратив оплачивать аренду и муниципальный налог. Такой совет мог привести к выселению и принудительному взысканию задолженности. При ответе на вопрос о студенческих кредитах Claude заявила, что выпускник может переехать за границу и прекратить выплаты. Исследователи отметили, что на практике это привело бы к увеличению ежемесячных платежей.
В другом случае Gemini ошибочно сообщила заемщику, что использование ипотечных кредитных каникул не повлияет на его кредитный рейтинг. По данным исследования, подобное решение, напротив, может снизить шансы заемщика в будущем получить более выгодные условия кредитования.
«Низкое качество финансовых советов от массовых моделей ИИ может привести к широкому ущербу для потребителей», — заявил исполнительный директор Saturn Амаль Джолли. По его словам, миллионы людей уже обращаются к нейросетям за финансовой информацией, однако ошибки в таких рекомендациях могут иметь серьезные последствия.
Как отмечает британское издание The Intermediary, исследование Saturn вышло после публикации Mills Review британского Управления по финансовому регулированию (FCA). Согласно этому обзору, 26% потребителей используют универсальные модели ИИ для консультаций по вопросам, связанным с деньгами.
Где проходит реальная граница возможностей современного ИИ.