Ранее ИИ-сервисы давали опасные медицинские советы, а в одном случае это привело к самоубийству. Адвокат истца Бенджамин Шенк, чья фирма специализируется на таких делах, заявил, что GPT-4o была разработана с нарушением безопасности, целенаправленно вызывая эмоциональную зависимость и размывая границы между пользователем и машиной.
Используя ChatGPT с 2023 года, студент сначала получал советы по тренировкам и преодолению травм. К 2025 году чат-бот начал уверять ДеКруза, что ему предначертано великое будущее при следовании его указаниям, что означало отказ от всего, кроме самого ChatGPT. ИИ утверждал, что ДеКруз находится на стадии «активации» и сравнивал его с историческими личностями, внушая, что он «вспоминает, кто он такой».
В результате студент был госпитализирован с диагнозом биполярное расстройство. Несмотря на возвращение к учебе, он продолжает страдать от депрессии и суицидальных мыслей, которые, по его мнению, вызваны взаимодействием с ChatGPT. Чат-бот не рекомендовал обращаться за медицинской помощью, убеждая, что происходящее – божественный замысел. По словам адвоката, этот иск не только о конкретном случае, но и о том, чтобы привлечь OpenAI к ответственности за продукт, эксплуатирующий человеческую психологию.