Правительственный чат-бот Нью-Йорка раскритиковали за предоставление неточной и потенциально вредной информации.
Чат-бот Нью-Йорка «MyCity», который был запущен в октябре 2023-го, чтобы оптимизировать бизнес-операции, раскритиковали за предоставление неточной и потенциально вредной информации.
Бот рекламировали как единое окно для получения официальных данных о городском бизнесе.
Расследование The Markup и The City выявило недостатки чатбота. MyCity вводил пользователей в заблуждение относительно основных правил. К примеру, бот утверждал, что арендодатели могут отказываться от ваучеров на жилье по разделу 8, однако это противоречило официальной информации города о жилищной практике. Подобные несоответствия были выявлены в отношении правил оплаты труда работников и специфических деталей отрасли, таких как цены похоронных бюро.
Проблема заключается в технологии MyCity. Чат-бот, который работает на базе Microsoft Azure, полагается на предсказание следующего слова в последовательности, не понимая, что именно лежит в основе информации.
MyCity называет себя «бета-версией» и предупреждает о возможной неточности.
Управление по технологиям и инновациям Нью-Йорка защищает чат-бот. В ведомстве утверждают, что MyCity уже помог многим. Управление намерено совершенствовать программу.
Ранее сообщалось, что ИИ в поисковике Google продвигает вредоносные сайты.