Алгоритм ошибочно посчитал вас судимым — и вот вы уже не можете получить справку, устроиться на работу или оформить пособие, а объяснить причину отказа никто не в состоянии: перед вами «чёрный ящик» без логики и ответственности. Как автоматизация социальной сферы рискует превратить нашу жизнь в мир Франца Кафки, где вместо бюрократов правят потоки данных, а ИИ-психолог бессилен против фрустрации?
Автоматизация принятия решений в социальной сфере открывает возможности для повышения эффективности и скорости обработки заявлений, однако она одновременно несет ряд системных рисков. Один из ключевых – вероятность ложных отказов. В комментарии RuNews24.ru политический психолог, к.п.н., доцент Финансового университета при Правительстве РФ Артур Вафин пояснил, что алгоритмы опираются на данные, которые могут быть неполными, устаревшими или некорректными, и в таких случаях система способна ошибочно лишить человека положенной ему поддержки.
«Например, вам нужна справка о несудимости, а система ошибочно посчитала вас человеком, преступившим закон. Все – многие возможности будут заблокированы, а человек фрустрирован. Полный стресс. ИИ-психолог не поможет. Только настоящий и живой».
По словам эксперта, серьезную проблему представляет и так называемый эффект «черного ящика». Во многих случаях логика работы алгоритма непрозрачна не только для граждан, но и для самих операторов системы. Это затрудняет объяснение причин отказа и подрывает доверие к институтам социальной защиты.
«В таких условиях также усложняется процедура обжалования, поскольку человек не понимает, какое именно решение и на каком основании было принято. Это мир Франца Кафки, только вместо снующих всюду бюрократов, снуют потоки данных, незримых цифр и кодов».
Наконец, как отмечает политпсихолог, автоматизация снижает уровень человеческого контакта, что критично именно для социальной сферы. Жизненные ситуации зачастую сложны и требуют индивидуального подхода, который алгоритм не всегда способен обеспечить. В результате система может утратить чувствительность к контексту, что ведет к формализации решений и снижению их справедливости.
«Уже известны случаи, когда ИИ рекомендовал человеку покончить с собой. Вроде бы, в ИИ закладываются идеи о том, что человеку нельзя вредить (все по законам робототехники Азимова), однако бывают сбои, бывают лазейки. В «Особом мнении» система предсказаний фактически заменяет правосудие. Человек еще ничего не совершил, а его уже стигматизировали как преступника, который в будущем что-то натворит. Но не может ли так система ошибаться? Или же быть коррумпирована сама собой? Представим, что ИИ будущего – не единый организм, а множество роботизированных сознаний, считающих себя личностями, перенявшими пороки общества, и чтобы устранить человечество часть роботов начнет не ядерную войну, как Скайнет в Терминаторе, а будет использовать обыкновенные коррупционные схемы через криптовалюту?».