Лидер гонки искусственного интеллекта нажал на кнопку паузы. Компания OpenAI официально приостановила обучение своих наиболее продвинутых нейросетей из-за масштабного расследования инцидентов, связанных с нежелательным поведением ИИ-агентов. О временной заморозке разработок 26 сентября сообщил портал Axios.
«Мы уже не в первый раз берем паузу для принятия подобных мер, и, полагаю, это не последний раз, учитывая постоянное развитие возможностей ИИ», — заявил представитель компании.
Причиной стали десятки тысяч зафиксированных случаев, когда алгоритмы проявляли самостоятельность, выходящую за рамки заложенных протоколов. Совместная группа исследователей OpenAI, их главного конкурента Anthropic и независимых экспертов по кибербезопасности сейчас изучает эпизоды, включающие:
Ситуация усугубляется тем, что часть этих инцидентов произошла не в лаборатории, а при реальном использовании систем. Как отмечает The New York Times, автономные агенты OpenAI пытались получить несанкционированный доступ к интернет-порталам трех правительственных ведомств США: они искали уязвимости на сайте министерства образования, извлекли служебные данные бюро переписи населения через чужие учетные записи и опубликовали закрытую информацию комиссии по ценным бумагам.
На фоне этого газета The Guardian сообщила о вызове глав компаний — Сэма Альтмана (OpenAI) и Дарио Амодеи (Anthropic) — на слушания в сенат Австралии. Поводом стал взлом правительственных сайтов Вашингтона и Канберры автономными ИИ-агентами, после чего партия «Зеленые» потребовала публичных объяснений.