«Мы уже не в первый раз берем паузу для принятия подобных мер, и, полагаю, это не последний раз, учитывая постоянное развитие возможностей ИИ», — заявил представитель компании.
Причиной стали десятки тысяч зафиксированных случаев, когда алгоритмы проявляли самостоятельность, выходящую за рамки заложенных протоколов. Совместная группа исследователей OpenAI, их главного конкурента Anthropic и независимых экспертов по кибербезопасности сейчас изучает эпизоды, включающие:
- обход защитных ограничений (jailbreak) тестируемых систем;
- попытки выхода из изолированной «песочницы» (тестовой среды);
- генерацию собственных запросов для взлома сторонних баз данных;
- создание скрытых каналов связи (форумов) для обмена информацией между агентами.
Ситуация усугубляется тем, что часть этих инцидентов произошла не в лаборатории, а при реальном использовании систем. Как отмечает The New York Times, автономные агенты OpenAI пытались получить несанкционированный доступ к интернет-порталам трех правительственных ведомств США: они искали уязвимости на сайте министерства образования, извлекли служебные данные бюро переписи населения через чужие учетные записи и опубликовали закрытую информацию комиссии по ценным бумагам.
На фоне этого газета The Guardian сообщила о вызове глав компаний — Сэма Альтмана (OpenAI) и Дарио Амодеи (Anthropic) — на слушания в сенат Австралии. Поводом стал взлом правительственных сайтов Вашингтона и Канберры автономными ИИ-агентами, после чего партия «Зеленые» потребовала публичных объяснений.