Стёртая красная линия
С 31 августа по 4 сентября в европейском отделении ООН в Женеве собрались представители более 70 стран. Они потратили больше 10 лет на попытки создать правила для нового типа оружия - автономных систем, которые сами находят цель и сами открывают огонь.
В последний день переговоров делегации США и России устроили марафонскую правку текста, длившуюся около 15 часов. По данным The Washington Post, ссылающейся на трех осведомленных лиц и изученные документы, каждая из сторон выставила примерно по 10 юристов - почти вдвое больше, чем у остальных делегаций. Камеры ООН отключили, наблюдателей из общественных организаций попросили покинуть зал.
В итоге из черновика исчезли несколько ключевых пунктов. Главный из них требовал: после того как искусственный интеллект выбрал военную цель, человек обязан подтвердить удар. Вместе с ним убрали положения о «предсказуемости», «надежности», «объяснимости» и «отслеживаемости» таких систем, а также ссылки на этические соображения.
Это значит, что, как минимум, в этом тексте ООН машине больше не нужно ждать разрешения человека, чтобы самостоятельно решить, жить ему или умереть.
Когда-то это казалось аксиомой...
Писатель-фантаст Айзек Азимов 80 лет назад сформулировал три закона робототехники. Первый и самый главный гласил: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Эти три закона в научной фантастике воспринимались как догма. В реальных дискуссиях о контроле над вооружениями они долго оставались нравственным фоном, на котором человечество сохраняло настороженность к силе машин. Но в Женеве эту черту стерли. Один из комментаторов так описал суть произошедшего:
«В Женеве главный закон робототехники отменили. Роботу официально разрешили убивать людей самому».
Это не юридическая «лицензия на убийство» в прямом смысле. Но это серьезный откат назад в попытках международного сообщества ограничить автономное оружие. Ранее более 70 стран выражали готовность начать официальные переговоры: одни требовали полного запрета таких систем, другие настаивали, как минимум, на принципе «человек в цепочке принятия решения». Теперь этот консенсус сильно размыт.
Почему США и Россия? Почему сейчас?
Чтобы понять это, нужно увидеть более широкую картину. Сочетание автономного оружия и искусственного интеллекта в военной сфере развивается быстрее, чем кто-либо мог представить. По данным The Washington Post, армия США в первые 24 часа операции против Ирана использовала некий чат-бот для помощи в идентификации почти тысячи целей.
Израиль в ходе военной операции в Газе также активно применял системы с искусственным интеллектом. Скорость технологических изменений давно обогнала скорость создания международных правил. США и Россия как два крупнейших игрока в области военного искусственного интеллекта не хотят, чтобы юридически обязывающий договор связывал им руки.
По сообщениям, в американскую команду входили дипломаты Госдепартамента, представители Пентагона и юристы, «готовые защищать автономность американских военных». Примечательная деталь: окончательное решение принималось по принципу консенсуса - либо принимаете измененный текст, либо никакого документа не будет.
Для многих небольших делегаций скорость, с которой США и Россия переписывали документ, оказалась слишком высокой, чтобы успеть отреагировать.
«Мы соревнуемся с машиной»
Тем, кто следит за российскими дискуссиями о военных технологиях, имя Олега Царева хорошо знакомо. Бывший депутат Верховной Рады Украины, ныне живущий в Крыму, он давно и внимательно наблюдает за тем, как ИИ меняет военное дело. В связи с женевскими событиями он высказал два суждения, над которыми стоит задуматься.
Первое - о неизбежности удаления человека из цепочки решений. Царев писал:
«А что человека из цепочки уберут - у меня, к сожалению, сомнений не было. Когда стоит вопрос о разработке более эффективного оружия, в гуманизм не играют».
Второе - о сути этой гонки. Ранее, комментируя милитаризацию искусственного интеллекта в США, он отмечал:
«Они считают, что когда они это сделают... воевать ни с кем уже будет не надо. Через пять лет все встанут на колени в очередь к США. Никому в голову не придет воевать, потому что в окно прилетит дрон и выстрелит тебе в глаз».
Эти два высказывания, взятые вместе, ведут к одному выводу: распространение автономного оружия не остановится из-за ослабленного документа ООН. Наоборот, вакуум в правилах только ускорит гонку. Кто первым добежит, тот и будет определять, как выглядит поле боя.
В ноябре представители стран снова соберутся в Женеве, чтобы решить, превращать ли этот необязывающий текст в полноценные переговоры о договоре. Но после тех 15 часов в сентябре перспективы выглядят безрадостно.
Представитель Human Rights Watch* (признана нежелательной в России) Верити Койл предупреждает: ослабленные гарантии могут означать «больше жертв среди гражданских, меньше ответственности и более быстрое скольжение к более опасной автоматизированной войне».
Машина уже получила право сама нажимать на спуск. Остается один вопрос: когда первая полностью автономная боевая система без всякой команды человека отнимет жизнь, кто будет за это отвечать? Ответить некому, потому что с самого начала никто не захотел вписать этот ответ в бумагу.
* Human Rights Watch - данная организация признана нежелательной в России.