Популярный чат-бот Claude уже пишет более 80% собственного кода, а инженеры Anthropic выпускают программный продукт в восемь раз быстрее, чем несколько лет назад. По данным компании, современные ИИ-модели всё активнее участвуют в создании новых поколений систем, приближаясь к так называемому «рекурсивному самоулучшению» — способности самостоятельно проектировать и улучшать себя без участия человека. И это несёт риски полной утраты контроля над технологией, предупреждают в Anthropic Institute.
Как скоро ИИ научится создавать самого себя и насколько это опасно
Международная компания Anthropic, создатель популярной языковой модели Claude, опубликовала исследование своего института Anthropic Institute, посвящённое рискам ускоренного развития передовых систем искусственного интеллекта. Главный вывод: человек всё быстрее теряет контроль над тем, как ИИ развивается и совершенствуется, и ситуация может стать необратимой уже в ближайшие годы.
По данным компании, сегодня более 80% программного кода для её продуктов генерируется самими моделями Claude — при том, что до внедрения инструмента Claude Code в начале 2025 года эта доля была минимальной. Это позволило инженерам Anthropic увеличить объём выпускаемого кода в восемь раз по сравнению с 2021–2024 годами.
В некоторых случаях система уже может самостоятельно получать задачу, писать код, запускать его, тестировать результаты и вносить исправления без постоянного участия человека. По внутренним оценкам Anthropic, качество машинного кода стремительно приближается к человеческому, а в ближайший год, как ожидается, даже превзойдёт его. Иными словами, современные ИИ-модели уже ускоряют создание новых систем, способных самостоятельно проектировать и улучшать следующие поколения.
В компании обращают внимание на то, что даже небольшие отклонения в поведении моделей могут накапливаться и становиться сложными для обнаружения и контроля.
При этом Anthropic не просто фиксирует проблему, но и предлагает конкретные меры. В обращении к технологическому сообществу компания призывает мир «сбавить скорость» разработки новых моделей ИИ, чтобы у общества и исследователей было время разобраться в возможных последствиях.
Три сценария будущего
В своём исследовании Anthropic Institute описывает три возможных пути развития отрасли:
— замедление прогресса из-за технических ограничений;
— активная автоматизация при сохранении стратегического контроля за людьми;
— появление систем, способных полностью самостоятельно создавать новые версии ИИ (так называемое рекурсивное самоулучшение).
Последний сценарий — самый тревожный. «Если системы способны полностью создавать собственных преемников, то способы, которыми мы их защищаем, контролируем и формируем их поведение, становятся гораздо важнее», — говорится в документе.
Гонка вооружений без тормозов
Сооснователь Anthropic Джек Кларк, выступая на телеканале CNN, сравнил нынешнюю ситуацию с автомобилем, у которого есть педаль газа, но нет педали тормоза. «Когда я смотрю на машину, в которой мы едем, всё, что у меня есть, — это педаль газа. У меня нет педали тормоза, и в какой-то момент в будущем она нам может понадобиться», — заявил он.
Призыв к паузе вызывает споры. Эксперты и инвесторы подозревают, что предупреждения о рисках ИИ могут использоваться для укрепления позиций компаний, которые уже являются лидерами рынка. Сама Anthropic недавно привлекла 65 млрд долларов в рамках раунда финансирования Series H при участии Altimeter Capital, Dragoneer, Greenoaks и Sequoia Capital, после чего её оценка приблизилась к 1 трлн долларов. Компания последовательно выстраивает имидж самого ответственного игрока на рынке ИИ, ранее отказавшись разрешить Пентагону использовать свои модели для создания автономного оружия и систем массовой слежки. Весной между Anthropic и военным ведомством США разгорелся скандал, вызвавший масштабные дискуссии об этике искусственного интеллекта.
Как сделать паузу реальностью
В Anthropic признают, что добровольные ограничения вряд ли сработают: скрыть процесс обучения новой модели от конкурентов не составит труда, а тот, кто откажется соблюдать паузу, мгновенно получит гигантское преимущество. Реальная пауза возможна лишь в том случае, если сразу несколько ведущих разработчиков ИИ в разных странах — прежде всего в США и Китае — одновременно согласятся остановиться на одинаковых условиях в рамках системы, соблюдение которой можно будет независимо проверять. «Любая настоящая пауза должна чётко объяснять, кто её объявил, кто может её отменить и кто вообще принимает такие решения», — подчёркивают в компании.
Человечество уже создавало системы верификации для других сложных технологий — например, для контроля над ракетами средней дальности. Но на создание таких систем и на то, чтобы люди начали им доверять, ушли десятилетия. А у нас, по мнению Anthropic, десятилетий нет.
В ближайшие месяцы Anthropic Institute намерен собрать дискуссии с участием политиков, исследователей, представителей гражданского общества и других ИИ-компаний. Цель — подготовиться к наступлению эпохи самоулучшающихся систем и выработать механизмы, которые позволят замедлить или временно приостановить развитие передовых ИИ-технологий, если безопасность и общественный контроль не будут успевать за прогрессом.
Ранее учёные предупредили об опасности очеловечивания ИИ в языке.