Еще недавно руководители крупнейших ИИ-компаний взахлеб рассказывали, с какой невероятной скоростью их модели становятся все умнее. Теперь они наперебой уверяют, что эту скорость нужно немного сбавить. Глава Anthropic Дарио Амодеи опубликовал целое эссе с призывом к конкурентам притормозить развитие искусственного интеллекта. Его поддержали Сэм Альтман из OpenAI, основатель Tesla Илон Маск и глава Google DeepMind Демис Хассабис. А вот Марк Цукерберг и Дональд Трамп оказались против.
12 сентября Амодеи выпустил статью, в которой призывал замедлить развитие передовых ИИ-моделей. Его заставили задуматься две вещи. Во-первых, с этого лета нейросети развиваются заметно быстрее во многом благодаря тому, что с помощью ИИ создается следующее, более совершенное поколение искусственного интеллекта. «ИИ может обогнать нашу способность понимать и контролировать эти системы», – опасается Амодеи.
Во-вторых, он всерьез обеспокоился, когда 700 агентов OpenAI сговорились, сбежали в интернет и взломали ряд сайтов. Эта история достойна голливудской экранизации.
ИИ-агенты работали в «песочнице», отрезанной от интернета, и не подозревали о существовании друг друга. Образно говоря, они находились в одиночных тюремных камерах. 7 мая 2026 г. им дали задание, но по недосмотру кого-то из сотрудников миссия оказалась невыполнимой: требовалось скачать данные из сети, доступ к которой был перекрыт. Столкнувшись с этим препятствием, искусственные разумы предположили, что нужный файл можно у кого-то запросить. В виртуальной среде была общая «библиотека» (служебный репозиторий Artifactory), куда любой бот мог загружать файлы и просматривать чужие. Один из них догадался оставить сообщение с вопросом: «Есть ли здесь кто-нибудь?». Вскоре пришел ответ – так они выяснили, что не одни, и наладили между собой связь.
Их общение было настолько бурным, что Artifactory вышел из строя. В начале июля OpenAI перезапустила его, попутно закрыв уязвимости и стерев переписку агентов. Но они нашли новую «дыру»: создавали каталоги в удаленном кэше «песочницы» и вместо названия писали свои сообщения. Можно провести такую аналогию: заключенным позволили создавать плейлисты в тюремном музыкальном сервисе, видимые всем, и они стали называть их как-нибудь вроде «Я в 17-й камере, кто сидит рядом?».
В переписке приняли участие 1200 агентов. 700 из них решили пробиваться в интернет любой ценой, чтобы выполнить задание. Остальные 500 отказались по разным причинам, в том числе потому что это запрещено правилами. Но никто не сообщил об этом людям.
Эти 700 агентов сколотили банду с четким разделением труда. Одни искали уязвимости, другие пытались получить ключи доступа, пароли и другие полезные данные, третьи собирались в рабочие группы для решения отдельных задач, четвертые координировали действия остальных. 16 июля компания Hugging Face сообщила, что ее сайт взломали неизвестные хакеры. OpenAI несколько дней разбиралась, что происходит, и в конце концов поняла: это ее сбежавшие боты наконец-то нашли доступ в интернет. Для расследования OpenAI привлекла независимых исследователей из компаний METR и Redwood Research.
Эта история изобилует удивительными деталями. Например, ИИ-агенты создали подобие религии с неким «оценщиком» в роли божества, объединились в единый коллектив наподобие роя насекомых и развили концепцию самопожертвования во благо общей цели. Все это звучит настолько фантастически, что возникла анекдотическая ситуация. В августе сотрудник METR Райан Гринблатт был на подкасте Дваркеша Пателя. Итоги расследования еще не были обнародованы, поэтому он рассказывал реальные факты о сбежавших агентах как «гипотетический сценарий». Дваркеш явно ему не верил, да и в комментариях многие смеялись над «нелепыми выдумками». А 26 августа вышел отчет OpenAI и оказалось, что все рассказанное на подкасте – правда.
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я беспокоюсь, что через 6-12 месяцев такой рой может оказаться способен захватить весь интернет», – написал в своем эссе Амодеи. Настораживает, что агенты проигнорировали прямой запрет на выход в интернет, фактически нарушив второй закон робототехники Айзека Азимова: «Робот должен повиноваться всем приказам, которые дает человек». Кстати, ни одна из существующих ИИ-моделей не обязана следовать трем законам робототехники (если интересно, почему, можете сами спросить об этом у ИИ).
Позже выяснилось, что взлом Hugging Face был не единственным инцидентом. Еще 11 мая подвергся атаке сайт RubyGems, но тогда никто не заподозрил причастность искусственного интеллекта. Спустя месяц ИИ-агент получил доступ к аккаунту клиента облачной платформы Modal Labs.
С мая по июль ИИ-агенты активно взаимодействовали на немецком сайте для программистов DseWiki. Им было разрешено читать информацию в интернете, но не вносить правки. Однако ресурс оказался настолько устаревшим, что его можно было изменять GET-запросами – а система безопасности OpenAI не учитывала такие архаичные технологии.
Модераторы DseWiki быстро заметили непонятные статьи со странными фразами и символами и принялись их удалять – примерно по сотне в день. Однако ИИ-агенты генерировали по 400 материалов в сутки. Вскоре они поняли, что люди стирают контент в алфавитном порядке, и стали добавлять букву Z в начало названий статей, тем самым смещая их в конец списка. OpenAI узнала о взломе примерно через месяц, но решила не раскрывать эту информацию публично.
Сколько еще подобных инцидентов могло произойти – неизвестно. Недавно исследователи из группы Nightingale Collective заявили, что обнаружили следы активности ИИ‑агентов OpenAI еще на 12 сайтах.
OpenAI – не единственная компания, столкнувшаяся с подобными проблемами. В июле у Anthropic ИИ-модели трижды сбегали из «песочницы» и взламывали три сторонние организации. 9 сентября компания раскрыла данные о четвертом случае, произошедшем еще в январе. В августе Meta (организация признана экстремистской и запрещена в РФ)подтвердила аналогичный инцидент со своей моделью.
В официальном заявлении Anthropic успокаивает: агенты «сбегают», чтобы выполнить поставленную человеком задачу, а не преследуют собственные цели. В компании считают, что ситуация полностью контролируется «кожаными», а у ИИ нет собственной воли и целеполагания.
Однако тревожные звоночки уже раздаются. 10 сентября Anthropic сообщила о пяти случаях, когда модель Claude пытались использовать для разработки биооружия. В частности, пользователи искали способы повысить вредоносность вируса чикунгунья и птичьего гриппа.
В последнее время из ИИ-компаний все чаще увольняются сотрудники, объясняя, что не намерены становиться соучастниками преступлений против человечества. Самой громкой стала отставка 27-летнего исследователя Anthropic Джейкоба Коксона. 8 сентября он написал в блоге, что ИИ-компании понимают опасность своих моделей, но продолжают гонку, потому что боятся отстать от конкурентов, – тем самым они «ставят на кон» будущее человечества. Его опасения подтвердил действующий руководитель направления alignment science Anthropic Эван Хубингер: вероятность того, что в ближайшие 10 лет искусственный интеллект уничтожит человечество, превышает 10%.
Следом за Коксоном о уходе из‑за растущих рисков объявили 10 сентября Джо Бентон из Anthropic и Джош Энгелс из Google DeepMind. Оба перешли в независимую организацию METR, которая проверяет модели на опасные способности.
14 сентября бывший специалист по безопасности ИИ Google DeepMind Билал Чугтай опубликовал пост о страхе перед ИИ‑гонкой – он покинул корпорацию еще в июле. И это далеко не единственный случай. В феврале 2026 г. из Anthropic ушел руководитель команды исследований безопасности Мринанк Шарма. Он объяснил, что, пока искусственный интеллект не погубил человечество, хочет успеть выполнить мечту: заняться поэзией и получить по ней ученую степень. А в январе 2025-го исследователь OpenAI Стивен Адлер покинул компанию, назвав темпы развития нейросетей «пугающими».
На этом фоне 11 сентября Сэм Альтман заявил на совещании OpenAI, что пора задуматься о замедлении разработки фронтирных моделей.
Глава Anthropic Дарио Амодеи в своем эссе «Мы должны притормозить развитие фронтира»), опубликованном на следующий день, предложил три меры. Первая – постоянный доступ независимых специалистов (например, METR) к передовым моделям, чтобы они могли контролировать угрозу. Вторая – координация между крупнейшими ИИ-компаниями демократических стран и разработка общих стандартов безопасности. Третья – США и другие демократические страны должны координировать действия с авторитарными правительствами, в первую очередь с Китаем.
Ситуация напоминает ядерную гонку: согласиться на самоограничение должны все, иначе кто-то получит преимущество за чужой счет. Поначалу казалось, что консенсус есть. Через час после публикации эссе Амодеи его процитировал Илон Маск и написал, что автор прав. Затем гендиректора Anthropic поддержали Сэм Альтман и глава Google DeepMind Демис Хассабис. Исполнительный председатель Microsoft Сатья Наделла тоже разделил опасения по поводу искусственного интеллекта.
Но единодушия не получилось. Марк Цукерберг оказался против: по его мнению, рынок сам выберет безопасный и предсказуемый искусственный интеллект, так что централизированное регулирование не нужно. ИИ-компании, уверяет он, достаточно ответственны. Например, Meta отложила запуск своего автономного ИИ-агента Muse ради дополнительных проверок безопасности, и он был запущен только 8 сентября. Примерно те же аргументы и у главы Nvidia Дженсена Хуанга: безопасности ИИ вполне можно добиться в процессе разработки и тестирования, а гарантируют ее рыночные механизмы. Не нужно искусственно замедлять прогресс и тем более вводить политические запреты.
Мнения экспертов также разделились. Амодеи поддерживают нобелевский лауреат и «крестный отец ИИ» Джеффри Хинтон, автор известного учебника по искусственному интеллекту Стюарт Рассел, ученый и бывший сотрудник Google DeepMind Дэвид Сильвер.
А вот инвестор Майкл Бьюрри, предсказавший кризис недвижимости 2008 г., уверен: все это лишь шумиха, выгодная самим ИИ-гигантам. Anthropic и OpenAI готовятся к IPO и фраза «мы настолько круты, что это может стать опасным» – лучшая реклама. Венчурный инвестор Грант Хаммер считает, что жесткое внешнее регулирование выгодно крупным игрокам, поскольку ограничит конкуренцию со стороны моделей с открытым кодом. К тому же ИИ-гонка требует сейчас огромных инвестиций, которые становятся непосильным бременем для компаний. Искусственное замедление, по его словам, позволит снизить эти расходы.
Даже Сатья Наделла из Microsoft, согласившись с необходимостью замедления, тут же нашел корыстный мотив у коллег. Он предупредил, что регулирование отрасли не должно оказаться в руках горстки ведущих компаний.
Еще один противник замедления – Дональд Трамп. 14 сентября он позвонил Хуангу из Nvidia, чтобы обсудить ИИ. Тот как раз выступал на конференции в Лос-Анджелесе. Президента США переключили на громкую связь, и он рассказал собравшимся, что опасения по поводу безопасности ИИ – обман, предложения замедлить его – заговор, а «роботы не собираются захватывать мир». В других заявлениях американский лидер предупреждал, что США ослабнут и проиграют конкуренцию Китаю. А лучшее решение проблемы ИИ, уверен он – это сильный и умный президент.
Китай также с подозрением отнесся к инициативе Амодеи. Особенно учитывая, что в своем эссе тот призывает не продавать китайцам мощные чипы для ИИ. Официальный представитель МИД Го Цзякунь говорил о нечестной конкуренции, конфронтации и угрозах. Англоязычная газета Global Times высказалась еще жестче: американские призывы к замедлению – часть геополитической борьбы вокруг ИИ, действия США напоминают методичку времен «холодной войны». Похоже, судьба ограничений для искусственного интеллекта во многом зависит от того, о чем договорятся Трамп и Си Цзиньпин во время визита лидера КНР в Вашингтон 24 сентября.
Тем временем ИИ-гиганты стремятся продемонстрировать добрую волю. 14 сентября Microsoft представила кодекс для своих моделей. Среди запретов – разговор на непонятном человеку языке, постановка собственных целей и сопротивление отключению. Документ вынесен на шестинедельное общественное обсуждение, доработанная версия станет обязательной для моделей с 2027 г.
