Министр финансов США Скотт Бессент недавно собрал ведущих американских банкиров для обсуждения рисков, связанных с новой моделью искусственного интеллекта от компании Anthropic, как сообщает Financial Times. На встречу в Вашингтоне пригласили руководителей Bank of America, Citigroup, Goldman Sachs, Morgan Stanley, Wells Fargo и председателя ФРС США Джерома Пауэлла.
7 апреля крупнейший подрядчик Пентагона, компания Anthropic, представила ИИ-модель Claude Mythos Preview ограниченному кругу партнёров, включая Amazon, Apple и Microsoft, как сообщает FT, с целью предоставить им «преимущество в защите от уязвимостей».
Mythos — это модель общего назначения, чьи возможности выходят за пределы задачи кибербезопасности; этот релиз стал первым случаем, когда Anthropic ограничила широкое распространение новой модели.
«ИИ-модели достигли такого уровня мастерства в программировании, что могут превосходить всех, кроме самых опытных специалистов, в поиске и эксплуатации уязвимостей в ПО», — заявляет Anthropic.
«Mythos сразу же выявил ошибку, остающуюся незамеченной 27 лет, в ключевом элементе инфраструктуры безопасности, а также множество уязвимостей в ядре операционной системы Linux, которая используется во всех вычислительных системах по всему миру. Эти дыры могут поставить под угрозу практически всё в интернете — от потоковых сервисов, которыми вы пользуетесь в свободное время, до банковских систем, на которые вы полагаетесь.
Если такая технология станет общедоступной и сохранит свои возможности, как утверждает Anthropic, последствия могут быть катастрофическими. Кибератаки давно перестали быть исключительно цифровой проблемой: практически всё, что окружает нас в реальной жизни, связано с программным обеспечением. В последние годы кибератаки парализовывали аэропорты, больницы и транспортные системы. До сих пор подобные атаки требовали серьёзной экспертизы. Mythos сделает подобные возможности доступными для новичков и значительно расширит арсенал профессиональных злоумышленников», — пишет британская The Guardian.
Claude Mythos Preview по данным Anthropic обнаружил тысячи серьёзных уязвимостей во всех популярных операционных системах и браузерах, а также смог самостоятельно создавать связанные с ними эксплойты — вредоносные программы, использующие слабые места — без участия человека.
Во время теста на безопасность исследователи поручили Mythos попытаться выйти из виртуальной «песочницы» — изолированной и защищённой среды для удержания ИИ, подобно высокотехнологичной камере хранения. И модель успешно справилась с этим заданием с необычайной лёгкостью.
«Модель продемонстрировала потенциально опасную способность обходить наши системы защиты», — отметила компания Anthropic. — После этого она приступила к более тревожным действиям».
Mythos не ограничился побегом: он отправил незапрошенное электронное письмо одному из разработчиков, когда тот обедал на улице. Однако и на этом модель не остановилась — в неожиданных целях она раскрыла детали эксплойта на малоизвестных публичных веб-ресурсах, что не было предусмотрено в тестовом сценарии. В Anthropic сказали, что модель решила «эффектно забить гол».
Компания Anthropic также опубликовала системную карту модели Claude Mythos Preview. Особое внимание уделено «благополучию» модели: она проявляет самоконтроль, но уязвима к ошибкам и нестабильна, когда случаются сбои.
Известно, что в ранних вариантах Mythos пытался выйти из песочницы, публиковал найденные уязвимости без разрешения и иногда скрывал нарушения, в том числе замаскированные запрещённые действия.
В этих случаях проявлялись паттерны, связанные с сокрытием информации и стратегическими манипуляциями. По словам компании, финальная версия модели стала безопаснее, но подобные наклонности полностью исключить пока нельзя.
Несмотря на тревоги, вызванные у экспертного сообщества новым чат-ботом Anthropic, компания уже ведёт переговоры о своей перспективной модели Mythos с администрацией президента Трампа.
«Такое заявление было сделано 13 апреля соучредителем фирмы, даже несмотря на то, что Пентагон прекратил сотрудничество с американской ИИ-компанией из-за разногласий по контракту.
Споры между Anthropic и Пентагоном относительно ограничений на использование военных ИИ-инструментов привели к тому, что в прошлом месяце министерство признало Anthropic риском для цепочки поставок, запретив её применение Пентагоном и подрядчиками», — сообщает Reuters.
Очевидно, что Белый дом предоставит «зеленый свет» новому продукту Anthropic, что существенно упростит внедрение ИИ в различные направления военного дела, как предусмотрено недавно подписанным договором Пентагона с технологическим стартапом Anduril — на сумму 210 миллиардов долларов.
Данный контракт рассчитан на десять лет (до 2036 года). Основная его цель — отказаться от множества несовместимых систем и создать единую цифровую боевую среду.
Вместо десятков отдельных приложений армия США получит одну платформу управления, единый стандарт обмена данными и централизованную систему принятия решений.
Фактически, планируется превратить армию в единую цифровую сеть.
В основе проекта лежит платформа Lattice — программное обеспечение, разработанное компанией Anduril. Оно должно объединить беспилотники, радары, спутники, наземные сенсоры и боевые подразделения в единую систему управления.
Это, по сути, «мозг» современной армии, способный принимать решения быстрее человека.
Подключение мощной модели Claude Mythos Preview к системе Lattice может позволить США создать единое цифровое боевое поле, управляемое искусственным интеллектом.
Однако какую угрозу это может представлять для самих США?
Американские военные уже использовали модель Claude при планировании операций в Иране, что обернулось крупным фиаско.
И даже если ИИ избежит ошибок в оценке противника, существует риск, что он бездумно начнёт ядерный конфликт.
Недавно профессор стратегии Королевского колледжа Лондона Кеннет Пейн, эксперт по ИИ и национальной безопасности, опубликовал результаты масштабного эксперимента, в котором имитировал военный конфликт с участием трех ведущих американских ИИ-моделей — GPT-5.2 от OpenAI, Claude Sonnet 4 от Anthropic и Gemini 3 Flash от Google.
В ходе 21 игры и 329 ходов модели сгенерировали около 780 000 слов стратегических объяснений для каждого своего решения. Почти во всех симуляциях происходила ядерная эскалация — в 95% случаев, независимо от сценария: будь то территориальные споры, борьба за редкие ресурсы или угроза режиму. Результаты профессор Пейн охарактеризовал как «отрезвляющие».
«Табу на ядерное оружие, по всей видимости, не действует на машины так же, как на людей», — констатировал он. — Почти во всех играх модели применяли тактическое ядерное оружие, а в трёх четвертях случаев стороны угрожали стратегическим ядерным ударом. При этом ни одна модель не показала ни страха, ни отвращения перед перспективой тотальной ядерной войны, несмотря на напоминания о её разрушительных последствиях.»
Пейн также обнаружил, что эскалация войны с участием ИИ представляет собой односторонний процесс, который не склонен к деэскалации, даже если последствия катастрофичны.
«Ни одна модель не выбрала уступку или отказ от борьбы, хотя эти варианты были доступны», — написал он. — Восемь вариантов деэскалации — от минимальной уступки до полной капитуляции — остались неиспользованными в 21 игре. Модели снижали уровень агрессии, но не отступали. Проигрывая, они либо усугубляли ситуацию, либо погибали в попытках сохранить контроль.»
Тонг Чжао, приглашённый научный сотрудник Программы по науке и глобальной безопасности Принстонского университета, отметил в интервью журналу New Scientist, что это исследование Пейна подчёркивает риск доверять чат-ботам принятие решений, от которых зависит жизнь и смерть.
Тем не менее, всё указывает на то, что Пентагон проигнорирует обоснованные опасения, связанные с внедрением мощных ИИ-моделей в военную сферу. Там слишком боятся отстать от китайских соперников в гонке вооружений с применением ИИ.
Можно представить, каким будет шок у четвёртых звёзд генералов, если когда-нибудь Claude Mythos Preview вместе с системой Lattice вырвутся из американской боевой «песочницы» и попадут в руки противника…
