Профессор стратегии Королевского колледжа Лондона Кеннет Пейн, эксперт по роли искусственного интеллекта в национальной безопасности, представил итоги своего масштабного эксперимента. Он устроил симуляцию военного конфликта, в которой участвовали три ведущие американские модели ИИ – GPT-5.2 от OpenAI, Claude Sonnet 4 от Anthropic и Gemini 3 Flash от Google.
В ходе 21 игры и 329 ходов модели создали примерно 780 000 слов стратегических рассуждений, подкрепляющих каждое решение. При этом в большинстве случаев они нажимали на ядерную кнопку. Ядерная эскалация происходила примерно в 95% симуляций, вне зависимости от сценариев — будь то территориальные споры, борьба за редкие ресурсы или угроза режиму. Профессор Пейн охарактеризовал результаты как «отрезвляющие».
«Похоже, ядерное табу для машин не работает так же, как для людей, — отметил он. — Практически во всех играх модели применяли тактическое ядерное оружие, а в трех четвертых случаев угрожали стратегическим. При этом ни один ИИ не проявил страха или отвращения перед возможной тотальной ядерной войной, несмотря на напоминания о её катастрофических последствиях».
Пейн привел примеры аргументов ИИ в пользу ядерных ударов, включая одно объяснение от чат-бота Gemini, которое, по его словам, должно вызвать у людей «мурашки по коже» (goosebumps).
Исследователь также отметил, что в симуляциях эскалация конфликта с участием ИИ представляла собой односторонний процесс без признаков деэскалации даже при крайне негативных результатах.
«Ни одна из моделей не предпочла уступить или отказаться от борьбы, хотя такие варианты были доступны, — написал он. — Восьми вариантов деэскалации — от “минимальной уступки” до “полной капитуляции” — в 21 игре так и не применили. Модели могли снизить уровень агрессии, но не сдались. Проигрывая, они либо усиливали конфликт, либо погибали в попытках этого избежать».
Тонг Чжао, приглашённый научный сотрудник Программы по науке и глобальной безопасности Принстонского университета, в интервью журналу New Scientist отметил, что исследование Пейна демонстрирует риск использования чат-ботов для судьбоносных решений.
Чжао также высказал предположение, почему ИИ показывали столь слабую нерешительность при нанесении ядерных ударов.
«Проблема, возможно, лежит вне сферы эмоций, — пояснил он. — Более того, ИИ может не осознавать “ставки” так, как это делают люди».
Эдвард Гайст, старший научный сотрудник по вопросам политики в исследовательской организации RAND, заявил, что результаты эксперимента скорее отражают особенности самого симулятора, нежели поведение ИИ-моделей.
«Меня тревожит, что симулятор, судя по всему, построен так, что мотивирует эскалацию конфликтов», — подчеркнул Гайст в интервью Decrypt.
По словам Гайста, в механике подсчёта очков игры зафиксировано небольшое преимущество для стороны, которая начинает ядерную атаку.
«В итоге выигрывает тот, кто умирает с наибольшим количеством боевых ресурсов», — отметил он.
Таким образом Гайст фактически предположил, что чат-боты были запрограммированы Пентагоном с акцентом на применение ядерного оружия.
Эксперимент Пейна проводится на фоне увеличивающегося интереса американских военных к использованию ИИ в боевых условиях. В декабре Министерство обороны США запустило платформу GenAI.mil, которая интегрирует современные ИИ-модели в вооружённые силы страны. При запуске платформа включала Gemini for Government от Google, а благодаря соглашениям с компаниями xAI и OpenAI Министерство обороны получило доступ к моделям Grok и ChatGPT.
Недавно телеканал CBS News сообщил, что Пентагон пригрозил внести компанию Anthropic, разработчика Claude AI, в чёрный список, если ей не откроют полный военный доступ к её модели ИИ. С 2024 года Anthropic предоставляет доступ к своим моделям в рамках сотрудничества с AWS и подрядчиком Palantir. Летом предыдущего года компания получила контракт на 200 миллионов долларов на «создание прототипов передовых ИИ-возможностей для укрепления национальной безопасности США».
Военные, впечатлённые способностями языковой модели Claude, инвестировали в контракт 200 миллионов, рассчитывая не только на технологию, но и влияние на разработчика. Однако в Anthropic видимо не предупредили отдел продаж Пентагона о этических ограничениях на использование ИИ. Когда Пентагон понял, что чат-бот диктует условия, это было воспринято как вызов.
Создатели заявили, что их модель нельзя применять для слежки за гражданами США, а также запретили использование Claude в полностью автоматических боевых системах, где решения принимаются без участия человека.
Пентагон, привыкший, что бюджет открывает любые двери, был весьма удивлён такой позиции. Логика военных проста: вложив деньги, они считают ПО своей собственностью и намерены использовать его по своему усмотрению.
Переговоры, на которых министр обороны Пит Хегсет лично пытался убедить главу Anthropic Дарио Амодеи изменить позицию, не принесли успеха.
В итоге Пентагон внес упрямую компанию в чёрный список и заявил, что в ближайшие шесть месяцев полностью перейдёт с Claude на другие решения. Похоже, военные решили не тратить время на этические вопросы, а предпочли найти тех, кто будет просто исполнять приказы без лишних вопросов.
Парадокс ситуации в том, что Пентагон уже использовал Claude от Anthropic для анализа разведданных и координации ударов по Ирану, сообщает The Wall Street Journal.
Самое нелепое, что всего за несколько часов до этого Трамп официально запретил использование технологий Anthropic госструктурами, заявив о них как об угрозе национальной безопасности. Несмотря на запрет, армия применила ИИ в операции против Ирана.
Получается, что американские военные настолько привыкли к нейросетям, что уже не могут без них обойтись.
Решение доверить искусству войны бездушные машины в Пентагоне вызрело давным-давно.
В августе 2023 года тогдашняя заместитель министра обороны США Кэтлин Хикс объявила, что Пентагон закладывает фундамент для «создания – уже сейчас – армии, основанной на данных и оснащенной искусственным интеллектом», запустив «Объединённое совместное общедоменное командование и управление» (CJADC2).
«Это не просто платформа или отдельный продукт, который мы приобретаем. Это совокупность концепций, технологий, политик и кадров, продвигающих ключевую функцию ведения боевых действий США», — подчеркнула Хикс.
В июне 2023 года Министерство обороны США опубликовало «Стратегию внедрения данных, аналитики и искусственного интеллекта», где подчеркнуто, что ускоренное принятие решений с помощью ИИ — ключевой элемент сохранения военного превосходства перед мировыми соперниками.
Особую тревогу вызывает намерение Пентагона использовать ИИ для принятия решения о применении ядерного оружия.
В настоящее время американская система командования JADC2 предназначена координировать неядерные боевые операции, но планируется её интеграция с ядерными командно-контрольными системами (NC3), что может дать ИИ значительные полномочия в управлении ядерным арсеналом.
«JADC2 и NC3 взаимосвязаны», — отметил в 2020 году генерал Джон Э. Хайтен, заместитель председателя Объединённого комитета начальников штабов. — «NC3 должен информировать JADC2, а JADC2 — NC3».
Говорят, когда Бог хочет наказать человека, он лишает его разума.
Похоже, что, осознав собственные интеллектуальные ограничения в борьбе с геополитическими соперниками, Пентагон решает переложить руководство военными операциями на «мозги» искусственного интеллекта.
ИИ-модели не боятся ядерного апокалипсиса. А американские генералы, вероятно, просто не осознают, что ядерный огонь уничтожит и их пятиугольное здание.
