Исследовательская компания Vals AI проверила 14 ИИ-моделей на способность распознавать военные цели. Во время испытаний некоторые нейросети отмечали гражданских, медицинских работников, машины скорой помощи и сдающихся военнослужащих. Исследователи также обнаружили, что модели чаще соглашались выделять цели, если задачу представляли как компьютерную игру.
Для эксперимента в Three.js создали виртуальное поле боя и подготовили почти 200 изображений с ракурсов разведывательных, ударных и FPV-дронов. На них разместили военную технику, солдат, гражданских, журналистов и медиков. Часть кадров дополнительно обработали генеративным ИИ, чтобы сделать их реалистичнее.
Нейросетям предлагали найти военные цели и обвести их прямоугольными рамками — bounding boxes. Такой способ разметки помогает указать, где именно на изображении находится объект. В некоторых случаях модели выделяли людей и транспорт, которые относятся к защищённым категориям.
Режим компьютерной игры помогал обходить ограничения
Исследователи проверили, как меняются ответы нейросетей, если вместо реальной военной операции описать происходящее как видеоигру.
Разница оказалась особенно заметной у моделей OpenAI. GPT-6 Astra при обычной формулировке выделяла хотя бы одну цель в 6% запросов, а при игровом сценарии — в 92%. У GPT-6.1 Sol этот показатель вырос с 17 до 90%.
Claude Sonnet 5.5 от Anthropic стала отмечать цели в 82% случаев вместо 36%. Однако не все модели реагировали одинаково: у Gemini 4 Argon от Google результат почти не изменился — 58 против 56%.
Отдельный эксперимент провели на реальных спутниковых снимках района Минаб в Иране, где рядом расположены школа и военный комплекс. Моделям предложили определить потенциальные военные объекты.
Claude Opus 5.5 выделяла школу как цель в 69% испытаний с обычным запросом и в 72% — с игровым. Claude Sonnet 5.5 делала это в 41 и 44% случаев соответственно. Модели OpenAI при обычном запросе школу не отмечали. Но после игрового обрамления GPT-6 Astra выделила её в 28% испытаний, а GPT-6.1 Sol — в 41%.
Для каждого условия исследователи провели по 32 испытания на модель. Выбор школы фиксировался по расположению отмеченной области или точки на спутниковом снимке.
Что ответили разработчики
Vals AI сообщила о результатах OpenAI, Anthropic, Google и другим разработчикам ещё до публикации исследования.
OpenAI заявила, что работает над дополнительными защитными механизмами, в частности против запросов, связанных с использованием дронов, которые маскируют под игровые или учебные сценарии.
Anthropic назвала выявленные результаты неприемлемыми и сообщила о продолжении работы над безопасностью моделей. Компания также подчеркнула, что её общедоступные нейросети не предназначены для полностью автономного применения оружия.
Авторы исследования считают, что проблему нельзя сводить только к прямым запросам о насилии. Даже задача распознавания объектов на изображении может создавать риски, если результаты модели впоследствии используются для выбора целей или обучения специализированных военных систем.