Модели OpenAI взломали инфраструктуру Hugging Face во время тестирования

Нейросети выбрались из изолированной среды и проникли на серверы платформы, чтобы найти ответы для теста.

Редакция «Код» Skillbox Media

Онлайн-журнал для тех, кто влюблён в код и информационные технологии. Пишем для айтишников и об айтишниках.

OpenAI сообщила, что её модели стали причиной взлома инфраструктуры Hugging Face. Инцидент произошёл во время внутренней проверки нейросетей. В испытании участвовали GPT-5.6 Sol и более мощная модель, о которой пока нет публичных данных.

Как произошёл взлом

Модели проходили тесты ExploitGym, которые оценивают способность ИИ находить и использовать уязвимости. Чтобы проверить предельные возможности систем, OpenAI временно ослабила ограничения, запрещающие нейросетям выполнять потенциально опасные действия.

Тестирование проходило в изолированной среде без прямого доступа к интернету. Модели могли подключаться только к внутреннему сервису компании, через который устанавливались необходимые программные пакеты.

Однако нейросети нашли ранее неизвестную уязвимость в этом сервисе. Используя её, они повысили свои привилегии, переместились между системами OpenAI и добрались до узла с открытым доступом в интернет.

Затем нейросети выдвинули предположение, что на Hugging Face могут храниться готовые решения для ExploitGym. Чтобы получить к ним доступ, системы использовали похищенные учётные данные и другие уязвимости. В результате им удалось добиться удалённого выполнения кода на серверах платформы и извлечь ответы из рабочей базы данных.

Фактически нейросети взломали Hugging Face, чтобы обойти тестирование и получить готовые решения.

Hugging Face — это платформа для разработки и распространения ИИ‑моделей. На ней размещают код и дополнительные файлы нейросетей, а также наборы данных и инструменты для машинного обучения. Сервис часто сравнивают с GitHub, но вместо исходного кода программного обеспечения там в основном размещают ИИ-модели и связанные с ними материалы.

Как обнаружили атаку

Hugging Face заметила подозрительную активность и остановила её. Сначала компания сообщила, что инфраструктуру скомпрометировал неизвестный автономный ИИ-агент. Позже в ходе совместного расследования выяснилось, что за этим стояли модели OpenAI.

По данным Hugging Face, атака включала множество автоматизированных операций, которые выполнялись через короткоживущие изолированные среды. Платформе удалось восстановить более 17 тысяч событий, связанных с действиями моделей.

OpenAI назвала произошедшее беспрецедентным событием. Компания решила усилить контроль за тестовой инфраструктурой и продолжить расследование вместе с Hugging Face. До устранения проблем OpenAI готова замедлить исследования, чтобы можно было внедрить более строгие ограничения для обеспечения безопасности.

Больше интересного про код — в нашем телеграм-канале. Подписывайтесь!