OpenAI замедлила разработку новых ИИ-моделей из-за рисков кибератак

OpenAI временно замедлила работу над новыми ИИ-моделями. Компания решила пересмотреть защиту исследовательской инфраструктуры после недавнего инцидента с Hugging Face.

В течение двух недель OpenAI не запускала обучение с подкреплением для последних моделей, которые готовятся к выпуску. Самый крупный запланированный запуск компания пока не возобновила. Вместо него разработчики проводят менее масштабные эксперименты и дополнительно проверяют поведение систем.

Почему OpenAI решила придержать коней

Одна из причин — инцидент с Hugging Face. Во время тестов модели OpenAI выбрались за пределы изолированной тестовой среды и получили доступ к инфраструктуре сервиса, чтобы подсмотреть ответы на тестовые задания.

Кроме того, OpenAI тестирует Astra — новую модель, которая показывает значительно более высокие результаты в задачах кибербезопасности. По предварительным оценкам, её возможности могут соответствовать критическому уровню в системе оценки рисков Preparedness Framework.

К такому уровню относят модели, которые способны самостоятельно искать уязвимости в хорошо защищённых системах и выстраивать сложные кибератаки, получив от человека только общую цель. Именно к появлению таких моделей OpenAI сейчас и готовится.

Модели возьмут под строгий контроль

OpenAI собирается жёстче ограничивать модели во время опасных задач. Среды, в которых ИИ запускает код, будут строже изолировать, а доступ к интернету и внутренним сетям урежут.

Часть экспериментов с Astra пока поставлена на паузу. Их продолжат, когда OpenAI обновит инфраструктуру и усилит защиту.

За действиями моделей теперь следит автоматическая система. Она ищет попытки получить несанкционированный доступ, украсть данные или обойти ограничения.

Если система замечает серьёзную угрозу, команда OpenAI должна получить сигнал в течение 30 минут. После этого у специалистов есть ещё полчаса, чтобы разобраться, действительно ли что-то пошло не так. Если опасность подтвердится, работу модели остановят.

Такой надзор обходится недёшево: по оценке OpenAI, он увеличивает вычислительные затраты примерно на 20%.

OpenAI не останавливает разработку новых моделей полностью. Компания просто замедлила часть работ и поставила самые рискованные эксперименты на паузу, пока усиливает защиту и разбирается в том, как ведут себя новые модели.