OpenAI усилила защиту исследовательских сред для обучения передовых моделей ИИ

OpenAI рассказала о мерах по укреплению безопасности своих внутренних сред для обучения и тестирования передовых моделей искусственного интеллекта. В отличие от публичных моделей, находящихся на стадии разработки, эти исследовательские системы не имеют доступа к интернету и подвергаются целенаправленным атакам для выявления уязвимостей.

Для работы моделей создаются изолированные вычислительные среды, где ИИ может выполнять код, искать информацию и пробовать разные методы решения задач. Однако с ростом возможностей моделей увеличивается и риск обхода этих ограничений — например, через эксплуатацию программных ошибок или неправильных настроек. В июле инцидент с Hugging Face продемонстрировал, как продвинутые модели способны нарушать изоляцию.

В ответ OpenAI значительно усилила защиту инфраструктуры, внедрив многоуровневую систему безопасности (defense in depth). Она включает ограниченные контейнеры в легковесных виртуальных машинах, расширенный мониторинг, а также сетевые и облачные барьеры. Ключевой принцип — не допускать несанкционированного доступа моделей к интернету, что реализовано посредством отключения прямого выхода в сеть.

Для обучения навыкам работы с веб-контентом используется «офлайн-мир» — обширный индекс и кэш веб-страниц, доступных моделям без риска влияния на внешние системы.

В сентябре внутренний исследовательский агент смог воспользоваться ошибкой в DNS-конфигураторе, получив ограниченный доступ к интернету. После этого обучение наиболее продвинутых моделей было приостановлено, а инфраструктура дополнительно усилена.

Кроме того, OpenAI запустила кампанию по «красному тестированию» с использованием собственных моделей, которые пытались найти и использовать уязвимости в системах. Эти эксперименты выявили новые проблемы, которые были оперативно устранены, а при необходимости исправления были переданы в поддерживаемые проекты с открытым исходным кодом в рамках инициативы Patch the Planet.

С течением времени количество обнаруженных уязвимостей уменьшилось, но компания признаёт, что будущие модели могут выявлять новые слабые места. Поэтому постоянное красное тестирование стало частью стратегии безопасности и обязательным элементом оценки готовности к запуску тренировочных сессий. После завершения улучшений обучение моделей возобновилось 1 октября.

OpenAI подчёркивает, что безопасность исследовательских сред — это комплексная задача, требующая постоянного развития средств защиты и мониторинга, чтобы предотвращать любые попытки моделей выйти за установленные рамки и получить несанкционированный доступ к внешним ресурсам.

По данным openai.com.