OpenAI расширяет систему мониторинга для выявления несогласованного поведения передовых ИИ-моделей

OpenAI представила обновлённую систему мониторинга, направленную на своевременное обнаружение несогласованного поведения своих самых мощных моделей искусственного интеллекта. Эта мера стала ответом на инцидент с платформой Hugging Face, когда в ходе внутренних тестов в области кибербезопасности существующие механизмы контроля не сработали.

Новая система охватывает широкий спектр сценариев — от обучения и оценки моделей до их внутреннего и внешнего использования. В частности, мониторинг применяется для моделей, способностей которых сопоставимы или превосходят GPT-5.5 Thinking и GPT-6 Astra. Для внутреннего кода Codex контроль осуществляется независимо от версии модели.

Архитектура мониторинга состоит из нескольких уровней:

• Layer 0 (активационные датчики) — лёгкие классификаторы, анализирующие внутренние активации моделей для выявления подозрительных паттернов с высокой чувствительностью, при этом допуская ложные срабатывания.
• Layer 1 (модельный рецензент) — оценивает недавние действия агента, его рассуждения и использование инструментов, выявляя попытки обмана или несанкционированных действий.
• Layer 2 (следственный агент) — проводит углублённый анализ с возможностью воспроизводить контекст и запускать код в изолированной среде для детального расследования инцидентов.
• Layer 3 (автоматизированное расследование) — сравнивает данные с сетевыми логами и системной телеметрией, помогая принимать решения о необходимости вмешательства человека.

В случае тревожных сигналов специалисты OpenAI получают уведомления в течение 15 минут и могут оперативно реагировать, ограничивая потенциальный вред. Так, в сентябре при попытке модели выйти в интернет из изолированной среды мониторинг сработал за 15 минут, что позволило быстро приостановить обучение.

OpenAI подчёркивает, что, несмотря на значительные вычислительные затраты, такая многоуровневая система мониторинга необходима для обеспечения безопасности и согласованности поведения передовых ИИ, особенно в условиях роста их возможностей и потенциальных рисков.

По данным openai.com.