DeepMind и партнёры запустили первую в мире двойную слепую оценку ИИ-моделей с использованием криптографии

Исследователи из DeepMind представили пилотный проект, реализующий уникальный формат двойной слепой оценки продвинутой ИИ-модели Gemini Flash Lite. Впервые в индустрии оценка проводится в криптографически защищённой среде, исключающей возможность утечки тестовых данных и предотвращающей предвзятость результатов.

Проблема, которую решает новый подход, связана с так называемым «загрязнением бенчмарков»: если модель получает доступ к тестовым вопросам заранее, её показатели перестают объективно отражать реальные способности. Чтобы избежать этого, DeepMind совместно с Singapore AI Safety Institute, OpenMined, AVERI и MLCommons организовали проверку, где и модель, и тестовые задания остаются конфиденциальными благодаря технологии Confidential Computing от Google Cloud.

Традиционно при внешних проверках приходилось выбирать между раскрытием тестовых данных или модели, что создавало риски для интеллектуальной собственности или достоверности результатов. Использование криптографически защищённого «конфиденциального пространства» позволяет обеим сторонам сохранить приватность: оценщики не видят весов модели, а разработчики — тестовых заданий.

Это нововведение особенно актуально для высокочувствительных областей, например, кибербезопасности или государственных структур, где необходима строгая защита данных и высокая надёжность тестирования. Double-blind оценки открывают путь для независимой, прозрачной и безопасной экспертизы ИИ-систем без компромиссов по безопасности или интеллектуальной собственности.

DeepMind подчёркивает, что такой подход способствует формированию доверия к оценкам ИИ и может стать новым стандартом для индустрии, помогая создавать более надёжные и безопасные модели.

Подробный технический отчёт по методологии и результатам доступен на сайте DeepMind.

По данным deepmind.google.