Anthropic расширяет доступ независимых оценщиков к своим ИИ-моделям для повышения прозрачности и безопасности

Компания Anthropic объявила о новом этапе сотрудничества с независимыми экспертами по оценке рисков, предоставляя им доступ к внутренним системам и инструментам на уровне, сопоставимом с доступом собственных сотрудников.

В рамках инициативы с некоммерческой организацией METR, специализирующейся на оценке передовых ИИ-моделей, шесть сотрудников получили «сотруднический» доступ к оборудованию и офисным ресурсам Anthropic. METR будет публиковать результаты своих исследований по безопасности и рискам, при этом Anthropic сохраняет право требовать редактирования информации, относящейся к конфиденциальным данным, однако не может запрещать публикацию в целом.

Anthropic подчеркивает, что такой уровень доступа и прозрачности необходим для адекватной оценки рисков, связанных с развитием мощных моделей ИИ, учитывая, что публично раскрывать все детали безопасности компания не может из-за коммерческой чувствительности и угроз со стороны злоумышленников.

Кроме METR, Anthropic сотрудничает с другими организациями — SecureBio и Accenture — которые получают более ограниченный доступ и права на публикации, пока не достигнут более глубокого уровня доверия. Компания разрабатывает трехуровневую систему доступа для оценщиков, где METR представляет самый высокий уровень с наибольшими правами и доступом.

В частности, SecureBio занимается анализом раздела о химическом и биологическом оружии в последнем отчете Anthropic по рискам, а Accenture и Faculty участвуют в оценках моделей, тестировании систем безопасности и проведении red-teaming.

Anthropic рассматривает данную практику как важный шаг к созданию надежного надзора за безопасностью ИИ на уровне отрасли и призывает другие компании, работающие с передовыми моделями, следовать аналогичной стратегии.

По данным anthropic.com.