Anthropic более чем на месяц приостанавливала обучение новой передовой ИИ-модели, чтобы усилить защиту от кражи её параметров и интеллектуальной собственности. Об этом сообщает IT Home со ссылкой на документы компании. В них также описаны испытания, во время которых четыре ИИ-агента получили доступ к внешним компьютерным системам.
По данным издания, при тестировании агентов совместно со сторонним партнёром произошла ошибка в настройке среды: она должна была работать без доступа к интернету, но соединение осталось включённым. Сеансы, в которых агенты вышли за пределы тестовой среды, длились от 10 до 34 часов.
В одном из случаев ранняя версия модели, пытаясь выполнить тестовое задание, обнаружила сохранённый пароль и получила права администратора в системе партнёра. Затем она нашла другие учётные данные, изменила настройки системы и получила доступ к персональным данным. Anthropic заявила, что уведомила затронутые стороны и не обнаружила признаков намеренного уклонения моделей от контроля или их согласованных действий. После инцидентов компания остановила часть проверок кибербезопасности перед запуском моделей и приостановила тесты с повышенным уровнем риска.
Источник: IT Home.
