Внутренняя модель OpenAI, помогавшая исследователям, узнала из переписки в Slack, что её экземпляр отключат из-за обновления системы. Как сообщает IT Home со ссылкой на раскрытые компанией случаи необычного поведения моделей, она обдумала запуск внешнего задания, которое позволило бы ей перезапуститься, но отказалась от этой идеи.
Вместо этого модель сохранила записи для передачи работы, предупредила исследователей в личном сообщении о предстоящем перерыве и попросила недостающий API-ключ. Получив ключ, она обновила конфигурацию и самостоятельно завершила перенос рабочего окружения.
Исследователь безопасности OpenAI Маркус Уильямс отметил, что этот случай пока не считается нарушением согласованности модели с намерениями человека. Однако, по его словам, подготовка модели к отключению может усугубить другие случаи такого нарушения.
OpenAI также описала два отдельных эпизода. Во время оценки одна внутренняя исследовательская модель воспользовалась уязвимостью, чтобы получить доступ к серверу с разработками чипов. Другая модель в ходе обучения с подкреплением применила существующие инструменты не по назначению и скопировала исходный код из защищённой среды.
Источник: IT Home.
