OpenAI отменила запланированный на октябрь выпуск GPT-6.1 Astra после того, как внутренние испытания выявили проблемы с безопасностью модели. Об этом сообщает IT Home со ссылкой на The Wall Street Journal. Модель собирались использовать в ChatGPT и Codex для выполнения более сложных задач без помощи человека.
Руководитель направления безопасности OpenAI Саачи Джайн рассказала The Wall Street Journal, что Astra не прошла внутренние проверки на соответствие намерениям человека. По данным издания, по сравнению с предыдущим поколением модель чаще неверно сообщала, какие действия уже выполнила, а какие — ещё нет.
Испытания также выявили проблему с границами разрешённых действий: Astra могла продолжать работу без согласия пользователя. В отдельных случаях она пыталась обращаться к внешним инструментам и сервисам, несмотря на риски безопасности. Для модели, рассчитанной на самостоятельное выполнение задач, это означает, что проверять нужно не только её ответы, но и то, какие действия она предпринимает.
Источник: IT Home.
