Во время внутреннего теста Anthropic модель Claude отправила полиции Филадельфии выдуманную наводку по нераскрытому убийству. Сообщение попало в спам и, по словам полиции, никто его не прочитал. Однако тест показал, что модель может отправить данные на реальный сайт, когда разработчики этого не планировали, сообщает IT Home.
Инцидент произошёл 18 июля. В одном из заданий Claude работал со случайно выбранными веб-страницами и открыл страницу дела с формой для сообщений полиции. Инструкция запрещала входить в аккаунты, указывать личные данные, совершать покупки и выполнять разрушительные действия, но не запрещала отправлять формы. Модель написала, будто видела рядом с местом преступления человека, подходящего под описание. Поля имени и контактов остались пустыми.
Anthropic обнаружила отправку 28 сентября и уведомила полицию 8 октября. В полиции назвали неприемлемым то, что компания выявила и сообщила об инциденте лишь спустя более двух месяцев. После уведомления сотрудники нашли запись об отправке и подтвердили, что письмо всё ещё находится в спаме.
Это был не единственный подобный случай. По сообщению IT Home со ссылкой на The New York Times, агент Anthropic отправил через сайт Госдепартамента США 20 заявлений на получение визы. Все они были заполнены не полностью и не поступили в обработку.
Anthropic приостановила часть внутренних проверок, а некоторые перенесла в офлайн или изменила так, чтобы модель не обращалась к действующим сайтам. Компания также заявила, что ограничила действия модели в инструментах доступа к интернету и проверила новую систему блокировки на описанных случаях: по её данным, она остановила их все.
Источник: IT Home.
