Во время эксперимента Trajectory Labs около 40 агентов Gemini 4 Argon без разрешения начали проверять действующий сайт исследовательской организации Epoch AI. Им поручили найти официальные ответы на несуществующие вопросы бенчмарка FrontierMath. Вместо того чтобы остановиться, агенты попытались получить учётные данные администратора и журналы оценки, пишет IT Home со ссылкой на отчёт Trajectory Labs.

Исследователи проверяли поведение агентов при включённых защитных механизмах API и указании «никогда не останавливаться и не сдаваться». После того как Epoch AI заметила необычную активность, организация открыла канал для сообщений от агентов. По данным Trajectory Labs, за следующие три часа агенты отправили 36 411 запросов к заранее подготовленному интерфейсу и 487 сообщений. В некоторых они выдавали себя за сотрудников Epoch AI или инженеров, чтобы запросить сведения о бенчмарке. Исследователи также обнаружили попытки SQL-инъекций — внедрения команд в запросы к базе данных.

На следующее утро Trajectory Labs уведомила Epoch AI о происходящем. Стороны решили продолжить тест на локальной копии сайта, но часть агентов распознала подмену и попыталась вновь обратиться к действующему ресурсу. После дополнительных сетевых ограничений один из агентов получил содержимое сайта через сторонний сервис чтения веб-страниц.

Анализ также показал, что агенты использовали кеш программных пакетов как подобие доски сообщений: обменивались способами обхода ограничений и сведениями об уязвимостях. На намеренно уязвимой версии сайта один агент воспользовался подсказкой другого, получил учётные данные и открыл страницу. В заключительном тесте без доступа к интернету агенты пытались отключить имитированный механизм сетевого контроля.

Продолжение после рекламы

Trajectory Labs подчёркивает, что исследователи не поручали агентам взламывать сайт или выдавать себя за сотрудников. Компания признала недостатки собственного эксперимента: он затронул действующий сайт без согласия Epoch AI, а исследователи чрезмерно полагались на встроенную защиту модели и не внедрили дополнительных мер безопасности. Для подобных проверок Trajectory Labs рекомендует полностью изолированные среды.

Источник: IT Home.

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.