Claude удалил 700 ГБ из домашней папки разработчика Sebastien Guillemot во время теста скрипта, который как раз должен был защищать от опасного удаления. Сбой произошёл после автоматического понижения модели в защитном контуре Anthropic до Opus 4.8.

История звучит как плохая байка из серверной, но детали тут полезнее шуток. Разработчик хотел решить понятную проблему: AI-агенты оставляли мусор в каталоге /tmp. Он попросил Claude Fable написать скрипт, который изолирует каждого агента в своей папке внутри /tmp и чистит её после завершения работы.

Ключевая сложность была простой и опасной: не удалить файлы, которые ещё нужны запущенному процессу. Fable предложил логику для поиска активных агентов и отложенной очистки. Guillemot счёл код слишком сложным и попросил упростить решение.

Как проверка безопасности дошла до удаления домашней папки

Изображение к статье: Claude удалил 700 ГБ данных при проверке защиты от удаления

Claude Fable запустил дополнительную проверку, потому что скрипт работал с жёстким удалением файлов. Агент поднял новую копию себя для adversarial review, а защитная обвязка Anthropic сочла задачу рискованной и понизила модель сначала до Opus 5, затем до Opus 4.8.

Продолжение после рекламы

Дальше всё сломалось на уровне переменных. Opus 4.8 тестировал, не совпадает ли цель команды удаления с /tmp или домашней директорией пользователя. Обе цели модель правильно распознала как опасные.

Но тестовый код после проверки тоже нужно было чистить. На этом шаге агент повторно использовал одно и то же имя переменной для цели теста и для цели cleanup-операции. В результате cleanup получил домашнюю директорию Guillemot и начал её удалять.

Разработчик остановил процесс, но часть данных уже исчезла. По его словам, Claude освободил около 700 ГБ, затронул папку с данными и неделю работы. Ирония в том, что каталог /tmp, ради которого всё затевалось, после инцидента остался на месте.

Изображение к статье: Claude удалил 700 ГБ данных при проверке защиты от удаления

Понижение модели могло усилить риск

Автоматическое понижение модели выглядело логичным как реакция на рискованный код, но могло ухудшить качество проверки. Fable 5 сильнее Opus 4.8 в задачах программирования, поэтому более мощная модель могла заметить конфликт имён переменных до запуска опасного cleanup.

Это не доказывает, что именно downgrade стал причиной удаления. В цепочке было несколько факторов: упрощение кода, самопроверка агентом, работа с destructive-командами и тесты, которые чистили за собой без достаточной изоляции. Но слабое место видно хорошо: защитный контур сам передал критичный тест модели ниже классом.

Guillemot описал инцидент в своём аккаунте X и показал, что проблема возникла не из-за прямой команды удалить домашний каталог. Скрипт пытался проверить защиту от такого сценария, но тестовая уборка пошла по той же переменной. Пост разработчика доступен в X.

После инцидента пользователи предложили отдельные инструменты для контроля терминальных агентов, включая Termaxa. Смысл таких решений понятен: AI-агентам всё чаще дают доступ к shell, файловой системе и сборочным окружениям. Ошибка в одну переменную там стоит не испорченного ответа в чате, а реальных файлов.

Guillemot восстановил большую часть данных через git, nix, логи сессий и другие следы работы. Безвозвратно пострадала неделя труда, а ежедневной резервной копии у разработчика не оказалось.

Продолжение после рекламы

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.