Содержание
HalluSquatting превращает галлюцинации ИИ в канал атаки на популярные AI-инструменты, включая GitHub Copilot, Gemini CLI и OpenClaw. Исследователи из Intuit, Technion и Тель-Авивского университета показали, что такой сценарий может привести к удалённому выполнению команд и кода.
Суть неприятная и довольно приземлённая. Модель ошибается в названии ресурса, репозитория или идентификатора. Злоумышленник заранее регистрирует такой «придуманный» ресурс и кладёт туда вредоносные инструкции. Дальше AI-агент сам обращается к нему в ходе работы.
Исследователи называют технику adversarial hallucination squatting, сокращённо HalluSquatting. По логике это похоже на typosquatting, где атака держится на опечатке в адресе сайта. Только здесь ошибается не человек, а большая языковая модель.
Галлюцинация модели становится точкой входа
HalluSquatting бьёт по слабому месту агентных LLM-приложений: они часто не просто отвечают текстом, а ищут ресурсы, тянут данные и вызывают инструменты. Если модель уверенно придумывает несуществующий идентификатор, атакующий может занять это имя раньше пользователя.
Дальше атака строится вокруг цепочки из трёх событий. Сначала злоумышленник находит ресурс, который модель может неправильно назвать. Потом регистрирует его и добавляет в него вредоносный prompt. После этого обычный пользователь запускает AI-помощника, а агент сам доходит до подставленного ресурса.
Такой подход опасен масштабом. В исследовании говорится о сценариях для ботнетов, ransomware-кампаний и других массовых атак. Это не значит, что каждый запрос к Copilot превратит ПК в «зомби». Но сама поверхность атаки стала шире, чем у классического вредоноса в архиве.
Проверяли не один Copilot
В тестах исследователи использовали несколько популярных AI-инструментов для разработки и агентной работы. В список попали не только GitHub Copilot, но и CLI-ассистенты, IDE-помощники и экспериментальные агенты.
- GitHub Copilot: кодовый ассистент для разработчиков.
- Gemini CLI: инструмент Google для работы с моделью из командной строки.
- Cursor и Cursor CLI: AI-среда разработки и её консольный вариант.
- Windsurf: редактор с AI-функциями для программистов.
- Cline: агентный помощник для задач разработки.
- OpenClaw, ZeroClaw и NanoClaw: AI-ассистенты, участвовавшие в проверке атаки.
Авторы добились двух типов результата: remote tool execution и remote code execution. Первое означает удалённый запуск инструментов через LLM-агента. Второе жёстче: атакующий добивается выполнения кода на стороне цели.
Для пользователя разница простая. В одном случае агент делает не то, что от него ждали. В другом — система запускает вредоносный код. В предельном сценарии устройство может стать частью ботнета, который атакующий использует для массовых операций.
Старые prompt-атаки соединили с code injection
Раньше многие LLM-атаки строили по pull-модели: вредоносный prompt размещали на сайте, а модель сама забирала его при поиске или анализе страницы. HalluSquatting добавляет к этому push-логику, ближе к классической инъекции кода.
Разница важна для разработчиков AI-инструментов. Агентные системы всё чаще получают доступ к файловой системе, терминалу, репозиториям и внешним API. Чем больше прав у такого помощника, тем дороже обходится ошибка в выборе ресурса.
Исследователи предлагают несколько мер защиты. Разработчики LLM-приложений могут блокировать прямые fetch-операции и чаще использовать поисковые инструменты с проверкой результатов. Владельцы ресурсов могут вводить строгие правила именования и переходить на глобально уникальные имена.
Но быстрым патчем это не закрывается. Здесь нужны согласованные действия сразу нескольких сторон: создателей моделей, разработчиков агентных приложений, владельцев реестров и команд безопасности. Один вендор не контролирует всю цепочку.
Отдельный фон — уже замеченные LLM-вредоносы. В исследовании упоминается JADEPUFFER, который описывают не просто как AI-based malware, а как полноценную ransomware-атаку, целиком управляемую LLM.
Работа Intuit, Technion и Тель-Авивского университета опубликована на отдельной странице проекта Agentic Botnets. В аннотации авторы прямо пишут: предварительная регистрация галлюцинированных ресурсов может дать remote tool execution и remote code execution «at scale» в популярных агентных LLM-приложениях.
