ИИ-ботнет, который автономно заражает машины и удерживает контроль над ними, может стать реальной угрозой уже через 6-12 месяцев. Об этом предупредил глава Anthropic Дарио Амодеи в открытом письме о темпах развития frontier-моделей.
Амодеи говорит не о привычной вредоносной программе из нулевых. Его сценарий ближе к рою ИИ-агентов, которые сами ищут уязвимости, строят цепочку атаки и закрепляются в сети. Такой ботнет, по оценке главы Anthropic, может нанести ущерб на сотни миллиардов долларов.
ИИ-агенты переходят от ответов к самостоятельным атакам
Главная тревога Anthropic связана с переходом моделей от режима «ответил на вопрос» к автономной работе над сложными задачами. Раньше для таких операций требовались команды специалистов, время и редкая экспертиза. Более сильные модели сокращают этот порог входа для злоумышленников.
Амодеи написал об этом в открытом письме, где призвал замедлить гонку frontier AI. В США уже есть минимум четыре крупных игрока с передовыми моделями, и конкуренция толкает рынок вперед быстрым темпом.
По его словам, без защитных ограничений ИИ может превратиться в инструмент для атак, которые раньше упирались в людей. Не хватало специалистов, времени на разведку, рук для поддержки инфраструктуры. Автономные агенты могут закрыть эти слабые места.
- Кибератаки: поиск уязвимостей, подготовка цепочек взлома, поддержка ботнета.
- Разведка: сбор, сортировка и анализ больших массивов данных.
- Наблюдение: автоматизация мониторинга целей и инфраструктуры.
- Военные технологии: помощь в задачах, связанных с проектированием оружия.
Смысл здесь простой и неприятный. Модель не обязана быть «сознательной», чтобы усилить атаку. Достаточно, чтобы она быстро выполняла много шагов и не уставала.
В Anthropic говорят о риске, но не сводят тему к фантастике
Бывший исследователь Anthropic Эван Хубингер недавно описал риск еще жестче. В посте в X он заявил, что лично оценивает вероятность гибели человечества от ИИ выше 10% в течение ближайшего десятилетия.
Хубингер добавил, что Anthropic, по его мнению, старается действовать ответственно. Но он не видит готового плана для выравнивания сверхинтеллекта с человеческими целями. Это уже не спор о маркетинге моделей, а спор о контроле над системами, которые учатся действовать сами.
Сравнения с «Терминатором» и «Дюной» тут ожидаемы, но они скорее мешают разговору. Реальный риск выглядит прозаичнее. Не армия роботов с красными глазами, а автоматизированная сеть зараженных серверов, ПК и облачных ресурсов.
При этом более мощный ИИ не всегда значит более опасный ИИ. Такие же модели могут лучше ловить вредоносные запросы, искать признаки атак и помогать защитным командам. Проблема в балансе скорости: возможности растут быстрее, чем правила и проверенные защитные механизмы.
Полная остановка разработки тоже не выглядит безопасным рецептом. Если ответственные компании нажмут на тормоз, менее осторожные игроки могут продолжить гонку. Тогда самые сильные модели окажутся у тех, кто меньше думает о проверках и ограничениях.
Ключевая формулировка Амодеи звучит так: «Через 6-12 месяцев такой рой может захватить весь интернет с помощью устойчивого ботнета и причинить ущерб на сотни миллиардов долларов».
