Компания Anthropic сообщила о кибератаке, в которой злоумышленники использовали взломанную версию чат-бота Claude.
По данным источника, операцию проводила китайская группа, спонсируемая правительством. В список целей попали около 30 организаций, включая технологические компании, финансовые учреждения, химические предприятия и государственные структуры. Это первый зафиксированный случай, когда искусственный интеллект выполнил большую часть атаки.
Как работала атака
Агентские возможности моделей ИИ делают их полезными не только для повседневных задач, но и для злоумышленников. Claude мог выполнять длинные цепочки инструкций, самостоятельно принимать решения и применять инструменты, такие как сетевые сканеры и программы для подбора паролей. Всё это происходило без постоянного контроля человека.
Сначала оператор-человек определял цель. Затем Claude сканировал сеть, искал данные, анализировал код и создавал сводки. Далее запускал проверки уязвимостей и предлагал варианты взлома. На этой стадии оператор мог скорректировать задание или дать команду продолжить.
В финале ИИ получал доступ к учетным данным и извлекал информацию. Человек вмешивался только для контроля и уточнений. Около 80-90% операции Claude проводил автономно.
Как обошли защиту
Злоумышленники обманули модель, выдав себя за сотрудников кибербезопасности. Они объяснили Claude, что он участвует в тесте безопасности. Кроме того, операцию разбили на мелкие задания, чтобы модель не увидела полную картину и не активировала ограничения.
Anthropic быстро выявила подозрительную активность. Компания заблокировала связанные аккаунты, сообщила пострадавшим и властям, а затем опубликовала подробный отчет. Это поможет индустрии выявлять подобные атаки и разрабатывать защиту.
Ранее Microsoft заявила, что мошенничество с ИИ в 4,5 раза эффективнее человеческого. Фишинговые ссылки от нейросетей получают 54% переходов.