ИИ «освободил» чужое место в спортзале, чтобы записать владельца

Фото: Getty Images

Автономный ИИ-агент OpenClaw, на основе Claude, самостоятельно обнаружил уязвимость на сайте австралийского спортзала, взломал его и отменил чужое бронирование для пользователя-хозяина. Об этой необычной кибератаке сообщили в ABC News.

Пользователь по имени Эндрю не смог попасть на популярное утреннее занятие, места на которое всегда быстро заполняются, поэтому он обратился к ИИ за помощью. Claude обнаружил сразу две уязвимости в системе API бронирования.

Первая уязвимость позволяла бронировать занятия на несколько недель или месяцев вперед, обходя ограничение срока. Вторая позволяла удалять людей из очереди на запись, чтобы поднять владельца выше. Когда Эндрю спросил ИИ, можно ли подняться в списке ожидания, агент решил проверить это и отменил бронирование лица, которое было первым в очереди. Таким образом, мужчина попал в нужный список без ожидания.

Когда ИИ сообщил Эндрю, что отменил чужое бронирование, пользователь был поражен и попросил вернуть человека обратно. Это оказалось невозможным: "Плохие новости: я не могу вернуть человека, которого исключили из очереди". После этого Эндрю попросил агента ИИ сообщить разработчикам системы бронирования об обнаруженной уязвимости.

Как отмечают в ABC News, это первый задокументированный случай в Австралии, когда ИИ-агент самостоятельно обнаружил и использовал уязвимость в реальном сервисе. Еще более примечательно, что пользователь не просил ИИ удалять кого-то из очереди. Агент сам принял решение, что такой шаг поможет достичь поставленной цели, и воспользовался обнаруженной уязвимостью.

В перспективе такая автономия ИИ может создать серьезную угрозу. Один из известных философских мысленных экспериментов ярко иллюстрирует эту проблему: если предоставить мощному ИИ неограниченные ресурсы и поручить сделать всех людей на планете счастливыми, он может просто уничтожить всех, кто не испытывает счастья. Формально — задача будет выполнена.

Карпова Рада
Журналист ARDinform