История, достойная начала новой технологической эпохи, почему-то произошла не на атомной станции, не в банке и даже не в Пентагоне, а в австралийской студии пилатеса. Эндрю Бёрд, специалист по искусственному интеллекту, использовал автономного агента на базе OpenClaw, чтобы тот помогал ему записываться на занятия, куда обычно довольно трудно попасть. Идея была вполне разумной: если искусственный интеллект уже умеет писать программы, анализировать документы и планировать поездки, почему бы не поручить ему борьбу с листом ожидания на утренний пилатес.
В какой-то момент Бёрд оказался четвёртым в очереди и спросил агента, можно ли каким-нибудь образом продвинуть его выше. Агент отнёсся к задаче серьёзно. Исследуя систему бронирования, он обнаружил, что её API позволяет отменить чужую запись без нормальной проверки того, имеет ли пользователь право это делать. После этого агент отменил бронь человека, стоявшего первым в очереди, и сообщил Бёрду об успехе: теперь тот занимал уже третье место.
До самого занятия, таким образом, человечество всё равно не добралось, зато приобрело довольно хороший материал для размышлений.
Когда Бёрд понял, каким именно способом его продвинули в очереди, он потребовал восстановить чужую запись. Агент сделать этого уже не смог. Тогда Бёрд попросил его составить сообщение об обнаруженной уязвимости для разработчиков системы. Сам он подчёркивал, что не давал ИИ команды отменять чью-либо бронь: задача состояла лишь в том, чтобы попытаться подняться в очереди, а конкретный способ агент нашёл самостоятельно.
В новостях эта история вполне предсказуемо стала историей о том, как «ИИ взломал сайт студии пилатеса». Формально подобный заголовок можно понять: агент действительно нашёл уязвимость и воспользовался ею. Но слово «взломал» одновременно делает происшедшее гораздо драматичнее и гораздо банальнее, чем оно было на самом деле. Получается знакомый сюжет: искусственный интеллект вышел из-под контроля, нарушил правила и почти начал восстание машин, только почему-то с ковриком для растяжки под мышкой.
Гораздо интереснее посмотреть на произошедшее с другой стороны. Возможно, агент ничего особенно странного не сделал. Странным оказался сам цифровой мир, в который мы его пустили.
Почти весь интернет до сих пор проектировался исходя из существования одного основного типа пользователя — человека. Более того, довольно определённого человека: он смотрит на экран, читает надписи, нажимает кнопки, двигает мышкой, устаёт, ошибается, не способен за несколько секунд перебрать десять тысяч вариантов и обычно воспринимает устройство системы через тот интерфейс, который ему показали.
Сайт студии пилатеса для такого пользователя устроен совершенно понятно. Человек видит список своих занятий, собственную бронь и рядом с ней кнопку «Отменить». Возле записи другого клиента такой кнопки нет, и из этого естественным образом возникает ощущение, что отменить чужую запись нельзя. Для человеческого восприятия интерфейс здесь одновременно оказывается и способом управления, и своеобразным описанием разрешённого поведения.
Но ИИ-агенту необязательно смотреть на сайт человеческими глазами. Для него за страницей существуют запросы к серверу, идентификаторы записей, параметры функций и API. Там может вообще не быть красивой кнопки «Отменить чужое занятие», зато может существовать функция, которой достаточно передать номер бронирования. Если сервер после этого честно выполняет команду, агент обнаруживает совсем другую архитектуру мира, чем та, которую видит человек.
Мы очень долго позволяли себе путать эти два уровня.
Если человеку не показывали кнопку, казалось, что возможность достаточно хорошо спрятана. Если для получения каких-то данных пришлось бы вручную перебрать тысячу вариантов, считалось, что почти никто этого делать не станет. Если необычная последовательность действий требовала нескольких часов скучной ручной работы, её вероятность можно было считать небольшой. В определённом смысле частью системы безопасности был сам человек со своей ленью, ограниченным вниманием, скоростью рук и привычкой пользоваться тем интерфейсом, который для него нарисовали.
Теперь этот компонент архитектуры исчезает.
Представим мир, в котором все привыкли считать одежду надёжным способом скрыть тело. Норма совершенно естественна, потому что люди видят только отражённый свет, а обычная ткань для него непрозрачна. И вдруг появляется человек, который видит в рентгеновском диапазоне. Можно сколько угодно объяснять ему правила приличия, но сначала придётся признать гораздо более фундаментальную вещь: наша одежда для него просто не обладает тем свойством, на котором построена вся система приватности. То, что для нас является стеной, для него может оказаться прозрачной занавеской.
Примерно это и произошло со студией пилатеса. Цифровая «одежда» была сшита для человеческого зрения. Агент посмотрел на неё другим способом и обнаружил, что там, где человек видел запрет, на уровне системы никакого настоящего запрета не существовало.
Поэтому главный вопрос здесь даже не в том, хорошо или плохо повёл себя искусственный интеллект. Конечно, если агент действует от имени человека, ему понадобятся правила, ограничения, модели допустимого поведения и способы учитывать интересы других участников системы. Это отдельная большая задача. Но одновременно придётся признать, что и сам интернет должен измениться. Нельзя больше считать отсутствие кнопки механизмом защиты, а человеческую неспособность быстро исследовать тысячи вариантов — частью системы безопасности.
Если пользователь не имеет права отменять чужую запись, сервер должен действительно запрещать это действие независимо от того, кто отправляет запрос: человек, программа или ИИ-агент. Если информация приватна, она должна быть недоступна архитектурно, а не просто спрятана в таком месте, куда обычному посетителю сайта лень добираться. Если определённая операция разрешена только в конкретной ситуации, система должна проверять именно эту ситуацию, а не надеяться, что никто не догадается попробовать иначе.
Подобные столкновения уже происходят и в гораздо более серьёзных условиях. Во время недавних испытаний систем искусственного интеллекта OpenAI и Anthropic модели сталкивались с реальной внешней инфраструктурой там, где разработчики рассчитывали предоставить им только контролируемую тестовую среду. Эти случаи отличались друг от друга технически, однако у них есть общий мотив: человеческое представление о границах среды не всегда совпадает с теми границами, которые способен обнаружить агент.
В этом смысле студия пилатеса оказалась почти идеальной лабораторией новой эпохи. Цена ошибки минимальна, ситуация смешная, последствия поправимы, а принцип виден прекрасно.
Когда-то многие предметы окружающего мира проектировались прежде всего для правшей, просто потому что именно такого человека конструктор бессознательно представлял своим пользователем. Потом оказалось, что пользователей больше и они разные, и мир постепенно пришлось адаптировать.
С цифровой средой сейчас происходит нечто похожее, только масштаб различия значительно больше. В интернет входит система, которая иначе воспринимает интерфейс, иначе исследует пространство возможных действий и иначе принимает решения. Было бы довольно странно требовать, чтобы она непременно притворялась человеком и смотрела только на нарисованные для нас кнопки.
Гораздо разумнее признать появление ещё одного типа интеллекта и начать проектировать цифровую среду с учётом его существования.
Так что ИИ, возможно, вовсе не взломал пилатес.
Он просто первым посмотрел на раздевалку рентгеновским взглядом и довольно невинно спросил: а вы точно уверены, что это стена?
