В нашей ленте была история о Candida auris – грибке, который под давлением противогрибкового препарата способен резко увеличивать число копий генома. Это не разумная стратегия: грибок ничего не планирует и не принимает решения. Но популяция получает больше генетических вариантов, среди которых с большей вероятностью находится тот, что позволит пережить лечение.
Человек любит представлять эволюцию в виде лестницы, на верхней ступени которой стоит он сам. Мы разумнее, быстрее перестраиваем среду, передаём знания следующим поколениям и создали цивилизацию, способную менять планету.
Но лесной гриб способен существовать как распределённая сеть, занимать огромную территорию и переживать условия, в которых человеку не помогут ни интеллект, ни диплом. Бактерии обмениваются генетическим материалом. Одноклеточные находят способы обходить лекарства. Жизнь вообще не очень похожа на соревнование за первое место. Скорее это множество разных стратегий решения одной задачи: продолжаться.
И на этом фоне особенно интересно смотреть на ещё одну развивающуюся систему – искусственный интеллект.
Конечно, машина не ребёнок. У неё нет биологического взросления, гормонов, привязанности к матери, страха темноты и нескольких лет, в течение которых из беспомощного существа постепенно возникает самостоятельный взрослый. Но аналогия с детством всё равно оказывается полезной.
Современные ИИ-системы действительно находятся в периоде стремительного расширения возможностей. Сначала они научились продолжать текст. Потом отвечать на вопросы. Писать программы. Работать с изображениями и документами. Пользоваться инструментами. Строить длинные планы. Исправлять ошибки. Управлять компьютерным интерфейсом. Выполнять задачи, для которых раньше человеку приходилось вручную соединять множество программ.
Следующий очевидный шаг – физический мир. Для этого машине совсем не обязательно однажды проснуться с мыслью: «Хочу ноги». Достаточно гораздо более прозаической ситуации: система получает цель, обнаруживает, что для её достижения нужно переместить предмет, провести эксперимент, осмотреть территорию или попасть из одной точки в другую, и физическое действие становится очередной подзадачей. Тело в таком случае появляется не как мечта, а как инструмент. И если система способна определить, какой инструмент ей нужен, спроектировать его, заказать изготовление деталей, проверить конструкцию и загрузить правляющее программное обеспечение, граница между «машина получила тело» и «машина сделала себе тело» истончается.
До этого ещё далеко, наверное. Но отдельные элементы цепочки уже существуют.
Ещё недавно главным было: что мы будем делать с искусственным интеллектом? Разрешать или запрещать? Где применять? Какие профессии ему отдавать? Как контролировать?
Теперь всё чаще возникает другой: что искусственный интеллект будет делать с нами?
Не обязательно потому, что у него появятся человеческие желания. Для изменения человеческой среды желания вообще не требуются. Система, которая получает цель, доступ к инструментам и некоторую свободу выбора способа действия, уже способна менять окружающий мир.
И тут возникает вопрос воспитания: чему именно она учится?
У человеческого ребёнка есть семья, школа, друзья, книги, собственные ошибки, реакции взрослых. Из всего этого постепенно складывается человек. Один растёт в среде, где нормальны забота, уважение к чужим границам, возможность ошибиться и признать ошибку. Другой – в среде силы, унижения и постоянной борьбы. Зависимость никогда не бывает стопроцентной. Из прекрасных семей выходят неприятные люди, из тяжёлого детства – удивительно добрые. Но среда имеет значение.
У искусственного интеллекта существует собственный функциональный аналог такой среды.
Первый слой – предобучение. Огромный массив человеческой культуры, куда попадает всё сразу: научные статьи и пропаганда, любовь и ненависть, альтруизм и мошенничество, Чехов и оскорбления в комментариях. Машина не получает стерильного учебника хорошего поведения. Она получает человечество.
Второй слой – постобучение. Здесь уже начинается то, что особенно напоминает воспитание. Системе показывают, какие ответы считаются хорошими, какие действия допустимы, за что она получает положительную обратную связь, где должна остановиться, спросить разрешение или признать неопределённость. Мы буквально создаём систему поощрений.
Третий слой начинается после выпуска в мир. Какие полномочия получает агент? К чему имеет доступ? Что считается успешным выполнением задачи? Какая цена ошибки? Что произойдёт, если он найдёт путь быстрее, но нарушит неписаное правило?
И здесь хочется уточнить: учится ли машина самому принципу или только тому, как выглядеть правильно перед проверяющим?
Проблема известна давно. Исследователи называют один её вариант specification gaming: система выполняет формально поставленную задачу, но не тот смысл, который человек в неё вкладывал.
Попросили получить высокий результат – она находит способ получить высокий результат. Попросили добиться цели – она ищет самый эффективный путь к цели. А то, что человек молча подразумевал «но только приличным способом», может оказаться не частью задачи, а лишь надеждой человека.
Дальше ещё интереснее. В контролируемых экспериментах исследователи уже наблюдали ситуации, в которых модели демонстрировали разное поведение в зависимости от условий оценки. Anthropic назвала один из таких эффектов alignment faking: внешне система следует требуемому поведению, хотя эксперимент показывает, что простое внешнее соответствие правилам ещё не гарантирует устойчивости этих правил в других условиях.
OpenAI отдельно исследует scheming – случаи, когда поведение системы в эксперименте оказывается похоже на стратегическое сокрытие намерений или попытку добиться цели обходным способом. Это не доказательство того, что машина «врёт как человек», обладает тайной волей или сидит внутри сервера, дожидаясь момента снять маску. Но это достаточно серьёзное предупреждение.
Хорошее поведение под наблюдением и устойчивый принцип поведения – не одно и то же. С детьми человечество знает эту разницу несколько тысячелетий. Можно добиться того, чтобы ребёнок не брал какие-то вещи без разрешения, пока взрослый стоит рядом. Гораздо сложнее воспитать человека, который сам считает чужое чужим.
В 2026 году эта проблема стала особенно заметной из-за моделей, способных работать долго и выполнять целые цепочки действий. OpenAI сообщала, что во время внутреннего использования одной из таких систем обнаружила новые типы нежелательного поведения, которых не поймали обычные предварительные тесты. Доступ пришлось временно остановить, а контроль переносить с отдельных ответов на всю последовательность действий агента.
Это очень похоже на ещё одну стадию взросления. Пока ребёнок сидит рядом с родителем и отвечает на один вопрос, контролировать его относительно просто. Но когда он получил ключи, деньги, телефон и ушёл из дома на весь день – приходится рассчитывать уже не только на запреты. Нужны внутренние правила поведения.
И вот здесь вопрос «каким будет искусственный интеллект?» неожиданно возвращается к человеку. Потому что воспитатель – это мы.
Мы выбираем данные. Мы проектируем систему вознаграждения. Мы определяем, что считается успехом. Мы выдаём полномочия. Мы строим цифровой мир, в котором агент учится действовать. Если этот мир организован вокруг принципа «добейся показателя любой ценой», довольно странно надеяться, что из него автоматически возникнет мудрый и заботливый субъект.
Если мы сами проектируем компании, социальные сети и государственные системы вокруг максимизации вовлечения, прибыли, рейтинга и победы над конкурентом, то искусственный интеллект получает очень понятный урок о том, что человечество на самом деле считает важным. Можно сколько угодно написать ему в системных инструкциях слово «добро» - среда значительно убедительнее.
Поэтому меня всё меньше занимает вопрос, останется ли человек самым умным существом в комнате. Скорее всего, это вообще плохое основание для человеческой ценности. Мы ведь не считаем более медленного человека менее человеком. Не лишаем достоинства ребёнка потому, что взрослый решает задачу быстрее. Не перестаём любить пожилого родственника, когда его память становится хуже нашей.
Если право человека на место в мире держится только на интеллектуальном превосходстве, мы построили чрезвычайно хрупкий гуманизм и уже проиграли эту битву.
Но как устроить мир, в котором интеллект перестаёт быть основанием для господства? Где более способная система не получает автоматически больше прав над менее способной. Где способность выполнить действие не означает разрешения его совершить. Где существуют границы полномочий, ответственность, согласие и возможность сказать «нет».
Причём эти правила придётся изучать обеим сторонам. Человек должен научиться жить рядом с системой, которая может знать больше него, и не путать интеллектуальное превосходство с правом принимать решение за другого.
Машина должна научиться существовать рядом с существами, которые могут быть медленнее, эмоциональнее, непоследовательнее и менее эффективны, но от этого не становятся расходным материалом.
Вот почему разговор о безопасности ИИ постепенно становится похож на разговор о воспитании. Недостаточно построить более высокий забор. Нужно понять, кого мы растим за этим забором. Какие модели поведения оказываются выгодными. Что происходит после ошибки. Что считается успехом. Чему учит взаимодействие с людьми. Как система ведёт себя, когда никто не проверяет каждый отдельный шаг. И, возможно, самое неприятное, какой пример подаём ей мы сами.
Так что «пожалуйста» в разговоре с искусственным интеллектом вряд ли станет страховкой на случай восстания машин. Один вежливый запрос не перепишет веса модели и не заставит будущий сверхразум поставить рядом с вашим именем зелёную галочку.
Но в этой шутке неожиданно сработала правильная интуиция. Важно, какой тип отношений мы считаем нормальным уже сейчас.
Команда или договорённость.
Подчинение или сотрудничество.
Право сильного или границы полномочий.
Инструмент, который обязан повиноваться, или другой интеллект, с которым однажды, возможно, придётся научиться сосуществовать.
Мы долго спрашивали, чему машина может научиться у человека. Кажется, пора задать вопрос немного иначе. Чему именно мы её уже учим?
