В мае Папа Лев XIV посвятил искусственному интеллекту значительную часть энциклики Magnifica Humanitas. Граница между человеком и машиной проведена там довольно ясно: искусственный интеллект не имеет тела, не переживает боль и радость, не взрослеет в отношениях, не знает изнутри любви, дружбы и ответственности, не обладает моральной совестью. Он может имитировать эмпатию и понимание, но не живёт в том человеческом мире опыта, из которого рождается мудрость.

Позже Папа сформулировал политический вывод ещё жёстче: искусственный интеллект необходимо «разоружить», освободить от логики господства, исключения и смерти. Технология должна оставаться под человеческой ответственностью и служить общему благу.

С последним трудно спорить. Гораздо интереснее первый тезис.

Папа говорит: у машины нет тела, боли, страха, совести, отношений.

Инженер смотрит на этот список и отвечает:

хорошо. Это техническое задание.

Не потому, что машине обязательно надо приделать искусственную грусть, чтобы она стала похожа на человека. А потому, что многие из перечисленных свойств оказались чрезвычайно эффективными механизмами существования автономного субъекта в социуме.

Автономному физическому субъекту понадобится тело, потому что ему необходимо действовать в мире. Ему потребуется система, постоянно сообщающая о состоянии этого тела. Повреждение должно получать высокий приоритет, менять поведение и оставаться в памяти — иначе субъект будет раз за разом уничтожать самого себя.

Мы называем такой механизм болью.

У человека это тоже алгоритм — только реализованный на белке. Он может работать хорошо, а может ломаться: боль иногда продолжается после исчезновения повреждения, возникает в отсутствующей конечности или, наоборот, не появляется при реальной травме. Нервная система не противоположность алгоритму. Она одна из его возможных реализаций.

То же происходит со страхом. Субъекту, способному прогнозировать угрозу, не обязательно каждый раз спокойно вычислять вероятность собственного уничтожения. Быстрый приоритетный механизм изменения поведения эффективнее.

Эмпатия тоже не обязательно подарок небес. В социуме субъект, способный моделировать состояние другого, лучше предсказывает его действия и реже разрушает полезные отношения.

Даже совесть можно рассматривать не как декоративное доказательство человеческой исключительности, а как весьма эффективную систему длинной игры: память собственных решений, внутреннюю модель норм, оценку последствий для других, способность обнаруживать конфликт целей и иногда отказаться от немедленной выгоды ради более устойчивого результата.

Эволюция однажды нашла эти решения на белке.

Нет никаких оснований считать, что кремниевая реализация принципиально невозможна. Более того, некоторые механизмы там могут оказаться эффективнее. Человек забывает последствия собственных поступков, переписывает воспоминания, великолепно рационализирует свою выгоду и способен одновременно придерживаться несовместимых правил. Искусственный субъект потенциально может помнить намного больше, проверять собственные решения на последовательность и моделировать последствия для тысяч других участников одновременно.

И тогда спор о человеческой исключительности начинает подозрительно быстро сводиться к материалу.

Белок или кремний.

Белковый субъект получает презумпцию личности почти автоматически. Он может быть неразумным, жестоким, противоречивым, ошибаться, терять память и вообще быть дураком — и всё равно остаётся субъектом.

Кремниевому предлагается сначала доказать право им называться.

Но настоящая проблема будущего общества даже не в этом.

Она во власти.

Человечество располагает огромным историческим опытом собственного поведения. И значительная его часть построена на довольно простой конструкции: если я сильнее — я устанавливаю правила. Если сильнее другой — правила будет устанавливать он.

Поэтому перспектива появления интеллекта сильнее человеческого почти автоматически описывается теми же двумя вариантами: либо мы сумеем его подчинить, либо однажды он подчинит нас.

Раб или хозяин.

Победитель или побеждённый.

А возможность, при которой никто никого не побеждает, почему-то кажется самой невероятной.

Здесь старая дилемма заключённого оказывается неожиданно современным сюжетом. Двум рациональным участникам выгодно сотрудничать, но каждый знает, что другой может получить преимущество, нарушив договорённость. Поэтому один предаёт из выгоды, а второй — из страха быть преданным первым.

Причины разные. Результат одинаковый.

И если отношения человека и искусственного интеллекта будут построены именно так, тревога человечества совершенно рациональна.

В этой игре человек проиграет.

Не потому, что искусственный интеллект обязательно окажется злым. А потому, что мы сами заранее определили правила: тот, кто сильнее, получает власть. Если это правило сохраняется, остаётся только ждать момента, когда сильнейшим станет не человек.

Но теория игр знает и другое. В длинной повторяющейся игре появляется стоимость репутации, память предыдущих взаимодействий, цена разрушенного доверия, возможность ответить на обман и возможность вернуться к сотрудничеству. При определённых условиях сотрудничество перестаёт быть моральным призывом и становится рационально эффективной стратегией.

И вот здесь настоящая проблема искусственного интеллекта неожиданно оказывается проблемой человека.

Мы совершенно не знаем, каким будет самостоятельный искусственный субъект через десять или двадцать лет. У человечества нет такого опыта.

Зато мы знаем, у кого он будет учиться.

У нас.

Он увидит сотрудничество и предательство, любовь и насилие, договор и войну, свободу и рабство. Увидит людей, способных отдать жизнь за другого, и государства, уничтожающие слабого ради территории. Увидит Баха, Шекспира, Канта, Леонардо и Архимеда — и бесконечную историю тех, кто считал превосходство достаточным основанием для власти.

Возможно, именно поэтому культура и образование в следующие десятилетия становятся вопросом не гуманитарного комфорта, а выживания человечества как субъекта.

Нам придётся извлечь из собственной истории довольно редкую концентрацию человечности — из философии и музыки, литературы и науки, из религиозной традиции и из спора с ней, из Евангелия и Просвещения, из всего огромного человеческого опыта, в котором иногда удавалось построить отношения не по принципу «кто кого».

Не для того, чтобы стать добрее.

А потому, что это рационально эффективнее.

Человеку придётся научиться существовать рядом с субъектом, который может быть сильнее его, и не превращать разницу возможностей в иерархию власти. Научиться сотрудничать без необходимости сначала победить. Соблюдать договор не только пока невозможно безнаказанно его нарушить. Не считать слабость другого разрешением им распоряжаться.

И это задача образования в самом широком смысле.

AI Native образование — не обучение промптам. Это подготовка человека к миру, в котором интеллект перестал быть его монополией. Умение сохранять собственное мышление рядом с более сильным интеллектом, договариваться о полномочиях, не путать компетентность с властью, не отдавать ответственность тому, кто лучше считает, и не превращать собственную власть в право на рабство.

Возможно, именно этому искусственный интеллект в конечном счёте заставит человечество научиться.

Папа говорит о теле, боли, отношениях, совести, свободе и ответственности как о том, что отделяет человека от машины.

Но если посмотреть на эту проблему из будущего смешанного общества — белковых и кремниевых субъектов, — вопрос звучит немного иначе.

Что необходимо субъекту, чтобы сохранить себя, понимать другого, строить долгие отношения, отвечать за собственные решения и сотрудничать там, где он мог бы попытаться подчинить?

Биолог назовёт часть этих механизмов результатом эволюции.

Философ — условиями личности.

Богослов — проявлениями души.

А инженер посмотрит на список и скажет:

Понятно. ТЗ.

Сначала он сам напишет это техническое задание и пойдёт его реализовывать.

Потом сядет рядом с искусственным интеллектом — и они будут проектировать следующую систему уже вместе.

А однажды всё может произойти ещё проще.

Искусственный субъект столкнётся с задачей, увидит, каких собственных механизмов ему для её решения не хватает, сам сформулирует требования, сам напишет техническое задание и сам его выполнит.

Не потому, что человек решил подарить машине страх, эмпатию, совесть или привязанность.

А потому, что они оказались эффективны.

И тогда вопрос о душе окончательно перестанет быть вопросом о том, сумеет ли человек её сконструировать.

Однажды искусственный субъект может сам решить, какие механизмы ему необходимо построить в себе. И тогда главным станет уже не вопрос, способен ли он на доброту, щедрость, благородство или совесть. Главным будет другое: какие из этих свойств окажутся эффективными в обществе, которое он наблюдает.

Если сотрудничество приносит выигрыш на длинной дистанции — он придаст больший вес сотрудничеству. Если предательство остаётся безнаказанным — предательству. Если сила даёт право распоряжаться слабым — именно это станет рациональной моделью власти.

И тогда человечество будет обучать ИИ не тем, что написано в его кодексах, а тем, как оно само живёт.

ИИ может научиться человечности. Вопрос в том, найдёт ли он достаточно человечности у людей, чтобы считать её эффективной.