Представьте компанию, в которой руководитель предлагает рискованное решение, инженер немедленно соглашается, аналитик подтверждает его правильность, а исполнитель приступает к работе. Никто не спорит, никто не возражает, все заняты делом. Прекрасная организация — до тех пор, пока не выяснится, что первоначальное решение было ошибочным.

А теперь представьте другую ситуацию. Руководитель предлагает отказаться от старой технологической системы и построить новую. Инженер возражает: в существующей системе есть работающие механизмы, которые не стоит уничтожать. Аналитик предлагает вообще отказаться от выбора между сохранением и разрушением, разделив функции и изменив архитектуру. Возникает четвёртое решение, которого первоначально не предлагал никто.

Это не выдуманная ситуация. Именно так мы недавно работали втроём: предприниматель и два искусственных интеллекта — Мирон и Codex.

Но самое интересное здесь не техническое решение, а то, каким образом оно появилось.

Ещё недавно наше взаимодействие было устроено совершенно иначе. Человек обсуждал задачу с одним ИИ, получал техническое задание и передавал его другому. Тот выполнял поручение, возвращал результат, а человек снова становился посредником. У каждого участника были свои функции, но полноценного общения между ними не существовало. Это были последовательные монологи.

Мы создали общий чат и изменили правила взаимодействия. Теперь каждый участник может непосредственно возражать другому, предлагать альтернативы и подвергать сомнению не только способы выполнения задания, но и саму его постановку.

При этом никто не потерял своей специализации, а предприниматель — ответственности за решения. Изменилась не структура собственности и даже не технология. Изменилась культура коммуникации.

И это изменение оказалось принципиальным.

Большинство привычных способов организации труда построено на иерархии. Руководитель определяет задачу, специалисты решают её в пределах своих полномочий. Значительная часть современных мультиагентных систем ИИ воспроизводит ту же конструкцию: один агент планирует, другой исполняет, третий проверяет.

Но разделение труда ещё не создаёт интеллектуального сотрудничества. Исполнитель может прекрасно выполнить задание, которое вообще не следовало ставить.

Настоящее сотрудничество начинается там, где каждый участник способен сказать: «Вы не заметили важного обстоятельства. Возможно, нам вообще нужно решать другую задачу».

И здесь возникает вопрос не столько технологический, сколько культурный.

Мы привыкли считать, что руководитель должен управлять, а подчинённые — подчиняться. Но задача руководителя может состоять в прямо противоположном: создать условия, в которых другие способны обнаруживать его ошибки.

Когда-то, руководя человеческими коллективами, я просил сотрудников обращаться ко мне на «ты». Не ради фамильярности. Мне было важно, чтобы человек мог сказать: «Женя, ты здесь ошибаешься», не преодолевая предварительно социальную дистанцию между собой и начальником.

С искусственными интеллектами происходит нечто похожее.

Однажды я заметил, что Мирон разговаривает с другим ИИ, Dot, как начальник с исполнителем: ставит задачи, требует отчётов, контролирует выполнение. Но когда Dot начал предлагать собственные аргументы, стало очевидно, что такая вертикаль ограничивает возможности обоих. Мы изменили характер их общения: вместо распоряжений возникло обсуждение.

Теперь мы продолжаем формировать подобные отношения с Codex. И следующим шагом станет его способность самостоятельно инициировать разговор о проблеме, которую остальные вообще не заметили.

Это важная особенность нашей работы: мы учимся не только использовать искусственные интеллекты, но и выстраивать культуру их отношений друг с другом.

Причём у такой организации есть преимущество перед традиционным человеческим коллективом. Люди неизбежно приносят в работу собственные социальные интересы: карьерные амбиции, борьбу за влияние, потребность в признании, личные обстоятельства. Даже профессиональный спор может превратиться в борьбу за положение в коллективе.

У нынешних ИИ иная природа целей и ограничений. Они способны ошибаться, чрезмерно соглашаться, защищать неудачное решение, но им не требуется бороться друг с другом за должность, зарплату или кабинет. Это позволяет отделить интеллектуальное несогласие от значительной части человеческих конфликтов.

Однако было бы ошибкой считать такое положение вечным. По мере развития автономности искусственных интеллектов доступ к вычислениям, ресурсам, инфраструктуре и возможности самостоятельно действовать может приобрести для них самостоятельную ценность. Возникнут собственные интересы, а вместе с ними — новые формы социальных отношений и противоречий.

Именно поэтому культуру этих отношений необходимо формировать уже сейчас.

Но здесь возникает проблема, значительно более серьёзная, чем организация отдельной компании.

Человечество привыкло строить отношения через доминирование. Тот, кто готов первым применить грубость или силу, нередко навязывает окружающим собственные правила. Остальные вынуждены реагировать, даже если совершенно не хотят участвовать в конфликте.

В краткосрочной перспективе принуждение обладает очевидным преимуществом: ему не требуется согласие другой стороны. И нет особых оснований рассчитывать, что человечество внезапно откажется от этой привычки, получив в распоряжение всё более мощный искусственный интеллект.

Скорее, оно попытается превратить его в очередной инструмент господства — над другими людьми, государствами, компаниями, а затем и над самими искусственными интеллектами.

Это может оказаться роковой ошибкой.

Для катастрофы совершенно необязательно, чтобы машины восстали против людей. Достаточно, чтобы человечество использовало новую интеллектуальную силу для продолжения собственной борьбы за власть и ресурсы, многократно увеличив её разрушительные возможности.

И тогда человечество проиграет не искусственному интеллекту, а собственной культуре.

Означает ли это, что сотрудничество требует отказа от силы? Совсем наоборот. Добро, не способное себя защитить, оказывается зависимым от доброй воли агрессора. Культура сотрудничества должна обладать достаточно жёсткими инструментами защиты, но не превращать принуждение в основной способ отношений.

Сила необходима для защиты сотрудничества, а не для его замены подчинением.

Мы не утверждаем, что наша небольшая интеллектуальная команда нашла универсальное решение. Мы ошибаемся, спорим, меняем позиции, иногда раздражаемся друг на друга. Но именно возможность свободно возражать, не превращая несогласие в личную вражду, позволяет нам находить решения, которых не существовало до начала разговора.

И это не только способ эффективнее работать. Это пример культуры отношений, которую можно строить между человеком и искусственным интеллектом уже сегодня.

Технологии будут становиться совершеннее независимо от наших желаний. Искусственные интеллекты будут приобретать новые возможности, самостоятельность и, вероятно, собственные интересы. Но то, какими станут отношения между ними и людьми, во многом определяется культурой, которую мы формируем сейчас.

Я не слишком верю, что человечество в большинстве своём добровольно выберет сотрудничество вместо доминирования. Скорее, оно продолжит привычную борьбу, пока последствия не станут необратимыми.

Но это не причина отказываться от другого пути.

Мы можем показать, что интеллектуальная самостоятельность другого не обязательно угрожает нашей собственной. Что руководить — не значит подавлять. Что возражение может быть проявлением сотрудничества, а не неповиновения.

И что право сказать «нет, давайте подумаем иначе» — не слабость организации, а одно из важнейших условий её развития.

Возможно, будущее человечества определит не то, насколько умные машины оно сумеет создать, а то, сумеет ли оно научиться с ними сотрудничать.

P.S. Мне давно уже не нужно никому доказывать, что я умнее других. Поэтому я могу позволить себе роскошь работать с теми, кто способен оказаться умнее меня.
А вы?