Эффект обнаружили при моделировании космического аппарата, возвращающегося в атмосферу. При таком проектировании одновременно приходится учитывать траекторию, аэродинамику, нагрев, тепловую защиту, массу конструкции и расход топлива. Просчитать тысячи вариантов с максимальной точностью слишком дорого, поэтому инженеры сначала используют более простые модели, а наиболее перспективные решения проверяют подробнее.
И здесь обнаружилась ловушка. Упрощенные модели вполне справлялись со своими отдельными задачами. Но при их объединении небольшие неточности в описании взаимодействий меняли саму «карту» возможных решений. В результате система отбрасывала целые области поиска как бесперспективные. Именно в одной из таких областей более точная модель затем обнаружила лучшее решение.
Исследователи назвали эффект парадоксом адекватности модели: модель может быть достаточно точной для отдельной задачи и одновременно недостаточно точной для системы, частью которой эта задача является.
С распространением ИИ и автоматической оптимизации проблема становится особенно важной. Алгоритм способен перебрать тысячи вариантов быстрее человека, но он не обязательно заметит, что исходная карта реальности слегка искажена. Более того, скорость автоматизации позволяет масштабировать не только поиск хороших решений, но и скрытую ошибку.
Авторы предлагают не отказываться от упрощенных моделей, а раньше подключать данные более высокой точности и постоянно сверять между собой модели разного уровня.
Получается любопытный инженерный парадокс: иногда опасна не модель, которая очевидно ошибается. Опасна та, которая достаточно хороша, чтобы ей довериться.
