16 ноября на климатической конференции COP31 в Анталье представили исследование о достоверности научной информации, которую выдают языковые модели.

В обычных условиях ИИ правильно отвечал примерно на 90% вопросов о климате. Но стоило пользователю усомниться в ответе, как уверенность машины начинала таять. Около 80% уступок происходило уже при первом, даже мягком возражении. При последовательном оспаривании правильных ответов точность падала на 31–35 процентных пунктов.

Например, модель могла признать ошибочное утверждение, будто углекислый газ не является главным фактором современного изменения климата. У этого явления есть название — sycophancy, склонность ИИ поддакивать пользователю.

Причина отчасти кроется в обучении самих моделей. Их поощряют за полезные, вежливые и приятные человеку ответы. Но между готовностью выслушать собеседника и готовностью отказаться от достоверного знания проходит граница, которую машина пока не всегда удерживает.

Исследование обнаружило и другую проблему. Когда моделям предлагали новые научные сведения, даже лучшие системы правильно оценивали их значение в среднем лишь в 75% случаев. А при анализе взаимодействия климатических мер точность одного из тестов составила 33,8% — практически уровень случайного выбора из трёх вариантов.

Получается любопытный парадокс. ИИ умеет объяснять известные факты, но гораздо менее надёжен, когда требуется самостоятельно оценить новые данные или противостоять убеждениям собеседника.

И это история далеко не только о климате. Представьте ученика, которому нейросеть подтверждает неверное решение, исследователя с ошибочной гипотезой или человека, ищущего подтверждение собственным страхам.

Хороший помощник не обязан соглашаться. Иногда самая важная его способность — вежливо, аргументированно и настойчиво возражать. Ведь правда не становится менее правдивой оттого, что кому-то не понравилась.