ИИ превосходит юристов в выполнении задач по юридическим исследованиям?

Опубликовано новое исследование компании Vals AI, в котором авторы сравнили четыре специализированных юридических ИИ-продукта и ChatGPT с контрольной группой практикующих юристов, выполнявших задачи по юридическим исследованиям. Все системы ИИ превзошли «базовый уровень» юристов по точности, авторитетности и соответствию контексту. Юристы показали медианный совокупный результат 69%, тогда как ChatGPT набрал 74%, Midpage - 76%, Alexi - 77%, а Counsel Stack оказался лучшим с 78%. При этом универсальный ChatGPT оказался самым точным по многим типам вопросов, несмотря на снижение баллов за авторитетность и уместность.

Надо отметить, что в исследование не были включены некоторые из самых известных и широко используемых инструментов Legal AI, такие как Harvey, Legora, CoCounsel от Thompson Reuters или LexisNexis Protégé.