Искусственный интеллект стремительно превращается из простого помощника по составлению текстов в мощный инструмент глубокого анализа. В рамках эксперимента 16 профессоров из 14 престижных американских вузов (включая Йель, Гарвард, NYU и Чикагский университет) подготовили 40 сложных вопросов по контрактному праву. Эти вопросы охватывали юридическую доктрину, прецедентное право и гипотетические сценарии.
Сенсационные результаты слепого тестирования
В ходе исследования было проведено 2918 слепых сравнений. Профессорам предлагалось выбрать лучший ответ на студенческий вопрос, не зная, кто его автор — человек или алгоритм. Результаты оказались неожиданными для академического сообщества.
- 75.92% — доля побед модели Gemini 2.5 Pro от Google в противостоянии с ответами преподавателей-людей.
- 74.75% — показатель успешности инструмента NotebookLM в аналогичных тестах.
- 3.41% — уровень потенциально вредоносных или некорректных ответов у ИИ против 12.06% у профессоров.
Исследователи отдельно проанализировали, не обусловлен ли успех ИИ исключительно красивым стилем изложения. Оказалось, что алгоритмы действительно превосходят людей по существу: они точнее приводят юридические анкоры, лучше структурируют аргументы и глубже анализируют гипотетические ситуации.
«Потенциал этих новых технологий как мультипликатора эффективности в юридической практике просто невозможно игнорировать. Будущие работодатели будут требовать от выпускников уверенного владения инструментами ИИ», — отметил Джон П. Андерсон, декан Юридической школы Колледжа Миссисипи.
Обратная сторона медали: риски интеграции
Несмотря на выдающиеся успехи ИИ в академических тестах, реальная юридическая практика по-прежнему сталкивается с серьезными вызовами. Главной проблемой остаются галлюцинации систем. Например, известная юридическая фирма Sullivan & Cromwell недавно была вынуждена признать перед судом по банкротствам, что использовала в официальном документе вымышленные прецеденты, сгенерированные нейросетью.
Часто задаваемые вопросы
Как ИИ показал себя в сравнении с профессорами права?
Модели ИИ выиграли около 75% слепых сравнений у преподавателей-людей, продемонстрировав более точные, структурированные и безопасные ответы на сложные вопросы.
Какой ИИ показал наилучшие результаты в юридическом анализе?
В расширенном анализе первое место заняла модель Claude Opus 4.7 от Anthropic, за ней следуют ChatGPT 5.4 от OpenAI и Gemini 2.5 Pro от Google.
