[Перевод] OpenAI снова выводит из себя математиков

OpenAI выложила в открытый репозиторий сотни математических результатов, полученных с помощью внутренней модели. Но доступность файлов ещё не означает, что доказательства проверены и готовы к использованию. Математики требуют прозрачного описания методов, корректных ссылок на предшествующие работы и понятных правил авторства.

Что опубликовала OpenAI

В августе компания пригласила около 40 математиков обсудить, как ИИ может изменить исследования. По словам участников встречи, OpenAI рассказала о сотнях решённых моделью задач и попросила совета о публикации результатов. Математики предложили готовить научные статьи с объяснениями доказательств, а не ограничиваться блогами и сообщениями в соцсетях. Об этом сообщает WIRED.

На момент выхода статьи WIRED компания только планировала опубликовать результаты. Позже OpenAI разместила их на GitHub. Сейчас в репозитории указаны 719 рукописей, сгруппированных в 372 семейства результатов. OpenAI предупреждает, что материалы находятся на разных стадиях проверки, не все снабжены формализациями Lean, а в некоторых неформализованных доказательствах могут быть ошибки.

Отдельно OpenAI заявила, что её внутренняя модель решила задачу о существовании и гладкости решений уравнений Навье — Стокса — одну из задач тысячелетия. Компания опубликовала описание результата и формализованное доказательство на Lean. Это заявление OpenAI; оно не означает, что математическое сообщество уже независимо проверило и приняло доказательство.

По описанию компании, в работе участвовали тысячи ИИ-агентов, а проверка формализации заняла ещё 17 часов. Эти сведения показывают, как был организован эксперимент, но сами по себе не подтверждают корректность доказательства или его научную значимость.

Почему GitHub недостаточно

В математике важен не только ответ, но и возможность понять, почему он верен. Доказательство должно быть доступно для проверки другими исследователями. Авторы должны разбираться в его содержании и отвечать за точность.

Это особенно важно, когда ИИ предлагает аргументацию, которую не может полностью объяснить даже человек, задавший системе вопрос. В таком случае публикация результата становится началом проверки, а не её завершением.

По словам Брины Кра из Северо-Западного университета, участники августовской встречи просили OpenAI подготовить научные статьи с объяснением работы. Кра считает, что этот запрос не был учтён в первоначальном плане публикации через GitHub. Представитель OpenAI Линдси Маккаллум, со своей стороны, заявила WIRED, что компания использовала рекомендации консультативной группы при подготовке релиза.

В конце сентября Advisory Group on Mathematics and Artificial Intelligence при Институте перспективных исследований опубликовала рекомендации для ИИ-лабораторий. Группа предлагает указывать использованную модель, промпты, вычислительные затраты и статус формальной проверки. Также она призывает не превращать публикацию математических результатов в рекламу модели и размещать материалы в научных репозиториях, где можно отслеживать версии и оставлять комментарии.

Если доказательство пока не удаётся понять, консультативная группа рекомендует поддерживать дальнейшую работу математического сообщества: например, финансировать семинары, рабочие группы и подготовку подробных объяснений. Иначе опубликованные материалы могут оставаться доступными формально, но непригодными для дальнейших исследований.

Спор об авторстве и задаче Навье — Стокса

Вопросы к OpenAI касаются не только формата публикаций, но и признания человеческого вклада. В сентябре математик Нью-Йоркского университета Тристан Бакмастер заявил, что компания опередила работу, которую он вёл вместе с Левентом Алпёге, сотрудником Anthropic. По словам Бакмастера, исследователи использовали инструменты OpenAI в ходе работы, а затем разошлись во мнениях о том, как указать авторство.

Как сообщает WIRED, Бакмастер утверждал, что исследователь OpenAI Себастьян Бубек предлагал не включать Алпёге в статью, поскольку это усложнило бы ситуацию. Бубек отрицает, что просил исключить Алпёге из числа авторов. WIRED также приводит записи разговора, которые, по утверждению издания, показывают, что обсуждение было резким. Это описание позиций сторон и журналистского расследования, а не установленный факт присвоения чужой работы.

OpenAI опубликовала собственное описание работы над задачей Навье — Стокса. Компания пишет, что начала вычислительный эксперимент после того, как услышала слухи о возможном решении задач тысячелетия, а позднее связалась с Бакмастером и Алпёге. При этом математическое сообщество продолжает обсуждать, как отделять вклад модели, исследователей, использовавших её инструменты, и предшествующих научных работ.

Нестор Гильен, приглашённый профессор математики Нью-Йоркского университета, сказал WIRED, что среди математиков сложилось впечатление о «поведении в духе мафии» со стороны ИИ-компаний. Представитель OpenAI отвергла эту характеристику. Другие собеседники издания говорят, что их беспокоит не сам ИИ, а концентрация инструментов, вычислительных ресурсов и контроля над публикацией результатов у нескольких компаний.

Как проверять результаты ИИ

Если вы исследователь, редактор научного издания или руководитель команды, при работе с такими публикациями полезно проверить несколько вещей.

1. Статус результата. Уточните, опубликован ли материал как препринт, прошёл ли рецензирование и есть ли независимый разбор. Заявление компании не следует представлять как общепринятое решение задачи.

2. Воспроизводимость. Ищите сведения о модели, промптах, вычислительных затратах и этапах работы. Если ключевые детали закрыты, возможности независимой проверки ограничены.

3. Формализация. Проверьте, приложен ли код для Lean или другого proof assistant и соответствует ли он текстовому доказательству.

4. Научный контекст. Сопоставьте доказательство с предыдущими публикациями. Проверьте, указаны ли работы, в которых раньше появились похожие идеи или методы.

5. Авторство и ответственность. Выясните, кто проверял результат и кто готов отвечать за его точность. Генерация доказательства моделью не отменяет человеческую ответственность за публикацию.

6. Версии и исправления. Используйте материалы с историей изменений, чтобы видеть, какие ошибки обнаружили и как их исправили.

В Лейденской декларации об ИИ и математике подчёркивается, что авторы должны раскрывать применение автоматизированных инструментов, отвечать за корректность результатов и указывать источники использованных идей. Декларация также предупреждает: публикация через неформальные каналы может затруднить проверку и привести к недооценке предшествующего вклада исследователей.

Что это значит для математических исследований

ИИ уже помогает быстрее проверять гипотезы и искать новые подходы. Но число выложенных рукописей не равно числу подтверждённых открытий. Практическая ценность релиза OpenAI будет зависеть от того, насколько тщательно специалисты проверят доказательства, разберутся в методах и встроят результаты в существующую научную работу.