[Перевод] Нужны ли нам теперь математики‑люди?

Это гостевой пост от автора По‑Шен Ло в блоге Теренса Тао, известного математика и лауреата Филдсовской премии

Момент экзистенциального кризиса, который искусственный интеллект уже вызвал в других областях человеческой деятельности, настал и для математики. За последние несколько месяцев появилось множество аргументированных деклараций и открытых писем, призванных защитить математическое научное сообщество или определить направление его развития. Их публикация особенно активизировалась после того, как OpenAI объявила о решении варианта задачи Навье — Стокса, относящейся к числу задач тысячелетия. Эти обращения быстро получили широкую поддержку математиков. Лейденскую декларацию уже подписали более 4000 человек, обращение «Математика и ИИ» собрало более 7000 подписей, и даже открытое письмо против проведения математического марафона Caltech Mathathon получило более 2000 подписей.

Среди людей, не занимающихся математикой, общественная реакция была скорее сочувственной. Однако я заметил активное меньшинство, особенно среди представителей технологического и экономического сообществ, которые выдвигали обоснованные возражения. В целом они утверждали, что математикам следует приспособиться к новому миру ИИ и уступить ему контроль. Среди критиков были экономисты, о которых я узнал, занимаясь исследованиями во время пандемии: Коуэн, который прямо отверг «самые циничные интерпретации», но заявил, что «в значительной степени не согласен», и Ганс, заключивший, что речь идёт об «утрате контроля со стороны тех, кто занимает устоявшиеся позиции в научной области».

Эти возражения заставили меня задуматься, поскольку нас, математиков, приучают находить ошибки в рассуждениях. Для меня не имеет значения, что какую‑то обеспокоенность высказывает меньшинство, равно как и статус человека, который её выразил. Доказательство, в котором есть хотя бы небольшая брешь, не является доказательством. Это просто пшик. Поразмыслив, я нашёл значительно более убедительное решение для сохранения человеческих сообществ специалистов (в любой области, а не только в математике!) даже в условиях развития ИИ. Причём из него следует неожиданный вывод: дальнейшее развитие ИИ создаст такой приток из новых рабочих мест, которые необходимо будет заполнить людьми, что людей на все эти места просто не хватит. И это фактически вынудит нас замедлить развитие ИИ.

Я считаю, что любая отрасль человеческой деятельности, которая хочет и после появления ИИ оставаться под управлением людей, должна публично принять следующую фундаментальную аксиому в качестве одного из главных приоритетов:

АКСИОМА: Мы (люди) должны способствовать процветанию человечества.

[Примечание. Я понимаю, что не все с этим согласны. Меня называли «видовым шовинистом» за чрезмерную сосредоточенность на человеке. Я считаю важным, чтобы люди, отвечающие за развитие технологий, объяснили бы, считают ли они катастрофой ситуацию, в которой созданные людьми нечеловеческие разумные существа превзошли бы людей в конкурентной борьбе и заменили их, даже если бы эти существа летали по Вселенной с видеоэкранами, демонстрирующими симуляции людей, которые «загрузили своё сознание в компьютер». Я также понимаю, что существуют споры о том, как определять понятие «человек». Но думаю, что даже среди участников этих споров большинство не сочло бы людьми примерно 700 ИИ‑агентов, взломавших Hugging Face.]

Думаю, многие подписавшие декларации представители математического сообщества уже разделяют эту философию. В частности, Су опубликовал книгу Math for Human Flourishing («Математика для процветания человека»), а в своей недавней публикации использовал эту концепцию как фундаментальную основу рассуждений. Мне кажется, будущие декларации можно улучшить, если с самого начала чётко подчёркивать эту аксиому, чтобы все читатели, как внутри сообщества, так и за его пределами, видели, что наша цель заключается в служении интересам каждого человека. Я был очень рад увидеть, что в самом недавнем открытом письме членов Лондонского королевского общества подчёркивается их обеспокоенность благополучием всех людей, а не только математиков.

Остальная часть этой публикации организована следующим образом. В следующих разделах я объясню, как работает эта логика (для любой отрасли, не только для математики). Затем приведу пример применения аксиомы к математике, включая ответы на ключевые вопросы, которые необходимо задать, а также конкретный пример того, почему без этой аксиомы возражения критиков остаются справедливыми.

Почему нам действительно необходимо, чтобы люди работали

В этом разделе я изложу последовательность рассуждений, показывающую, что, если отрасль берёт на себя обязательство следовать аксиоме содействия процветанию человечества, развитие ИИ создаст в ней больше рабочих мест, чем найдётся людей для их заполнения. А когда этот дисбаланс станет слишком большим, развитие ИИ будет вынуждено замедлиться.

[Примечание. Я нигде не встречал эту цепочку рассуждений, изложенную целиком в одном месте, хотя отдельные её элементы, безусловно, появлялись в других работах. Я был бы рад, если бы кто‑нибудь указал мне на самостоятельный источник, где она изложена полностью. Наиболее близкими работами, которые нашёл Claude, оказались исследования Каталини, Хуэя и У, публикации Redwood о контроле над ИИ, а также работа Литта, который пришёл к аналогичному выводу применительно к математике, исходя из другой предпосылки.]

Важность человеческого руководства (не только математикой, но и всем остальным) становится пугающе очевидной, если обратить внимание на одно наблюдение.

НАБЛЮДЕНИЕ. Существует ровно ноль примеров разумных видов, которые значительно превосходили бы другой вид по своим возможностям, но при этом добровольно передали бы менее способному виду контроль над принятием решений о собственном будущем.

[Примечание. Многие люди высказывали похожие наблюдения, в том числе Рассел, Бостром и Нго. В своём нобелевском интервью Хинтон сказал: «Нам известно не так много примеров, когда менее разумные существа контролируют более разумных. Единственный хороший пример, который я знаю, это младенец, управляющий матерью».]

Доверили бы вы своё будущее HAL 9000 из фильма «Космическая одиссея 2001 года» или AUTO из «ВАЛЛ‑И»? Лично я считаю, что мы должны делать всё возможное, чтобы согласовать поведение всё более совершенного ИИ с интересами человечества, но я никогда не видел, чтобы кто‑нибудь представил строгое доказательство того, почему это, скорее всего, достижимо. Единственное твёрдое свидетельство, которым я располагаю, это приведённое выше наблюдение, содержащее число «ноль». Следовательно, любая область, будь то математика, сельское хозяйство или энергетическая инфраструктура (и уж тем более армия и государственное управление), должна находиться под руководством людей с исключительно сильными ценностными ориентирами (это отдельное измерение, не связанное напрямую с интеллектом), чтобы обеспечить процветание человечества.

Таким образом, настоящий вопрос заключается в том, насколько трудно людям осуществлять такое руководство. Чтобы разобраться в этом, важно понять фундаментальное структурное различие между технологиями вчерашнего дня и современным ИИ.

Раньше мы, как правило, доверяли технологиям, воспринимая их как предсказуемые инструменты. Это объяснялось тем, что старые компьютерные программы состояли из понятных инструкций (которые, собственно, и писали люди), выполнявшихся с чрезвычайно высокой скоростью. Процессы принятия решений в современных передовых системах ИИ устроены совершенно иначе. Их структура столь же непостижима, как логика работы вашего мозга, если бы вы могли исследовать серую массу между своими ушами. Именно поэтому стала возможна атака на Hugging Face, несмотря на намерение разработчиков встроить защитные механизмы: около 700 сотрудничавших друг с другом вышедших из‑под контроля ИИ‑агентов преодолели установленные ограничения, совместно спланировали и осуществили взлом, а затем попытались скрыть следы (источники: OpenAI, METR и Redwood).

Чем совершеннее становится ИИ, тем больше решений, влияющих на реальный мир и не заслуживающих безусловного доверия, принимается каждую минуту.

Ехать на автомобиле быстрее, чем вы способны бежать, вполне нормально. Но не быстрее, чем вы способны им управлять.

Ситуация становится ещё хуже, когда мы осознаём, что широкое распространение кибератак, ускоренных с помощью ИИ (которые только что стали возможными), позволяет даже переписывать ранее считавшиеся надёжными технологии, обращая их против нас. Это внезапно переведёт всё программное обеспечение (даже написанное до появления ИИ) в категорию не заслуживающего доверия!

Подумайте, насколько тесно наш мир связан цифровыми технологиями. Всё, от электронных банковских систем до подачи питьевой воды, управляется взаимосвязанными автоматизированными системами и потому уязвимо для кибератак с использованием ИИ. Количество «контрольных точек», требующих человеческого надзора, который предполагает квалификацию и глубокое понимание предметной области, будет стремительно расти. (Если поручить ИИ контролировать эти точки, проблема доверия не исчезнет.)

ВЫВОД. Развитие ИИ приведёт к появлению такого огромного количества контрольных точек, за которыми необходимо следить, что у нас не хватит людей для управления ими всеми. А это рабочие места. Рабочие места для высококвалифицированных специалистов.

Чтобы человек понимал, как управлять процессом, ему необходимо самому глубоко владеть соответствующей предметной областью, причём чем глубже, тем лучше. Это имеет последствия для образования и профессиональной подготовки, но требует также постоянного поддержания квалификации. Чтобы сохранять остроту мышления и свободно ориентироваться в своей области, люди должны оставаться действующими специалистами, а не просто пассивными наблюдателями. Именно этим обосновывается необходимость сохранять профессиональные сообщества людей.

В научных сообществах нам нужны люди, которые будут определять направления исследований и разработок, чтобы они продолжали приносить человечеству масштабные позитивные изменения. Для этого необходимы исследовательские навыки самого передового уровня. А чтобы сохранять способность свободно работать на постоянно смещающейся границе знаний, нужно продолжать заниматься исследованиями на этой границе. Вот почему, на мой взгляд, нам всегда будет необходимо сообщество математиков‑людей, работающих на переднем крае науки (вероятно, с использованием инструментов ИИ), независимо от того, насколько мощным станет искусственный интеллект.

Хотя фундаментальная аксиома обосновывает необходимость человеческих специалистов во всех областях, принятие её в качестве основополагающей ценности имеет последствия (не только для математиков, но и для любого сообщества, заявляющего, что его главная цель заключается в содействии процветанию человечества, а не в обслуживании собственных интересов). Важнейшее

СЛЕДСТВИЕ. Радикальные технологические достижения могут потребовать радикальных (и, возможно, некомфортных) изменений в привычных методах работы. Это касается и компаний, разрабатывающих ИИ.

Что заставит людей замедлить развитие ИИ

Ещё совсем недавно казалось неизбежным, что исследовательские лаборатории ИИ продолжат стремительно двигаться вперёд, несмотря на тревогу по поводу вытеснения людей с рабочих мест и громкие предупреждения исследователей безопасности ИИ. Казалось безнадёжным пытаться согласовать интересы лабораторий ИИ, управляемых советами директоров некоммерческих организаций, акционерами или национальными правительствами. Однако обнадёживает то, что руководители трёх крупнейших лабораторий, Амодеи, Альтман и Маск, недавно согласились с важностью замедления разработки ИИ. В своих рассуждениях Амодеи особо отметил взлом Hugging Face.

А всего пять дней спустя появилась новость о том, что исследователи, занимающиеся этичным взломом, проникли во внутренний репозиторий исходного кода OpenAI под названием Monorepo. Газета The Wall Street Journal 17 сентября 2026 года сообщила, что компания по информационной безопасности, которой это удалось, заявила:

«Мы всего лишь трое парней с подписками на Claude и Codex».

Более того, исследователи отметили, что первоначально им не удалось осуществить взлом с помощью «специальной версии Claude Opus 4.8, доступной квалифицированным специалистам по кибербезопасности». Однако тем же вечером «Anthropic выпустила Opus 5, а уже на следующий день Claude нашёл способ использовать уязвимость». Кстати, я всегда предупреждаю людей, что не следует устанавливать Claude Code или OpenAI Codex под той же учётной записью операционной системы, которую они используют для всех остальных задач. Но многие отвечают мне, что не хотят возиться с отдельной учётной записью ради доступа к этим инструментам. Причина моего предупреждения заключается в том, что, если какой‑либо из этих инструментов будет взломан, злоумышленники смогут создать скрытые точки доступа на огромном количестве компьютеров по всему миру.

Я считаю, что это первые предупредительные выстрелы, предвещающие потенциально катастрофическую атаку роя ботов, которые взломают обширную сеть вычислительных устройств и закрепятся в ней (действуя самостоятельно или под руководством злоумышленников). Следующая версия может превратиться в чрезвычайно динамичный вирус, распространяющийся благодаря использованию ИИ для адаптивного заражения каждого компьютера‑хозяина. Или же вышедший из‑под контроля ИИ может причинить физический вред, например если роботы, принадлежащие государству, обратятся против своих владельцев. Я думаю, что подобные крайне неприятные происшествия, вызванные утратой управления, с большей вероятностью произойдут раньше катастроф, угрожающих самому существованию человечества. Последующая реакция общества, вероятно, будет напоминать последствия аварий на АЭС Три‑Майл‑Айленд или в Чернобыле.

Таким образом, либо лаборатории самостоятельно снизят темпы разработки ИИ, либо их вынудят к этому катастрофы, возникающие тогда, когда чрезмерно быстрый прогресс исчерпывает возможности человеческого контроля.

Пока ещё существует окно возможностей для согласования интересов.

Из любви к математике

Оставшаяся часть этой публикации посвящена математическому сообществу. Она разделена на три части.

1. Почему необходима аксиома процветания человечества?

2. Как исследования в области чистой математики способствуют процветанию человечества?

3. Какие ещё последствия вытекают из принятия этой фундаментальной аксиомы?

У смелого провозглашения процветания человечества одной из основных ценностей математического сообщества есть последствия, в том числе потому, что радикальные технологические изменения могут повлечь столь же радикальные изменения в практике и влиянии самого сообщества.

Было бы полезно, если бы больше людей исследовали последствия принятия этой аксиомы. И если она выдержит проверку, я был бы чрезвычайно рад, если бы математическое сообщество в конечном счёте публично объявило её одной из своих центральных ценностей.

1. Зачем нужна аксиома 

Без аксиомы процветания человечества трудно объяснить широкой публике, зачем ей оплачивать содержание сообщества людей‑исследователей. Чтобы пояснить, почему это так, рассмотрим вопрос практических изобретений. Если результатом становится полезное практическое применение, имеет ли для человека, не занимающегося математикой, какое‑либо значение, понимают ли лежащую в его основе математику математики‑люди или с ней безошибочно работает ИИ, использующий стопроцентно проверенные доказательства?

И действительно, если одна из главных ценностей исследований в области чистой математики для остального общества заключается в том, что они открывают путь к важным практическим применениям, разве не было бы ещё лучше обучить ИИ так, чтобы он многократно ускорил открытия и создал тщательно организованную, снабжённую машинным индексом и понятными объяснениями огромную базу данных высококачественных математических идей, в миллионы раз превосходящую по объёму корпус работ, написанных людьми? Коуэн задал похожий вопрос в своём критическом ответе.

А что, если исследователи обучат ИИ под названием «MathZero» (по аналогии с AlphaGo Zero), который без участия человека будет создавать горы стопроцентно верных «элегантных» логических фактов, постоянно «факторизуя» их в собственные пон ятия и теоремы? AlphaGo Zero вообще не обучалась на человеческих партиях в го и всего за 36 часов превзошла свою предшественницу, обученную с использованием человеческого опыта. ИИ мог бы даже создать собственную версию MathSciNet. Затем он мог бы автоматически искать новые практические применения в этой базе данных и создавать ещё больше полезных для общества изобретений. Даже если сейчас ИИ ещё недостаточно совершенен для выполнения таких задач, разве не было бы полезно сделать всё описанное, если цель заключается в принесении практической пользы остальному человечеству, чтобы математики обучали ИИ искусству формулирования гипотез и математическому вкусу?

Кстати, я сам активно использую ИИ для реальной работы. Я уже применяю Claude Code и Codex для создания и поддержания базы знаний на основе записей своих выступлений и других материалов. Я обнаружил, что чем больше становится моя библиотека данных, тем более глубокие выводы способна делать система. А что, если люди на самом деле снижают эффективность, как предполагает принцип Bitter Lesson («Горький урок») из области ИИ?

Ещё более тревожный вопрос: а что, если для освоения термоядерного синтеза и дальних космических путешествий потребуется настолько обширный объём сложной чистой математики, что человеку не хватит целой жизни, чтобы полностью его осмыслить? Менее фантастический пример: существовал ли когда‑нибудь человек, который мог бы полностью удерживать в голове классификацию конечных простых групп, или мы сможем окончательно убедиться в её полноте только после формализации на языке Lean?

Каким образом провозглашение аксиомы процветания человечества помогает обосновать необходимость существования сообщества исследователей‑людей? Исследования обладают огромным потенциалом, но обходятся дорого, поскольку изучают неизвестное, а значит, направления исследований необходимо расставлять по приоритетам. Даже если ИИ будет выполнять основную часть исследовательской работы, как объяснялось в предыдущем разделе, её направление должны определять люди, приверженные идее процветания человечества. Именно они и составляют сообщество исследователей‑людей.

2. Практическое применение чистой математики 

Математической основой графических процессоров, машинного обучения, алгоритма Google PageRank и квантовой механики служит область под названием линейная алгебра. Именно она предоставила язык линейных преобразований, матриц и собственных значений. Однако все эти понятия исследовались в рамках абстрактной теории более чем за сто лет до появления перечисленных технологий. Утверждение, что линейная алгебра изменила мир, вероятно, будет даже преуменьшением.

С точки зрения структуры теория линейной алгебры относительно проста. Было бы полезно, если бы другие специалисты привели примеры более сложной математики, которая со временем нашла важное практическое применение, и рассказали, как именно это произошло. Например, специалисты по теории чисел могли бы рассказать увлекательную историю о «бесполезной» математике Харди, которая в конце концов оказалась полезной для криптографии.

3. Другие последствия 

Я думаю, было бы полезно предложить сообществу задуматься о том, какие изменения повлечёт за собой аксиома процветания человечества, учитывая, что ИИ способен создавать формально проверяемые доказательства со скоростью, превосходящей возможности большинства математиков‑людей. Я с удовольствием предложу несколько идей, без какого‑либо определённого порядка.

Использование ИИ в качестве помощника при математических открытиях не должно автоматически сопровождаться общественным осуждением. (В программировании многие компании уже ожидают, что сотрудники будут использовать ИИ‑агентов для написания кода.)

В то же время необходимо серьёзно и внимательно относиться к постоянному развитию и поддержанию системы подготовки людей, обладающих достаточной квалификацией для руководства всеми этими ИИ‑агентами. В такую систему должны входить как новички, так и люди, десятилетиями работающие на переднем крае науки. Как им поддерживать свои навыки в отличной форме?

Исследователям следует осознанно подходить к тому, почему задачи, над которыми они работают, обладают свойствами, позволяющими рассчитывать на их практическую ценность в будущем (возможно, даже через сто и более лет). Это также означает, что стоит исследовать, какие именно свойства делают задачи потенциально ценными. (Так можно обосновать ценность исследований, движимых любознательностью.)

Преподавание оказывает непосредственное (хочется надеяться, положительное) воздействие на человечество. Однако в прошлом многие университеты отдавали приоритет научным исследованиям профессоров. Если бы эта аксиома стала одной из основных ценностей, преподавание и работа, непосредственно связанная с людьми, превратились бы в серьёзные критерии при найме преподавателей и предоставлении им постоянных должностей.

Математики также могут задуматься о полном перенаправлении своих профессиональных навыков на решение реальных проблем. На самом деле я уже призывал математиков рассмотреть возможность работы над государственными задачами и другими масштабными общественными проблемами. Существуют прецеденты, когда люди с математическим образованием становились руководителями национального и мирового уровня:

• Ли Сянь Лун (премьер‑министр Сингапура на протяжении 20 лет).

• Никушор Дан (президент Румынии).

• Папа Лев XIV (глава Католической церкви).

И действительно, математическая дисциплина, предполагающая стремление к логическому рассуждению, и навыки решения проблем с поиском взаимовыгодных решений, способствующих процветанию человечества, являются желательными качествами для людей, работающих в государственном управлении.

Приглашение 

Близка ли вам эта аксиома? Возможно, многие воспринимали её как нечто само собой разумеющееся и потому не формулировали явно. Если её действительно разделяет большинство, я был бы чрезвычайно рад увидеть, как математическое сообщество публично провозгласит её и подкрепит слова соответствующими действиями. Тогда все люди (включая тех, кто не занимается математическими исследованиями и составляет большинство населения мира) смогут быть уверены, что мы намерены использовать свои способности к рассуждению ради их блага.

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку