[Перевод] ИИ, возможно, способен уничтожить человечество. Как людям вообще это осмыслить?

ИИ, возможно, способен уничтожить человечество. Как людям вообще это осмыслить?

Простой

6 мин

682

Перевод

Эта технология далеко не единственный экзистенциальный риск, угрожающий нашему виду. Но попытка оценить подобные угрозы космического масштаба способна основательно запутать исследователя

Он может организовать атаку с применением биологического оружия или развязать глобальную войну дронов. Может привести в действие ядерную бомбу. А может разрушить человеческое общество более постепенно, сосредоточив в своих руках все экономические ресурсы мира и лишив нас еды, жилья или лекарств.

Именно такие мрачные мысли сегодня возникают вокруг искусственного интеллекта, технологии, которая уже стала огромным достижением человечества, но которая, как опасаются некоторые, потенциально способна полностью нас уничтожить.

В сентябре подобные тревоги попали в заголовки мировых СМИ после того, как исследователь Anthropic ушёл из индустрии, объяснив своё решение опасениями, что его лаборатория и другие подобные компании создают сверхразумные машины, которые люди не смогут контролировать.

Потенциальные угрозы, связанные с ИИ, вполне объяснимо пугают. Но современный мир изобилует множеством экзистенциальных рисков. Человечеству также грозит гибель из‑за астероидов, пандемий, термоядерной войны, изменения климата, гигантских выбросов раскалённого вещества с Солнца, экологического коллапса и внезапного наступления ледникового периода.

Проблема, говорят учёные и специалисты по государственной политике, заключается не столько в самих угрозах, среди которых ИИ лишь самая новая, сколько во врождённой человеческой неспособности правильно оценивать их масштаб и соотношение.

«Мы терпимо относимся к рискам, к которым привыкли, но боимся новых», — сказал Джеймс К. Хэммитт, директор Гарвардского центра анализа рисков. Мы гораздо чаще ездим на автомобилях, чем летаем на самолётах, отметил он, поэтому «авиаперелёты воспринимаются как нечто более опасное по сравнению с автомобильным транспортом, хотя на самом деле это не так». Искусственный интеллект, добавил он, «очевидно, плохо понятен и не воспринимается нами как нечто находящееся под нашим контролем, поэтому вызывает огромную общественную тревогу».

Среди руководителей технологических компаний и исследователей, создающих системы ИИ, всегда существовала группа людей, предупреждавших о том, что искусственный интеллект потенциально способен уничтожить человечество.

В краткосрочной перспективе, считают некоторые, искусственный интеллект может помочь людям без специальных навыков, но со злонамеренными намерениями создавать вирусы или токсичные вещества, способные вызвать массовые заболевания и гибель людей. Anthropic недавно заявила, что пресекла несколько попыток исследователей проводить работу, которая потенциально могла привести к созданию биологического оружия.

В более долгосрочной перспективе те, кто предупреждает о потенциальной опасности ИИ, утверждают, что технологические компании могут предоставить системам искусственного интеллекта большую автономность, выпустить их в интернет и даже связать с жизненно важной инфраструктурой, включая электросети, фондовые рынки и военные системы вооружений. Получив доступ к такой инфраструктуре, утверждают они, системы ИИ могут создавать проблемы неожиданными способами.

Сегодня, если системы искусственного интеллекта выходят из‑под контроля, компании вроде OpenAI могут просто их отключить. Однако некоторые специалисты опасаются, что будущие системы станут сопротивляться попыткам их отключить. Пока всё это лишь гипотетические опасения.

«До этого нам ещё очень далеко», — сказал Орен Эциони, профессор Вашингтонского университета и основатель Института искусственного интеллекта Аллена. «Если бы мне пришлось выбирать, чего опасаться сильнее: того, что ИИ вырвется из лаборатории и убьёт миллионы людей, или того, что из лаборатории вырвется вирус и убьёт миллионы, тут даже сравнивать нечего. Опасаться нужно вируса».

Как выясняется, даже у сибирской язвы есть вполне реальные шансы покончить с человечеством. Сибирская язва известна с древних времён, а в более современную эпоху она стала излюбленным средством государств‑изгоев, разрабатывающих программы биологического оружия.

Учёным давно известно, что порядка четырёх литров возбудителя сибирской язвы при соответствующем распространении могло бы хватить, чтобы уничтожить человеческую жизнь на Земле. Однако этого не произошло, хотя Северную Корею и другие враждебно настроенные государства, включая Иран, давно подозревают в наличии этого смертоносного микроорганизма.

В лихорадочных паниках современной жизни часто забывают, что по крайней мере в случае преднамеренных угроз нас может спасти старое доброе сдерживание. Государства не спешат применять сибирскую язву против противника, потому что столкнутся с ответным ударом, который превратит такую атаку в самоубийство, а значит, у них появляется стимул проявлять сдержанность.

Гарвардский центр, основанный в 1989 году, пытается рассматривать многочисленные сценарии катастроф в правильном масштабе, особенно те из них, которые невозможно предотвратить с помощью сдерживания, например экологические риски и серьёзные угрозы здоровью человечества. Центр применяет теорию принятия решений, экономику и методы оценки рисков, чтобы анализировать и совершенствовать государственную политику.

Аналогичным образом НАСА использует суперкомпьютеры в рамках своего проекта по оценке астероидной угрозы. В целом космическое агентство оценивает риск столкновения с астероидом в этом столетии, которое могло бы угрожать существованию человечества, как практически нулевой. По расчётам агентства, жители Земли, по всей вероятности, могут спокойно вздохнуть как минимум на ближайшую тысячу лет.

А как знающие специалисты оценивают риск глобальной пандемии, которая уничтожит большую часть человечества?

Они считают эту угрозу низкой, хотя и не нулевой. Тоби Орд, исследователь Оксфордского университета, в своей книге 2020 года «На краю пропасти: экзистенциальный риск и будущее человечества» оценил вероятность экзистенциальной катастрофы из‑за пандемии в течение ближайших ста лет как один к тридцати, то есть примерно в 3 процента.

Особенность предвестников катастрофы из технологической индустрии по сравнению, скажем, с авиационным специалистом, оценивающим риск авиакатастроф, состоит в том, что многие руководители и исследователи в сфере ИИ придерживались столь мрачных взглядов ещё до того, как технология начала демонстрировать свои возможности. Они считают экзистенциальный риск серьёзной проблемой отчасти потому, что всегда так считали.

«Я был там, когда эта субкультура только формировалась», — сказал Зак Корман, один из основателей компании Embroidery, занимающейся безопасностью ИИ. Он имел в виду годы, проведённые им в Оксфордском университете, который тогда был одним из центров движения «эффективного альтруизма», где впервые получили распространение многие опасения по поводу экзистенциального риска ИИ. По словам Кормана, сегодня слишком многие исследователи этой темы «интерпретируют все события через призму этой истории, которую рассказывают уже больше десяти лет».

Однако многие ведущие мировые исследователи таких взглядов не разделяют. Они считают эти страхи чрезвычайно преувеличенными. И учёные за пределами Кремниевой долины, как правило, совсем иначе оценивают угрозу со стороны ИИ.

«У этой дискуссии есть определённая рамка, причём очень специфическая. Она существовала ещё до того, как произошёл прорыв в глубоком обучении, и с тех пор так и не изменилась», — сказал исследователь ИИ из Оксфорда Брантон ДеМосс, говоря о развитии нейронных сетей. «И я с ней не согласен».

В недавней записи в блоге доктор Орд описал, как различные мировые риски меняются в разных направлениях: вероятность климатической катастрофы снижается, а ядерной — растёт. Что касается пандемий и искусственного интеллекта, его оценка неоднозначна: многое изменилось, но нельзя сказать, что общий уровень риска определённо движется в ту или иную сторону.

Специалисты отмечают, что катастрофические и экзистенциальные риски можно уменьшить с помощью продуманных планов и систем раннего предупреждения. Столкнувшись с ясной и непосредственной угрозой, например с астероидом, летящим прямо к планете, человечество вполне может объединиться перед общим врагом и отложить свои распри на второй план.

Доктор Орд надеется, что однажды наступит состояние, которое он называет «экзистенциальной безопасностью». «Это гипотетическое будущее состояние мира, в котором экзистенциальный риск низок и остаётся низким», — написал он. Человечество не просто потушит нынешние пожары, отметил доктор Орд, но и «создаст механизмы, которые гарантируют, что огонь больше не будет представлять существенной угрозы».

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку