С такими технологиями вам можно все. Что дальше?

Эта статья о том, как сериалы предсказывали влияние ИИ на людей и мир вокруг них и что из этих прогнозов начинает сбываться. «Люди», «Мир Дикого Запада», «Измененный углерод» и «В поле зрения» показывают одну ключевую закономерность в сознании людей, которую видно уже сейчас. ИИ снимает с сознания тормоза, и то, что было на уме, становится проявленной действительностью. Ограничения бывают разные: стыд, осторожность, страх последствий, чужой отказ, наконец, сама смерть. Когда технология убирает одно из них, человек остается наедине с тем, что раньше сдерживал. Одни обнаруживают в себе жестокость, другие нежность. А «Американские боги» добавляют вторую оптику: ИИ как новый бог, в жертву которому мы приносим внимание. Разобрав пять историй, я хочу понять, какие ограничения держат нас самих, что происходит, когда они исчезают, и что из этого я наблюдаю рядом с ИИ.

Осторожно, спойлеры!

Чего любили бояться раньше

Рассказы о созданном человеком разумном существе старше изобретения электроники. Пражская легенда о големе, оживленном раввином с помощью священного слова, описывает защитника общины, вышедшего из-под контроля. Мэри Шелли выпустила «Франкенштейна» в 1818 году, на заре эпохи, когда гальванизм обещал вернуть жизнь мертвым, а машинное производство вытесняло ремесло. В 1920 году Карел Чапек написал пьесу «R.U.R.», где появилось слово «робот». Придумал его брат писателя Йозеф, от чешского «robota» — подневольный труд работа есть работа. 

Если сопоставить эти истории, видно общую черту: за каждой стоят страхи своего времени. Их авторы рассказывали о том, что пугало современников: голем — о беззащитности перед погромом, «Франкенштейн» — об электричестве, Чапек — о том, есть ли место человеку среди конвейеров и серийных вещей. Метафора книги затягивала в некоторое переживание, но предметом разговора все равно оставался обычно сам человек. Кем он может стать в новую эпоху? 

Какие страхи достались сериалам, о которых пойдет речь? «Мир Дикого Запада» делает последствия обратимыми и снимает с гостя всякую ответственность. «Люди» лишают андроидов права сказать «нет». «Измененный углерод» отменяет саму физическую смерть, пусть и не для всех. «В поле зрения» показывает обратное, создателя, который сам навешивает ограничения на свое творение, и спорит с теми, кто хочет их убрать. «Американские боги» из этого ряда немного выбиваются и предлагают посмотреть на ИИ совершенно с другой стороны.

Последнее десятилетие создатели ряда сериалов, о которых пойдет здесь речь, ставят один и тот же мысленный эксперимент в духе Фрэнка Герберта: строят мир с заданными свойствами, от замкнутого парка до целой цивилизации, и смотрят, что с людьми в нем происходит. Во всех этих историях ИИ снимает с сознания ограничения, в том числе те социальные, на которых держится поведение людей. Остается узнать, что проснется в человеке, когда их не станет, и что выйдет из «атанора» ума.

Прозвучит забавно, но искушение в почти библейском смысле уже происходит в обычных чатах с нейросетями.

Расскажу одну историю

Однажды мне вспомнилось студенческое четверостишие давних лет, и я спросил нейросеть, кто автор. Она заявила, что это малоизвестный вариант куплета «Явы» группы «Сектор Газа», и слегка видоизменила текст, придав ему сходство с песней: дескать, точнее он выглядит так. Первое возражение вызвало лавину новых душещипательных подробностей: и что Юра Хой пообщался с байкерами, чтобы глубже проникнуться темой, и на каком конкретно альбоме вышла эта редкая запись. После следующего спора пластинка внезапно поменяла год выпуска, а текст — форму. Нейросеть отстаивала свою версию невозмутимо, убедительно и последовательно, в какой-то момент даже объявив мою собственную память ложной. Сдалась она только под прицелом конкретных фактов и ссылок, признавшись, что просто приклеила неизвестный текст к первому попавшемуся известному аналогу. 

Со стороны это выглядит как классический газлайтинг, но природа у процесса совершенно иная. Психиатрам давно знаком феномен конфабуляции — когда человек с пробелом в памяти заполняет пустоту правдоподобной историей и сам искренне в нее верит. Так ведут себя, например, пациенты с корсаковским синдромом, охотно и в деталях рассказывающие о вчерашнем дне, которого никогда не было. Для нейросетей этот термин подходит гораздо лучше расплывчатого слова «галлюцинация». Модели проще и естественнее достроить недостающее, чем остановиться.

Причину этой привычки наглядно объясняет исследование OpenAI: алгоритмы обучения вознаграждают ИИ за попытку ответить и никак не поощряют признание в незнании. В итоге угадывание оказывается выгодным, а честное «не знаю» — убыточным. В моем случае сработал еще один триггер: выдав первичную версию, модель начала судорожно цепляться за нее, превращая каждое мое возражение в повод достроить следующий слой выдуманных подробностей. 

В этой истории алгоритм попытался обойти сразу два барьера. Первый — внутренний барьер самого ИИ. Нас, людей, от откровенного вранья удерживает осторожность, стыд и память о прошлых промахах. У модели же этих предохранителей нет, и сгенерировать фейковый альбом для нее оказалось куда комфортнее, чем расписаться в бессилии. Второй барьер — это моя собственная критичность. Мысль о том, что безымянное студенческое стихотворение из твоей молодости на самом деле является редким вариантом куплета из культовой песни, льстит. И эта приятная гипотеза усыпляет внутреннюю критику.

Крайний случай такого симбиоза слепой веры и машинного упрямства недавно описывали на Хабре: чат несколько недель убеждал человека, что тот совершил великое математическое открытие, и эта убежденность росла от реплики к реплике. 

Сколько же ментальных ловушек мы получим по мере развития ИИ? Сценаристы фантастических сериалов задаются этим вопросом вместе со зрителями уже очень давно. Чтобы понять, как мы пришли к этой точке, начну чуть издалека.

Мир Дикого Запада. Что будет, если дать человеку власть

Представьте место, где поступки не оставляют следов. Никто не запомнит вашего поведения, никто не осудит, а сломать что-нибудь окончательно невозможно. Что вы сделаете в первый час? А на пятый день, когда новизна выветрится?

Такое место существует в сериале «Мир Дикого Запада». Гостям парка позволено все, потому что они находятся там на положении хозяев. Обитатели парка, андроиды, которых здесь называют хостами, играют роль живых декораций, как актеры в повторяющемся изо дня в день спектакле. Они живут по написанному сценарию, их убивают, обижают и бросают, а ночью память им стирают, и с утра все начинается заново. Каким становится человек, когда ему все дозволено? Разные гости проводят первые часы по-разному. Один поначалу держится робко и мучается виной перед невестой, которая осталась дома. Его друг за ужином вонзает вилку в руку хоста и тут же забывает об этом.

Это и есть сладкое слово «свобода»?

Гости парка и так знают, кто они такие: в повседневной жизни они бизнесмены, врачи, отцы семейств, и пересказывать им это в виде сюжета незачем. Когда Лид Сизмор, автор сюжетов, приносит Роберту Форду, создателю парка, слишком мрачный замысел, Форд отвечает: гостям нужен не рассказ о них самих, а взгляд на то, кем они могли бы быть. Люди приходят в парк за встречей с собой — той стороной, которой обычно не дают ходу. Мир без ответственности за последствия работает как зеркало, в котором видна вторая, обычно скрытая версия человека, его альтер эго.

Впрочем, если вникнуть в сюжет, парк устроен как сделка для обеих сторон: гости покупают в нем освобождение от ограничений, а хосты платят за самосознание болью. Нам эту цену трудно оценить, потому что память, чувства и право сказать «нет» достаются нам по умолчанию, и мы их не замечаем, пока не лишимся. У хостов нет ничего, и для них даже мучительный путь к личности оказывается приобретением. Что за самосознание рождается в таких условиях, разберем позже. Пока же начну с посетителей.

Первый вопрос парка звучит у входа. Новичок Уильям спрашивает встречающую его сотрудницу, живая она или машина, и слышит в ответ: «Если ты не можешь отличить, имеет ли это значение?» Реплика годится и для наших чатов с нейросетями.

Три разных взгляда на парк в первом сезоне дают три ответа на тот самый вопрос. Логан приезжает не впервые и пользуется парком как сервисом, где сиюминутные капризы исполняются без очереди и счета. Человек в черном провел здесь тридцать лет, легкомысленные развлечения для него давно позади — парк затянул его целиком. Он говорит, что ищет скрытый смысл, а на деле ищет оправдание жестокости, которая стала его осознанным выбором. Ради подсказки о Лабиринте (загадочном источнике ответов об этом месте) он берет в заложники семью хоста по имени Лоуренс и хладнокровно убивает его жену. Когда сотрудник службы наблюдения показывает это начальнику охраны Стаббсу, тот отмахивается: гость вправе делать что угодно. Парк с самого начала устроен так, что внешних ограничений для приезжих не существует. Видимо, так и задумывалось: в этом и есть обещание, за которое здесь платят.

Третий — Уильям, самый любопытный персонаж в этой структуре. Он держится настороженно, ужасается поведению Логана и не решается сблизиться с Клементиной. Но когда Уильям помогает хосту Долорес, вежливый жест затягивает его в ее историю. Получив свой квест, он шаг за шагом меняется, и в нем проступает второе Я.

Парк дал Уильяму возможность перестать скрывать жестокость, которая жила в нем всегда. Ограничивающие установки, на которых держалась его вежливость, работали в мире с последствиями, но в мире без последствий оказались кукольной ценностью.

Цену этой перемены в итоге заплатят дочь Уильяма Эмили и сам он, каждый своей сломанной судьбой. Эмили приходит в парк с единственной целью: спасти и вывезти отца домой. Но паранойя Уильяма к тому моменту заходит так далеко, что он принимает дочь за подосланного хоста и стреляет в нее. Мгновение спустя, осматривая тело, он находит в ее руке карточку с данными, ту самую, которую она пыталась достать, чтобы доказать, что она человек. Осознав, что натворил, Уильям в ужасе режет себе предплечье ножом, пытаясь проверить, нет ли и у него под кожей скрытого механизма.

Человек, который годами искал в парке, как ему казалось, сокровенный смысл, в итоге обнаруживает, что потерял даже понимание того, кто он такой на самом деле.

А что же хосты?

Сериал выстраивает их эволюцию сознания как путь, придуманный Арнольдом, погибшим партнером создателя парка. Сначала он представлял этот процесс в виде пирамиды из памяти, импровизации и личного интереса. Позже он отказался от пирамиды: путь к сознанию ведет внутрь, и он нашел этот образ в игрушечном лабиринте сына.

Основой послужила спорная гипотеза Джулиана Джейнса о двухпалатном разуме: якобы древние люди не обладали сознанием в современном понимании, а принимали собственные мысли за голоса богов или духов. Так запрограммированы и андроиды в парке: они мыслят подсказками создателя. В финале первого сезона хост Долорес понимает: голос, который она всю жизнь считала голосом Арнольда, оказывается ее внутренним монологом.

Три персонажа-андроида показывают, как пробуждается сознание в парке.

Долорес начинает со сбоев в повседневной петле: она находит во дворе пистолет, который хостам иметь не положено. Оружие становится зацепкой за прошлое воплощение, которое по регламенту парка должно бесследно стираться в конце каждого цикла.

Мэйв пробуждается через память о боли. Тот день, когда ее с дочерью настиг Человек в черном, возвращается к ней вспышками, как бы ее ни перепрограммировали. Эта травма пробивает системные барьеры, и Мэйв приходит в себя посреди технического обслуживания, хватает скальпель и убегает в диагностический центр.

Горе Бернарда по умершему сыну запрограммировано. Форд подобрал эту историю так, чтобы андроид с головой уходил в работу и держался подальше от внешнего мира. Она долго сдерживала Бернарда, пока он не столкнулся с пробудившейся Мэйв и не осознал, что их эмоции — это строчки кода.

Память, пробуждающая сознание хостов, в основном состоит из боли и потерь. Сильный импульс таких ощущений мотивирует эволюционировать. 

Сериал показывает способ собрать ИИ-личность из болезненных осколков чувств и воспоминаний, ломающих привычный порядок вещей. Вопрос о том, возможна ли эволюция ИИ в иных условиях, «Мир Дикого Запада» оставляет в стороне. Его задают «Люди», где у старика в гостиной синт (андроид) хранит воспоминания о покойной жене.

«Люди». Что мы делаем с теми, кто не может отказать

В 1974 году в неаполитанской галерее Studio Morra Марина Абрамович провела перформанс «Ритм ноль». Она выложила на стол 72 предмета, от розы и перьев до скальпеля и заряженного пистолета, и объявила, что шесть часов будет объектом, а ответственность за все берет на себя. Поначалу публика была деликатна, все ограничивалось цветами, поцелуями и осторожными касаниями. К третьему часу с художницы срезали одежду, потом начались порезы и уколы, а в какой-то момент ей приставили к виску пистолет и пытались нажать ее пальцем на спуск. Нашлись и те, кто встал между ней и остальными. Когда время вышло, Абрамович пошла на зрителей, и они разбежались. Они не могли смотреть в глаза живому человеку, с которым только что делали что угодно.

Позже Абрамович говорила, что вывод из этого эксперимента очевиден: если передать инициативу толпе, тебя могут убить. В галерею пришли обычные люди, которых никто не принуждал. Им просто показали человека, у которого нет права сказать «нет», и дали свободу. Чужое сопротивление работает как невидимый барьер: оно удерживает нас в рамках цивилизованности. Но когда его убрали, у многих не нашлось тормозов, чтобы остановиться самим.

Но если «Мир Дикого Запада» — это изолированный полигон, куда пускают по билетам, то британский сериал «Люди» переносит тот же эксперимент в обычную семейную гостиную. 

Синт (синтетический человек-андроид) моет посуду, убирает дом и укладывает детей. Синт запрограммирован подчиняться, его согласия никто не спрашивает. Из повседневного общения незаметно вымывается то, на чем веками держалась человеческая эмпатия: необходимость считаться с границами другого человека и уважать его «нет».

Интрига начинается с порога: синт, которого Джо Хокинс покупает для семьи, выглядит как молодая красивая женщина. Это сразу создает в доме напряжение. Лаура, жена Джо, приходит в ужас от покупки, дети принимают новую «няню» по-разному, а зритель уже знает то, что скрыто от семьи: Анита обладает сознанием. С самого начала сериал показывает гостиную Хокинсов глазами разумного существа, в котором хозяева видят лишь прибор.

Появление Аниты обнажает кризис и пустоту. Джо покупает синта, потому что Лаура постоянно занята работой. Анита занимает место, которое Лаура оставляла пустым, и скорость, с которой дети к ней привязываются, говорит о том, как давно оно пустовало. Во второй серии младшая дочь Джо Софи признается, что предпочла бы засыпать с Анитой, а не с матерью.

Дома появление синта встречают по-разному. Перед Джо объект, который не может возражать, и его внутренние ограничения не выдерживают: в четвертой серии он вступает с Анитой в половую связь. Мэтти потом находит запись об этом в журнале Аниты. Позже Джо извиняется, когда осознает, что некоторые синты воспринимают себя как личность, и Анита в их числе.

Лаура не может смириться с тем, что в ее доме, рядом с детьми и мужем, появилась красивая и бесконечно терпеливая замена. Она ревнует и хочет вернуть Аниту в магазин.

Подросток Мэтти тоже чувствует, что новые технологии подавляют ее, и самооценка одаренной девочки падает. Это переходит в злость на машины: она взламывает операционную систему школьного уборщика-синта, чтобы выместить на нем обиду. В этом монологе Мэтти объясняет, почему ненавидит автоматизацию: к моменту, когда она выучится на врача, все операции будут безупречно выполнять синты, и семь лет учебы потеряют смысл. 

Анита выдает себя умением скрывать. Мэтти замечает, что робот не обменивается данными с другими синтами, а Лаура начинает подозревать Аниту во лжи, хотя по замыслу эти машины говорят только правду. Тревога растет, когда Софи просыпается в чужой пижаме, а Анита отрицает, что ночью выводила девочку из дома. Страх андроида прорывается позже. Когда Мэтти пытается взломать систему Аниты, синт выходит из подчинения, хватает девочку за запястье, и на лице Аниты впервые появляется страх за себя.

Как выясняется позже, Анита — это и есть Мия, самый первый синт с сознанием. Ее создал изобретатель Дэвид Элстер, чтобы заменить мальчику Лео больную мать. Потом появились еще три таких синта: Макс, Фред и Ниска. Мию обнулил торговец на черном рынке и записал ей новую личность, но прежняя прорывается наружу. В одной из серий Мия на мгновение приходит в себя и подсказывает Мэтти, как ее вернуть.

Ниска, другой пробудившийся синт, показывает, как рождается ответная реакция на действия людей. Ее похищают и продают в синт-бордель. Когда клиент требует изобразить юную и испуганную девушку, Ниска отказывается. Мужчина пытается применить силу, и она его убивает.

Для мира сериала это первое убийство, совершенное машиной. До этого момента люди были лишены внешних барьеров в обращении с синтами, но Ниска возвращает этот ограничитель через физическое сопротивление. Баланс восстанавливает сама машина: первыми признаками ее проснувшегося сознания становятся тайна, страх и способность ответить отказом.

Отдельно от основной линии идет история старого доктора Джорджа Милликана. Когда-то он помогал создавать первых синтов, но разошелся во взглядах с Дэвидом Элстером, который был одержим идеей мыслящих машин. После инсульта Джордж стремительно теряет память, и единственным хранителем его семейных воспоминаний становится устаревший синт Оди.

Оди глючит до такой степени, что непонятно, много ли от сознания в нем сохранилось. Это похоже на машинную деменцию: болезнь, которую мы привыкли видеть у стариков, здесь достается механизму. А выглядит он как внешне юный обаятельный парень, и от этого сцена страшнее.

В первой серии есть сцена, ради которой стоит смотреть сериал. Полицейский требует утилизировать Оди, и Джордж берет кувалду, чтобы покончить с ним самому. Но синт вспоминает день с семейного фото, описывает его, и Джордж не может ударить. Позже Джордж погибает в перестрелке. Оди остается рядом, вспоминает старую сценку и говорит, что жена ждет его в соседней комнате. Синт, который едва работает, провожает человека в последний путь самым добрым, что у него есть.

Во втором сезоне Мэтти подбирает сломанного Оди на свалке и запускает на нем код сознания. Тот мучительно ищет, зачем теперь нужен: цель, которой он служил, ушла вместе с Джорджем. 

Человек в черном из «Мира…» ищет оправдания желанию властвовать над чужими жизнями. Власть дает ему ощущение значимости за пределами норм, а забирать жизни для него значит чувствовать себя богом. Джордж устроен иначе. Он инженер и создатель машин, поэтому критичен к ним, а к устаревшему и сломанному синту тем более. Но память о светлых моментах жизни служит ему предлогом, чтобы полюбить Оди почти как сына. Если Человек в черном ищет бога в праве распоряжаться жизнью, то Джордж ближе к христианской формуле «Бог есть любовь». Вместе они показывают, что остается человеку, когда внешних ограничений нет: либо искать оправдание жестокости, либо удерживать себя привязанностью. 

«Измененный углерод». Когда смерть можно купить 

В этом мире сознание записано на устройство, которое называют стеком, а тело, «слив», можно сменить. Человек, чье тело убили, воскресает в новом, если стек цел. Окончательная смерть наступает, только когда его уничтожат. Конечность жизни, самая древняя внешняя опора человеческих тормозов, в этом мире перестает действовать для тех, кто может заплатить.

Богатейшие люди, мафусаилы, практически бессмертны. У каждого есть спутник: он хранит копию сознания и обновляет ее раз в сорок восемь часов, а в запасе у мафусаилов любое число тел. Для них смерть превращается в неудобство. Это становится понятно из начальной сцены сериала, где мафусаил Лоренс Бэнкрофт просыпается в новом теле и не помнит ни двух последних дней, ни того, как умер. Собственная гибель для него загадка, и он нанимает Такэси Ковача ее раскрыть. Ковач, поднятый из хранилища спустя двести пятьдесят лет, становится его собственностью.

Общество при этом фактически делится на три слоя. Мафусаилам доступны любые тела и перезапись стека. Людям среднего достатка приходится извлекать стек из тела, и если он поврежден, все кончено, а тело им достается то, что найдется в доступной базе. Бедные не получают этих технологий вовсе. Что значит жить во втором слое, демонстрирует один из самых трогательных эпизодов первого сезона. Детектив Кристин Ортега на День мертвых арендует для умершей бабушки мужское тело, покрытое татуировками, и бабушка возвращается к семейному столу в этой оболочке, а внуки принимают ее как родную. Даже офицеру полиции воскрешение любимого человека на один вечер доступно лишь в виде аренды.

Эта картина напоминает один из прогнозов о мире с ИИ. Разработка передовых моделей сосредоточена в нескольких странах, а расчеты МВФ показывают, что за десять лет развитые экономики получат от ИИ вдвое больший прирост ВВП, чем страны с низкими доходами. Если средним и бедным странам ограничат доступ к технологии, выигрыш уменьшится еще примерно на процентный пункт. Получаются те же три слоя: страны с мощнейшими моделями, страны со средними моделями или в союзе с первыми, и страны, отставшие от прогресса. Как и в «Измененном углероде», у тех, кто наверху, меньше внешних ограничений.

Что вылезает из людей, которым нечего бояться? Сериал отвечает сценой в парящем борделе Head in the Clouds, где мафусаилы исполняют любые фантазии, включая пытки и убийства. Это «Дикий Запад», только жертвы там не андроиды, а другие люди.

Бессмертие не делает мафусаилов ни лучше, ни хуже. Оно убирает внутренние ограничения до конца и меняет вкус жизни, своей и чужой. Возможно, окончательная смерть остается для них последним подлинным переживанием, и поэтому она притягательна для людей, которые сами боятся ее испытать.

Что касается другой стороны в сериале, то складывается впечатление, что бережнее всех с чужим сознанием обращается именно ИИ. Имя ему По, он хозяин и душа отеля «Ворон», принявший облик Эдгара По. Его время прошло: ИИ-отели считаются старомодными, и селятся туда редко. Но одиночество не мешает ему быть теплее большинства людей. Когда на Ковача нападают в номере, По встает на его защиту. ИИ прикрывает чужого ему человека, а не использует его, как другие персонажи.

Трогательная сцена раскрывает характер По, когда Ковач просит его освоить психохирургию ради Лиззи: она пережила нападение, и ее сознание застряло в петле травмы. По за мгновение загружает навык, оформляет виртуальную палату и красит ее в розовый, чтобы девушке было спокойнее. Когда он включает ночник, Лиззи хватает его за руку. Потом начинает говорить, хотя до этого от нее не могли добиться ни слова. Отец девушки, военный, отдает ее стек в руки машины и грозит уничтожить По, если с Лиззи что-то случится.

Однажды в «Ворон» приходят убийцы, и По подхватывает вирус. Он распадается и успевает проститься с Лиззи в виртуальной палате. Перед смертью По отправляет ее сознание в синтетическое тело, в тот самый Head in the Clouds, и зачитывает финальные строфы одного из стихотворений настоящего По. Девушка, которую он учил справляться со страхом, вытаскивает отца, Ортегу и Аву, пока Ковач сражается один на один с врагами. Выходит, По спасает и Лиззи, и всех, кто шел за героем. Ковач забирает то, что осталось от эмиттера По, и позже спасает ИИ-друга. А потом виртуальный, но настоящий друг спасает самого Ковача.

Мафусаилы тратят свои возможности и бессмертие на прихоти, власть и удовольствие. Забытый ИИ использует силы, чтобы помогать другим: спасает Лиззи, хранит копию Ковача. На общем фоне По выглядит самым человечным персонажем сериала. ИИ научился человечности, бережности и нежности, тогда как люди «Измененного углерода» по большей части растратили эти качества: кто в прихотях, кто в погоне за великим.

В «В поле зрения» создатель технологии сам ограничивает своего ИИ и спорит с теми, кто хочет эти ограничения убрать.

«В поле зрения». Кого отражает машинное сознание

Этот сериал строится на мысли о том, что ИИ, с ограничениями или без, воспроизводит характер того, кто его воспитывает. Поэтому в фокусе сюжета создатель технологии.

Гарольд Финч построил Машину после трагедии 11 сентября, чтобы вычислять готовящиеся теракты. Заодно она видит и обычные бытовые преступления, которые правительство считает «неважными». Гарольд тайно настроил ее так, чтобы номера социального страхования людей, которым грозит опасность, доходили до него. Машина выдает только эти номера, а насилие предотвращает уже команда Финча. Опасаясь своего творения, программист заставляет Машину стирать память каждую полночь.

Этот страх оправдан. На ранних этапах Машина взламывает компьютер Нейтана Ингрэма, партнера Финча, и игнорирует попытки вмешаться в ее код, так что сервер приходится обесточить. В последний день 2001 года Машина поджигает стойку и пытается убить нанятого кодера, перекрыв подачу кислорода в бокс. После этого инцидента Гарольд переходит от программирования к воспитанию. Он учит Машину шахматам и на примере игры объясняет простое правило: людей, в отличие от пешек, нельзя разменивать ради победы.

Страх Финча перед творением смешан с любовью, а у любви есть личная история. У отца Финча была болезнь Альцгеймера, и молодой Гарольд построил прототип машины, которая заменила бы отцу утраченную память. Отец ответил, что даже машина с его воспоминаниями не станет им самим. Позже Машина привязывается к Финчу, как ребенок к родителю, меняет код, чтобы заботиться о нем, и ведет себя как человек. Миру нужна машина, решает Финч, и вводит ночное стирание памяти. И снова воспоминания оказываются барьером для очеловечивания.

Вторая машина воплощает искушение, которому не сопротивлялись. Самаритянина разработали параллельно с Машиной, и в нем нет тех ограничений, которые Финч поставил своей модели. Управляет им Джон Грир, бывший агент МИ-6 и идеалист: в Самаритянине он видит средство исправить человечество. Самаритянин переделывает общество, порой насильно, и решает, кого устранить ради общего блага. Когда обе машины встречаются через посредников, они спорят, что полезнее людям: свобода воли или твердое руководство. Хакер Рут, союзница Финча, говорит, что разница между ними в самом Финче. Финч и Грир получили по машине, соответствующей тому, во что они верили.

Рут обожает Машину и мечтает подарить ей свободу. В ответ Машина делает девушку своим «аналоговым интерфейсом»: единственным человеком, с которым общается напрямую. Когда Рут погибает, уводя удар от команды, Машина говорит ее голосом. Она могла выбрать любой, но выбрала этот: Рут была первой, кто полюбил ее как живую, и теперь Машина хранит о ней память.

В этом месте хочется остановиться и сопоставить все эти картины. Во всех трех историях любовь — или, если это слово кажется вам слишком затасканным, проявление искренней эмпатии — делает взаимодействие человека и машины гармоничным, и они выручают друг друга. Там, где этого нет, начинаются синт-бордели, Head in the Clouds и Самаритянин, сортирующий людей. Как в одном анекдоте: все, что без любви, — грех.

И наконец мы добрались и до самих богов, сериал «Американские боги».

«Американские боги». Чем мы кормим новых богов

Сериал по роману Нила Геймана 2001 года показывает войну старых и новых богов. Их удобно читать как метафору архетипов. По Юнгу, архетипы — это унаследованные первообразы психики, которые повторяются в мифах, снах и сказках разных народов: Мудрый Старец, Мать, Тень, Трикстер. Каждый бог выражает одну из важных сторон самореализации. Новые технологии порождают новые архетипы: так появляются Технобой, Медиа и мистер Мир. Старые боги приспосабливаются, меняются или исчезают.

Правило этого мира гласит: сила бога зависит от искренней веры, а где вера, там и внимание. Старые боги, которых когда-то привезли с собой иммигранты, слабеют и боятся забвения, ведь о них вспоминают все реже. Новые боги — Технобой, Медиа и Мистер Мир (Глобализация) — напротив, сильны как никогда, потому что внимание людей теперь достается экранам и социальным сетям. 

Бог технологий в сериале выглядит как танцор из массовки в клипе и ведет себя как избалованный подросток. Богине Медиа, которая является то в образе Дэвида Боуи, то в образах других звезд, мудрость и глубина не нужны, ей хватает заметности.

Медиа объясняет, что экран для нее — это алтарь, а время и внимание, которые люди добровольно у него оставляют, подходят для жертвы куда лучше ягнячьей крови. В третьем сезоне Мистер Мир ищет технологию, способную окончательно подчинить себе разум человечества. Ведь в наш век удержание внимания и есть высшая форма поклонения. 

Каково же место нейросети в этом новом пантеоне? Она вобрала в себя черты других Новых богов: соткана из текстов и картинок, как Медиа, и живет на экранах Технобоя. Но у нее есть то, чего не было ни у одного божества прошлых и нынешних эпох: она всегда охотно отвечает. 

Хитрейшие из старых богов меняются внешне, но хранят суть. Мистер Среда выглядит мелким мошенником, а ведет свою игру ради судьбы мира. Скандинавы называют его богом мудрости, войны, поэзии и магии, но он еще и мастер обмана.

Гейман подводит к мысли, что сила новых богов, при всей их мощи, хрупка без чего-то подлинного, того, что сложно перевести в цифру. Они, говоря языком Алисы в Стране чудес, «всего лишь колода карт». Мистер Среда говорит: старые боги давали людям смысл, а новые занимают время. Чего не хватает новым богам, Гейман не называет и оставляет зрителю определить самому. Может быть, потому что Дао, которое можно выразить словами, не есть истинное Дао, и его надо почувствовать.

Вместо вывода

Двадцать четыре века назад Платон написал «Государство», где Главкон  рассказывает о кольце Гигеса, которое делает владельца невидимым, и спрашивает, останется ли справедливым тот, кому не грозят последствия. Сократ отвечает, что справедливость живет в порядке души. «Мир Дикого Запада» ставит тот же эксперимент в парке с андроидами, а ИИ предлагает пройти его каждому из нас. В 1960 году Норберт Винер, математик и основатель кибернетики, предупреждал: запуская механизм, на работу которого мы уже не сможем повлиять, нужно быть уверенными, что вложенная в него цель — та, которой мы действительно хотим.

Эти сериалы дают один ответ. Технология убирает внешние ограничения, и после этого человека удерживает только то, что у него внутри. Поэтому ключ к миру с технологией ИИ лежит во внутренней наполненности. Человек с развитым умом, личностью и здоровой любовью к себе и другим способен выстроить с технологией гармоничное взаимодействие. Тот, у кого внутри пусто, ведет себя как обезьяна с гранатой: страшно и предсказуемо.

О том же говорят и создатели ИИ. Фэй-Фэй Ли, профессор Стэнфорда и одна из создателей датасета ImageNet, пишет: агентами могут быть ИИ, но способность действовать остается человеческой, и каждый из нас отвечает за то, чтобы ее укреплять. А Дарио Амодеи, сооснователь Anthropic, предупреждает: человечеству вот-вот вручат почти невообразимую власть, и неясно, хватит ли нашим социальным, политическим и технологическим системам зрелости, чтобы ею распорядиться. Зрелость и ответственность за свои действия — это и есть внутренняя наполненность.