Искусственный интеллект как система управления. Как государства, спецслужбы и мошенники манипулируют вашим сознанием

Сегодня специализированные модели достигают феноменальной точности в своих нишах. Машинное обучение используется в различных сферах, таких как: маркетинг, банкинг, инфобизнес, охрана порядка, моделирование, исследование и т.д. Модели могут не только рекомендовать, но и склонить человека к определенной покупке; Узнать о его намерении оттечь к конкурентам за несколько недель до того, как оно возникнет; Предсказать реакцию и построить личностный профиль. Но мало кто знает, что ИИ способен подобрать идеальный ключ к психике и дотянуться до нее через любимые сервисы и контент; Заронить нужные страхи и желания; И даже заставить защищать чужие интересы ценою своей жизни.

Телеметрия

Все знают, что любая корпорация сегодня так или иначе занимается сбором данных. Они анализируют ваши клики, движения средствами ввода, реакцию сетчатки, что вы произносите и как печатайте текст. Все это не только полезные данные, но еще и уникальный почерк, словно ушная раковина или отпечатки пальцев.

Однако мало кто осознает, что это значит на самом деле и какую власть над ними дают эти данные. Услышав очередное заезженное предостережение о слежке, человек отмахивается и повторяет какой-нибудь тезис в оправдание использования любимого сервиса к которому так привык. И ведь верно, зачем менять свою жизнь ради чьей-то паранойи? Как говорится, повторение убивает смысл. Чем чаще мы слышим одно и тоже, тем меньше пытаемся вникнуть. Чтобы исправить это и нужна данная глава.

Давайте представим, что мы забыли все, что знаете о науке о данных и попытаемся выстроить представление заново.

Сказ о данных.

Представим, что на дворе 2010-е, а мы с вами крупная технологическая компания, занимающаяся производством разных устройств. Мы заметили, что по какой-то причине наши конкуренты стали съедать все больше рынка и теснить позиции. При этом качество их продукта, как и уровень маркетинга не отличаются в лучшую сторону. И даже те, перед кем мы имеет множество преимуществ, улучшили свои позиции. Не порядок…

Анализ показал, что все прогрессирующие компании имеют одну важную особенность — данные. Так или иначе, каждая из них владеет источником данных или сотрудничает с кем-то, кто обладает им. Поэтому мы решаем не отставать от тренда и приобретаем небольшой интернет-сервис и на его основе создаем собственную платформу. Отныне клиенты могут не просто купить товар, но и зарегистрировать его, получать обновления, обращаться в службу поддержки, участвовать в развитии продукта.

Теперь мы знаем не только о наиболее частых поломках и уровне спроса, а открываем совершенно новое измерение пользовательских чувств. Оказывается неверное расположение кнопки может заставить клиента редко использовать продукт. А наличие странной разноцветной подсветки, делает товар более желанным. Людей манит не функционал, а то, как его преподносят и кто им пользуется. Некоторые типы устройств порождают целые субкультуры или даже становятся мастхэв внутри сообществ. Вопрос в надобности отходит на второй план, когда культура требует, а общество делает изгоем того, кто не имеет правильной побрякушки. Товар — это маркер принадлежности, статуса, взглядов и образа жизни. Он словно социальный клей держит людей вместе, как язык, традиции и ритуалы. Вот почему так важен бренд и его репутация.

А что если построить индивидуальный портрет каждого пользователя и соотнести его с информацией из других баз данных? Покупаем данные страховки, кредитную базу, медицинские данные, приложение “Дорогой дневник”, карты, игровой сервис и далее по списку и узнаем о людях больше, чем они сами о себе. И несмотря на то, что данные могут быть фрагментированы, похожие группы часто обладают похожими признаками. Это означает, что компании вовсе не обязательно иметь вашу медкарту для эффективного предоставления услуг: достаточно медкарты человека похожего на вас по другим признакам. Вот почему даже минимальные знания дают больше, чем можно представить.

Теперь-то можно не опасаться сможет ли тот толстяк, имеющий диагноз “сердечная недостаточность” и не имеющий страховки, позволить себе нашу пиво-кофемашину или “крякнет” до того, как успеет выплатить рассрочку. Если успеет, порекомендуем товар на главной странице.

Чем больше клиентов обращается в сервис, тем больше мы знаем о них в целом. Частное усиливает общее: разношерстные данные улучшают обобщающую способность моделей. Справедливо и обратное: обобщенные данные порождают все более индивидуальный подход. В какой-то момент информация становится сама по себе продуктом. Правильно подобранные рекомендации, таргетированная реклама, бонус, комплимент и поздравление: все это привлекает людей. К нам все чаще обращаются конкуренты и малые фирмы за помощью. Теперь сотрудничать с нами лучше, чем соперничать. Игра идет уже не на деньги, а за контроль над рынком — умами людей и их желаниями. Если контролировать разум человека, он совершит нужную покупку не из надобности, а из преданности или по привычке или еще по како-либо эмоциональной причине.

Чтобы глубже осознать силу данных давайте сыграем в слова! Охватите взглядом изображение ниже (лучше всего перемещать фокус по всей площади). Зафиксируйте, скажем, первые 20 слов, которые увидели и смысл которых вам понятен.

Ответе для себя на следующие вопросы:

1. Почему именно эти слова были первыми?

2. Как вы думайте, что этот список говорит лично о вас?

3. Удивляет ли вас тот факт, что из всего многообразия слов вы разглядели именно эти?

Это не идеальный тест, но он имеет явную корреляцию с реальностью. Все дело в том, что слово — это графический код определенного смысла. Люди словно детекторы фиксируют те смыслы на которые сами настроены. Если ментальность человека резонирует с чем-то, он сможет выделить это среди всего многообразия информационного шума. Можно сравнить это со свертками в CNN, которые срабатывают на определенные паттерны и сочетания, на которые они заранее обучены.

Заинтриговало? Вернитесь к списку и постарайтесь распознать как можно больше слов. После ответе на вопросы:

1. Рассмешили ли вас какие-либо слова и почему?

2. Вызвало ли какое-то слово негативные чувства, словно автор поместил его специально чтобы задеть лично вас?

Удивительно, но то над чем мы смеемся также многое о нас говорит. Мем про зумера как правило будет интересен самому зумеру. А картинка с голоштанным алкоголиком, который лежит на помойке после праздника, скорее всего, рассмешит другого пьяницу, который сам попадал в подобные ситуации. Мы испытываем эмпатию к похожим на нас типам, поскольку именно их понимаем лучше всего. То же самое и с оскорблениями. Нас задевают триггеры, которые, по нашему собственному мнению, имеют отношение к нам и выставляют нас в невыгодном свете. Если у человека есть психологический комплекс, то он чаще будет замечать связанные с ним вещи. Иногда слово ранит острее меча: люди буквально испытывают ту же боль. В тяжелых ситуациях они могут сами наносить себе физические повреждения, чтобы заглушить ментальные переживания. Такой феномен встречается например при ПТСР.

Ко всему прочему, многие из представленных слов могут носить разное значение, например: тир, лор, питон, рак, укроп, чурка, сигма и другие. Некоторые являются частью специфического сленга. В зависимости от того, какой вы человек, вам и откроется их смысл.

Думаю, теперь вы понимаете, насколько все серьезно. Если маленький список слов может столько рассказать о вас, то что могут гигабайты данных?

Личностный профиль

Вот мы и подошли к моменту, где начинается построение полноценного профиля человека.

На самом деле попытки сканирования и классификации психики были с незапамятных времен. До нас дошли труды античных философов и тексты ведических произведений с их ассоциациями с чакрами. Из академических концепций можно выделить Фрейда с его типами, которые я не рискну здесь упоминать. А так же более продвинутые типы Юнга. Классификации Личко и Леонгарда актуальны даже сегодня. Ну и конечно векторное тестирование. Каждая из концепций все более подробна и сложна. Передовые способы личностной классификации уже достигли уровня выше человеческого понимания. Большинство моделей с их порою странными, но феноменально точными прогнозами и выводами — это черные ящики, куда стекаются тысячи признаков и происходят сложные вычисления. Никто не сможет толком объяснить, почему модель решила так, а не иначе в конкретном случае.

Для построения персонального профиля, конечно же нужны персональные данные. Любой человек хотя бы раз в жизни сталкивался со сбором личной информации. Например вам могли попадаться тесты СМИЛ, личные анкеты или IQ тесты. Хотя они все реже встречаются, поскольку сбор данных перешел на новый уровень, не требующий топорных вопросов вроде “Мне кажется мною кто-то управляет. Да/Нет”. Гораздо более полезными признаками являются те, что сокрыты в повседневной деятельности, когда сознание не ожидает подвоха. Теперь же представьте, что использование вашего любимого сервиса — это тот же СМИЛ длинною в годы и миллионы вопросов. Каждый клик, каждый выбор в ленте, каждый смех и мат, увеличение зрачка, комментарий и лайк — это реакция, которая выстраивает все более точный цифровой отпечаток вашего ума. Человек, который не догадывается о том, что именно предоставляет сервису, отвечает более точно и безотказно. Таким образом собирается крайне ценная информация, которой захочет завладеть ваш потенциальный работодатель, маркет, мошенник или спецслужба.

Теперь разберемся, что же такое личностный профиль на практических примерах. Изучите следующее изображение. Что вы можете сказать об этих людях? Каким образом возможно использовать представленную о них информацию?

Интересно, что их установки и стериотипы — это лишь малая и не самая полезная часть информации. Ибо мнение обывателя вряд ли будет цениться, но гораздо важнее сам стиль мышления: то как думает индивид. Насколько он глубок или поверхностен в своих суждениях, в каких сферах и в каких ситуациях. Данные наборы шаблонов и стиля называются фреймами мышления.

Чтобы понять, сколь ценными являются эти фреймы, стоит отдельно на этом остановиться. Фреймы мышления позволяют не только определить суть человека, но и с высокой долей вероятности предсказать его реакцию на разные вещи и события. Гибкость и возможность кластеризации позволяют выделить довольно сложные зависимости наравне с любыми другими данными. А мы знаем, что на основе данных можно обучить модели (о чем пойдет речь в другом разделе). Также фреймы мышления не зависят от конкретных верований и политический воззрений. Удивительно, но порою совершенно разные на первый взгляд люди мыслят примерно одинаково…

Этот пример показывает насколько поверхностными могут быть ярлыки. А так же, насколько сложными могут быть взаимодействия признаков.

И все же не каждый разум поддается описанию даже если данные очень богаты. Психологическая классификация хорошо описывает традиционные общества и когнитивно-простые персоны. Даже современные ИИ-модели имеют серьезные ограничения, поскольку строятся на основе данных большинства людей в рамках нескольких сигм. И ни одна концепция не сможет охватить поистине сложный разум. Это слегка успокаивает, особенно в комплекте со знаниями, описанными здесь.

Надеюсь у меня получилось создать примерное представление, что такое современный личностный профиль. Теперь давайте поговори о том, какими способами можно использовать все эти данные. В том числе, как можно обернуть это знание против самого человека.

Классические способы влияния

Перед тем как перейти к передовым методам воздействия, коротко напомним о классических.

Для воздействие на субъект, нужно определить не только его слабости и страхи, но и понять насколько сильна его воля. Интересно, но вовсе не разум, работоспособность, сознательность и другие качества определяет уровень влияния человека, хотя и они важны. Первостепенным качеством является воля. Разумный конформист всегда уступит тому, кто готов действовать до конца, не считаясь ни с чем. Посредственный практик превзойдет выдающегося аналитика. Человек, который не ломается под обстоятельствами, рискует жизнью и действует без оглядки в итоге либо умрет (с высокой долей вероятности), либо таки получит желаемое. Вот почему успех дело авантюристов.

Все общество можно подразделить на категории для изображения которых подходят круги Эйлера и воронки. Они являются своего рода визуализацией правила Парето, где большая часть проблем решается малыми средствами. Давайте коротко разберем категории по уровню волевого компонента:

Конформисты.

Многие люди достаточно терпимы к нарушению своих прав, особенно если это записано в культурном коде. Обычно, сталкиваясь с вопиющий несправедливостью, средний человек реагирует спокойно и цинично, иногда даже с юмором, что защищает его психику от лишней нагрузки. Какой толк бороться с тем, что происходит каждый день и против чего ты бессилен? Вот почему в большинстве случаев для корректировки поведения достаточно одного замечания или словесной угрозы.

Если спецслужбы заинтересованы в таком человеке, им достаточно прийти к нему на работу. Давление через начальство — наиболее быстрый путь принуждения.

Мошенники для взаимодействия с данным профилем часто выбирают тактику доминирования: авторитетная личина, бравирование организацией, повелевающий голос и угрозы последствиями.

Субъекты.

Этот уровень предполагает наличие воли и четкой общественной позиции. Они не принимают слова на веру, даже если вынуждены поступать против своих убеждений. Субъектные люди обычно занимают активную позицию, могут брать на себя ответственность и аргументированно отстаивать мнение. Обычно это начальники среднего звена, бизнесмены, администраторы и все те, кому излишний конформизм не позволил бы стать собой. Их недостаточно поставить перед фактом “у нас тут такие порядки”. Поэтому воздействие должно подкрепляться материальными благами, общественным рангом или реальными санкциями.

И все же они уступчивы. Если для изменения позиции предложить такому человеку должность или повышение дохода, то он скорее всего найдет внутренне обоснование, почему он должен согласиться. Если выбить у него финансовую опору, он скорее сдастся и пойдет на уступки.

Примитивные способы развода здесь уже не работают. Кем бы ни представлялся мошенник, человек всегда будет задавать вопросы и проверять данные, поскольку одного “авторитета” уже не достаточно.

Лидеры.

Имеют четкие принципы и представление о системе управления. Они осознают свои возможности, знают права и готовы их отстаивать. Как правило, действуют холодно и рационально. Часто соблюдение внутреннего “кодекса” важнее материального статуса. При этом сам кодекс может быть довольно специфическим. Среди этой категории: лидеры мнений, владельцы крупных активов, политики, воры в законе, неформальные лидеры и другие люди с истинным статусом. Обычно профиль такого человека пилообразен на шкале СМИЛ с повышенным показателем самостоятельности/психопатии.

Попытка оказать давление или купить такого человека приводит к реверсивной реакции. Прямой подкуп может оскорбить, а угрозы вызвать ответные действия. Связываться с таким человеком без стратегии будет проигрышным решением. Однако изучение страхов и потаенных желаний все же может позволить найти рычаги воздействия. Как и реальная угроза семье, статусу, финансовому положению может заставить изменить позицию. И все же подобный человек — серьезный противник, и даже временное отступление не гарантирует невозможности реванша. Именно организованные действия данного типа людей оказывают решающее влияние в момент неустойчивости системы.

Фанатики.

Редкий и абсолютно неуправляемый профиль, одержимый сверхценными идеями. Ни материальные блага, ни угроза жизни не являются рычагами давления на них. Общепринятые нормы могут намеренно отрицаться, имея философское обоснование. Скорее мир прогнется под такого человека, чем он сам. Это тот случай, когда субъект готов отправиться в ад, чтобы забрать с собой как можно больше врагов. В сочетании с высоким интеллектом и специальными навыками может представлять угрозу на уровне цивилизации. Среди них: революционеры, пророки, вожди, народные герои, серийные убийцы.

Явная корректировка может быть фатальной в условиях неопределенности. Подобные субъекты сами способны воздействовать на других, сплачивая вокруг своей персоны. Попытка уничтожить репутацию или устранить такого человека радикальными мерами может лишь подогреть интерес общества.

Сами методы воздействия могут быть дешевыми и дорогими в плане ресурсных и репутационных издержек. Убеждение, подкуп, угрозы расправой, заключение, убийство — имеют совершенно разную цену. Последствия радикальных решений могут быть непредсказуемыми. Даже точечное воздействие может лишь временно оставаться незамеченным обществом, пока все факты не сольются в единую картину. Важно понять, что поистине жестокие меры применяются против очень малого круга людей, прошедших воронку, и любое адекватное управление требует их минимизации. Если заключенных и “еретиков” в стране становится слишком много, то общество быстро понимает, что проблема явно не в осужденных. И чем абсурднее легитимизация силовых мер, тем быстрее происходит эрозия управленческой системы. Иными словами, каждый убиенный и принужденный — это рана, которая сокращает срок жизни управленческого строя.

Поэтому основной принцип такой: дешевые способы воздействия имеют высокий приоритет над дорогими, а пряники лучше кнутов. Последствия воздействий должны минимизироваться, какого типа они бы ни были. В идеале субъект вообще не должен знать о том, что на него оказывается воздействие. Подобно тому, как одно СМС-поздравление клиента способно удержать его от смены тарифа, простая встреча может удержать человека от смены нарративов. Например, предопределив бунтарство одного из директоров, агент влияния должен заведомо встретиться с ним в приятной для субъекта обстановке, оценить его работу и предложить помощь и тем самым сохранить управленческий строй. Сама “помощь” должна быть минимизирована по цене и максимизирована по длительности эффекта для сокращения административных ресурсов (прежде всего фокуса внимания). Стратегия выбирается по сложной совокупности всех переменных, для чего идеально подходят современные модели.

Также важно осознать, что желания людей зачастую не рациональны. И поскольку основной метрикой является именно корректировка установок и поведения, дать нужно именно то, чего желает человек, а не то, что ему нужно на самом деле. Агент влияния не будет давать советы и рекомендации, а словно джин выполнит волю самого человека или, что еще лучше, его подсознательных желаний. Иными словами, если Винни-Пух вожделеет мед, то он должен получить именно мед, хотя в реальности нуждается в хорошем тренажере.

Это был короткий экскурс по классическим методикам влияния. И хоть он упускает множества деталей, который невозможно упомянуть в одой статье, он все же дает системное представление об управлении отдельными субъектами. Теперь применим вышеописанные знания в контексте машинного обучения. Для этого я создал ряд заданий, где вам нужно побыть в роли ИИ-модели, подсказывающей злодею верную стратегию на основе имеющихся данных о его жертвах. Возможно кому-то это будет неприятно, но именно способность продумывать уловки и выявлять уязвимости поможет вам выработать собственный иммунитет к ним. Если вы поймете их суть, то сами сможете избежать такой участи и даже помочь другим людям.

Помогите мошеннику развести людей. Изучите ключевую информацию о них и подберите верную скам-стратегию.

Помогите оперативнику разработать особо принципиальных граждан.

Передовые способы влияния

Итак, полагаю это наиболее интересный раздел, который описывает конкретные технологии от очевидных, до почти фантастических.

ИИ-близнец.

Если предположить, что существует возможность построения модели личности, то возможно ли построение хотя бы грубой модели разума — этакого функционального аналога, способного думать и рассуждать?

Дело в том, что профиль является своего рода слепком ума, когда как ИИ-агент его динамическая модель. Подобная технология может не только анализировать личность по открытым данным, но и предопределить ее реакцию на разные вещи и события.

Изучение слабых мест, стрессового порога, знаний человека в каком-то вопросе может оказать решающую роль в споре или при мошеннической атаке. Иными словами, обучив ИИ-близнеца на ваших данных, манипулятор получает грушу для битья с возможностью тренироваться и испытывать различные стратегии.

Считайте, что у вашего противника появляется союзник в виде вашей цифровой копии, которая рассказывает ему о всех своих слабостях и страхах. Более того, такой агент может действовать самостоятельно, как бот: вступать в споры в интернете, воздействовать на слабые места и выводить человека на нужную реакцию. Например, агент-провокатор может довести жертву до аффекта и заставить высказать мнение, которое облегчает вывод за рамки легальности.

Гештальт-управление.

Разберем суть технологии на примере социальной терапии, такой как общество анонимных алкоголиков, общество ветеранов, группы поддержки после утраты и аналогичных сообществах. Наверняка вы слышали о подобных группах, где люди собираются и рассказывают свои истории. Но мало кто знает, как это работает, и почему такая терапия действительно эффективна.

Глобально терапию можно разделить на 4 стадии:

1. Вовлечение. Субъект приходит в коллектив, знакомится с участниками и слушает их истории. Люди говорят легко и непринужденно, ходя речь может идти о травмирующих событиях. После, ведущий передает слово новичку и, так или иначе, убеждает его говорить, например с помощью неловкого молчания.

2. Доверие. Делясь информацией с участниками, субъект все больше начинает доверять им. Это известный феномен, когда само действие ради группы порождает отношение к ней. Мозг как бы говорит: если я делюсь с ними, значит им можно довериться. Теперь он не испытывает прежнего дискомфорта и не цензурирует информацию.

3. Интеграция. Субъект, который провел в группе достаточно времени, становится ее частью. Возникает гештальт и личностные барьеры ослабляются. Теперь он — часть одного большого организма.

4. Интроекция. Находясь в коллективе с оздоровленными людьми, борющимися с теми же проблемами, субъект неосознанно перенимает их общие черты, по признаку которых они собрались. Успешные примеры и общая атмосфера оздоровления теперь является частью и его целости. Таким образом человек излечивается.

Это пример продуктивного использования гештальта на благо людей. Он помогает неосознанно передать не только знание, но и концепцию образа жизни нуждающемуся человеку. Болезнь излечивается не лекарствами или внушением установок, а изменением самого мышления.

Но есть и оборотная сторона: разные организации также берут данную технологию на вооружение, будь то государство, спецслужбы или мошенники, и используют ее в своих корыстных целях. Представим человека, который попадает в определенную среду схожих людей. Через какое-то время он начнет “резонировать” с ними на одной волне и станет частью коллектива. Это означает, что он будет чаще делиться с ними личной информацией, в том числе чувствительной. Ведь ни для кого не секрет, что люди склонны откровеннее говорить в группах, которые считают своими, например в семье.

Но главное, что этот принцип работает и в обратную сторону: он позволяет внушать (интроецировать) нужные установки и поведенческие стереотипы самому субъекту. Таким образом через групповые среды, например в университете или армии, внедряются необходимые догмы. Особенно эффективно, если это происходит на этапе формирования личности, ведь тогда от них практически невозможно избавиться. Чем раньше они внедрялись и чем ниже интеллектуальный потенциал конкретного индивида, тем прочнее закрепятся программы. Это крайне интересно, однако управление массами не является темой этой статьи и, возможно, будет рассмотрено позже.

Эта технология уже нашла применение на различных интернет-ресурсах, сообществах, чатах, социальных сетях и хостингах. Люди активно делятся информацией о себе, тем самым разглашая полезную информацию. Но еще более опасно обратное: внедрение установок. Почти все люди имеют своего электронного кумира, мнение которого важно для них и которому они неосознанно подражают. Таким образом они неосознанно перенимают его черты, становясь своего рода шаблонной копией. Вот почему управляющим организациям так важно выдвинуть именно своего идола на первый план и затмить других. По этой же причине происходит борьба за информационное пространство, в том числе с применение заградительных мер. Отягощение доступа к любимому блогеру или исполнителю, заставляет человека пойти за доступным аналогом.

Важно осознать, что дело вовсе не в том, какие говорящие головы верные, а какие "слуги дьявола". Если у человека есть кумир для подражания, то главный вопрос, почему он так желает стать на него похожим. Является ли этот образ идеальным я или попыткой компенсировать недостатки, которых возможно нет? Стоят ли эти усилия и потраченное время того, чтобы править себя по чужим лекалам?

Контент-управление.

То, что будет описано далее будет звучать как фантастика, однако это самый важный раздел статьи. Необходимо правильно понять, что представляет из себя данная технология, которую не следует путать с таргетированной пропагандой. Речь идет о совершенно новом инструменте, призванном манипулировать бессознательным.

Если вы хорошо смоделировали чью-то личность, ее взгляды, тип мышления и генезис, то возможно ли каким-то образом управлять человеком путем внедрения нужных установок посредством культуры? Представьте себе, что среди всего многообразия контента, рекомендованного по признаку симпатии, есть малая часть информации, которая пронизывает его и должна побудить человека к целевому действию или мыслям.

И речь даже не о пресловутых видео по психологии, которые должны что-то открыть вам о самих себе. Такой модели не нужно генерировать гигабайты данных специально под вас, ведь это было бы слишком расточительно. Достаточно выудить конкретное видео из бездонных глубин интернета, которое должно натолкнуть вас на нужные мысли.

При этом совершенно не важно, что именно делал автор контента и зачем: имеет смысл только система оперирования. Главное не посыл контента, а до кого он в итоге дойдет.

Специальный контент не навязчив, редко встречается, возможно в пропорции 1/100 общего времени и отлично подобран для воздействия на сознание конкретного индивида. Это не какое-то отдельное видео или “25-кадр”, а сам по себе специальный подбор уже существующих номенклатур, словно выдача карт из общей колоды. И словно в игре, выдача точно координируется с вашими собственными “картами”. Каждый такой подбор должен оказать воздействие на точки неустойчивости, чтобы толкнуть мнение в желаемом направлении. Лучше всего делать это в момент наивысшей хрупкости, когда человек ищет опоры, успокоения, знания, жалости и тому подобного. Другими словами, нуждающийся человек — уязвимая цель. И подобно тому, как нищий сам рад повестись на крупный выигрыш (ну а вдруг!), человек в период нестабильности лучше всего управляем. (По этой же причине, специальные службы создают для людей стресс с их утренними вторжениями, угрозами и изоляцией.)

Удивительно, но различить, что именно является воздействием не сможет даже специалист, поскольку, как я уже писал, модели — это черные ящики, действующие по крайне сложным правилам, зашифрованным в их весах. А значит утверждать, что вас программируют через музыку или кино будет равносильно признанию в безумии, что, согласитесь, очень удобно. Доказать такое воздействие или отличить его от паранойи практически невозможно. Это открывает временное окно для безнаказанного использования таких систем. По крайней мере, до того как об этом станет широко известно гражданскому обществу.

И все же любой специалист не станет спорить, что сама технология не является невозможной. Если существует модель, которая сканируют и строит профиль пользователя по открытым источникам (тональность комментариев, предпочтения, переписку и подобное), то что мешает ей измерять успешность воздействия на него? Главное определить, что именно является критерием успеха. Далее вступает алгоритм обучения с подкреплением, который связывает контент воздействия с профилем. Изменит ли человек свое мнение по определенному вопросу после просмотра конкретного фильма? Произведет ли на него нужное впечатление верно подобранная новость? Прислушается ли он к монологу симпатичного ему персонажа?

Проблемой является лишь то, что система доподлинно не знает, что еще повлияло на человека, перед его решением, и каков ее истинный вклад. Однако, в свое время рекламщики научились вычислять прогрев клиента и вклад каждого ресурса (соцсети, мессенджеры, ТВ, банеры и прочее) на реальный спрос, чтобы правильно распределить бюджет. А значит выявить влияние модели на взгляды человека также возможно по косвенным признакам, пусть и не с абсолютной точностью.

Практический пример. Давайте представим, что некая тоталитарная организация по какой-то причине хочет контролировать разум нашего Пети. Напомню, что он является тревожным молодым человеком, боящемся войны. Совершенно бессмысленно воздействовать на него в вопросах в которых он убежден на 100%. Поэтому важно найти те темы, где его мнение находится в точке равновесия, а за тем плавно его скорректировать. После успешного воздействия, некоторые другие установки также могут начать смещаться, чем можно воспользоваться, чтобы окончательно изменить отношение. Далее пример подбора контента, который должен натолкнуть Петю на нужные мысли о войне 1812 года, в успешности которой он сомневается. Цель: повысить патриотический настрой и открыть пространство для дальнейшего воздействия.

Обратите внимание сколь ненавязчиво контент пытается сообщить пользователю, как правильно думать. Он не “кричит” о том, что французы — плохие, вместо этого используется вызывающие приятные эмоции: юмор, развлечения и эстетику силы. Верные догмы сопрягаются с удовольствием и успокоением, которые так ценит объект воздействия. Они закрепляют условный рефлекс отношения субъекта к предмету. Если в итоге мнение удалось сдвинуть, то можно перейти к более насущным вопросам, которые и являются истинной целью корректировки. Такими темпами Петя может добровольно стать активистом поддержки нужных нарративов или даже дегустатором майонеза.

Данная технология — этакое ИИ-искусство вызывать эмоциональный отклик и наталкивать на нужные мысли. Модель буквально может общаться с вами голосами любимых персонажей, поучительными историями, мемами и пословицами. При этом каждая из них подобрана именно под вас! Из миллионов номенклатур машина выберет тысячу лучших. Из тысячи лучших она выберет десятки наиболее действенных на человека с вашим профилем. Это похоже на подбор идеального аргумента, который словно “заклятие”, должен околдовать жертву и заставить делать то, что нужно манипулятору.

Человек, находящийся под воздействием, может испытывать чувство дискомфорта, легкого стыда, словно лично его кто-то ткнул носом в неправоту. Он может начать задаваться вопросом: “Действительно ли я прав?”, особенно в отношении заинтересованных в общественном мнении лиц и спорных событий, которые упорно освещают под нужным углом. При этом сам инструмент бездушен и точен и оператору вовсе не обязательно понимать, как он работает. Чтобы управлять такой системой, достаточно обучить и назначить посредственного исполнителя. Он словно бюрократ-убийца, что управляет концлагерем и не задумывается о последствиях, будет изучать жертв и активировать разные профили. Поэтому важно помнить, что даже самое верное и убедительное доказательство может служить абсолютно корыстным и ничтожным целям. Сказанная правда не делает сказавшего правым. Помните об этом.

Надеюсь, теперь становится ясно, насколько далеко зашли технологии управления. Речь уже идет не о простых способах вроде промывки мозгов, а о тончайших манипуляциях бессознательным. И даже если сегодня имеющиеся данные и уровень развития отрасли все еще не представляют прямой угрозы, то нет никакой гарантии, что завтра не появится модель, которая хакнет ваше сознание.

Как не быть пешкой

На протяжении истории контроль и влияние всегда осуществлялись над людьми. Однако на каждом этапе он был далек от абсолютного: человек всегда мог быть собой внутри сообществ, семьи или, хотя бы, в глубинах собственного разума. Сегодня система совершает качественный переход, когда понятие мыслепреступления уже ближе к правде, чем к вымыслу. Государства, корпорации, спецслужбы, мошенники и прочие организации неизбежно будут внедрять эти инструменты, чтобы не отстать от конкурентов. Иными словами, дело в банальном рационализме, а не в паранойи и жажде тотального контроля. Современные технологии позволяют масштабировать и персонализировать процесс управления до невиданного ранее уровня.

Теперь система не нуждается в общих идеях, поскольку может подстроится под психологические нужды каждого. А учитывая, что телеметрия в каждом утюге уже давно не фантастика, данных этих предостаточно.

Сам интернет также превратился в поле битвы. Армии ботов, притворяющихся людьми, атакуют немногих живых, посмевших поднять голову. Юмор и критика используются как оружие, наряду с генерацией фейков. Но самое ужасное, что морально устаревшая таргетированная пропаганда сменяется почти фантастическим контент-управлением. Его сила в незримом влиянии и подборе идеального аргумента, учитывающего особенности мышления, набор установок, опыт и генезис личности. И метрика качества такой технологии вовсе не объективная правота, а способность убеждать и склонять любого на свою сторону. Это означает, что знание и мышление человека (по крайней мере тех, кто близок к медиане) играют все меньше роли, а сам человек все больше рискует стать марионеткой исполинских дата-центров, бьющихся за контроль над его разумом.

Вот почему так важно сохранять объективность и стараться изучать факты. Ваша способность самостоятельно искать информацию из разных источников, а так же усилием воли подавлять первичные реакции (позитивные или негативные), будет ключевой контрмерой против данного рода изощренных манипуляций. Если вы испытывайте сильную реакции в отношении какой-то персоны или событий, задайтесь следующими вопросами:

1. Почему я это чувствую? Любая ваша эмоция — личная проблема. Она не относится к объекту, который ее вызывает, а лишь к его отражению в вашей психике. Так с чем связано это отражение? Какие проблемы оно задевает? Чем сильнее эмоция, тем больше усилий следует проявить, чтобы докопаться до ее сути.

2. Кто перед вами? У каждой новости, фильма и блога есть окрас. У каждого агенства/студии/канала есть хозяин и его интересы. Даже если распространитель контента нейтрален, то у него самого есть набор установок и стереотипов. Даже если блог исключительно развлекательный, то он существует с позволения высшей инстанции. Ничто не следует принимать на веру, как и отрицать бездумно.

3. Вы видите оболочку или саму суть вещей? Объект и ваше отношение к нему это не одно и тоже. Если вас раздражает персонаж в спектакле, то нужно держать мысль, что он является актером, играющем по сценарию внутри чужой постановки.

Далее я коротко перечислю советы, которые помогут стать более устойчивым к передовым инструментам манипулирования сознанием. Они станут дополнением к стандартным советам о цифровой гигиене, фактчекинге и проверки источников информации.

Не верь, не бойся, не проси.

Любая методика управления держится на страхах и желаниях. Не соблазняйтесь и не отступайте под давлением. Если кто-то сильно старается склонить вас к какому-то решению, задайте вопрос почему. Может так статься, что решение это гораздо выгоднее тому, кто его навязывает. Возможно даже он сам пленник своей работы, ведь у начальника есть свой начальник. Словно в аду, демон-неудачник, что не смог отправить в котел достаточно смертных, сам рискует туда отправиться. Часто современные изощренные меры есть фантазия местечковых подчиненных, которые сами запуганы до смерти, как и их начальники и так до самого дна иерархии.

В нашем примере Василий понял, что верить на слово обвинителю и сдаваться на милость системе — не разумно и решил нанять адвоката, чтобы рассмотреть все варианты. Позже он узнает сколь многого не знал и сколько всего упустил в деле и насколько выигрышное решение принял, когда решил довериться профессионалу.

Не спешите смеяться.

Сложно даже представить с каким психологическим давлением сталкиваются неугодные люди. Дегуманизация и уничижение — это современное оружие, которое используется в гибридных войнах. Травля может начаться с милого мема, перейти в троллинг, а за тем в презрение, призывы и реальную угрозу расправы. Если вы видите, как кто-то разгоняет ненависть в соц. сетях, то это повод задуматься. Вместо того, чтобы подхватывать тренды вместе с толпой, задайте себе вопрос, кто и зачем это делает. Сегодня разогнать волну в интернете стоит немалых денег. Этим занимаются целый фабрики троллей на профессиональном уровне, наряду со “звонарями” и бот-фермами.

Не будьте орудием травли — одним из толпы зомбированных, ведомой безжалостными некромантами. В какой-то момент вы и сами можете оказаться на месте того, кого травят. Этот способ будет актуален лишь до тех пор, пока толпа сама его активно поощряет.

Превратите минусы в плюсы.

Отрицательная энергия - это тоже энергия. Из любого кризиса можно извлечь пользу. Даже если это не покроет издержки, то как минимум компенсирует часть проблем. Например, если вас публично хаят, оседлайте волну популярности и обратите ситуацию в свою пользу. Затмите негатив о себе общественной пользой и яркой харизмой. Люди быстро забудут с чего все началось, и вскоре о вас будут помнить так, как вы сами захотите. Вот почему разумная система редко использует публичное давление. Сомнительное мера рискует превратить жертву в звезду с огромным медийным ресурсом, что может стать настоящим кошмаром.

В нашем примере Маша решила стать блогером, чтобы явно изложить свою позицию. Теперь о ней знают не только тролли. Кроме того, благодаря известности она сама способна оказывать общественное давление на своих противников.

Будьте опасным.

Если вы столкнулись с атакой, постарайтесь выработать контр-меры. Взвесив издержки и вероятности, нападающий может решить, что овчинка не стоит выделки и отступить. Станьте максимально дорогим и нежелательным противником, любой ход против которого будет патовым или даже вредоносным со стороны нападающих. Любая разумная система не станет связываться с тем, кто может потенциально оказать больше вреда чем пользы.

Сергей решил, что информация и специальные навыки, которыми он обладает, могут быть использованы против манипуляторов.

Выбирайте рационально.

Никогда не принимайте быстрых судьбоносных решений, какими бы ни были обстоятельства. Иногда люди ломаются не только под давлением, но и под скоротечностью событий. Поэтому, например мошенники, часто нагнетают обстановку и торопят своих жертв. Все дело в том, что рациональное мышление отстает от безусловных реакций и эмоций. Человек, который долго думает, имеет качественное преимущество перед тем, который решает сиюминутно.

Думайте наперед.

Также есть универсальный метод по выбору варианта в любой ситуации. Верный вариант - это тот, который приводит в итоге к большему пространству благоприятных вариантов. Иными словами, из двух зол нужно выбрать то, которое сохраняет пространство для маневра. Даже если одни из вариантов выглядит идеальным: устраивает все стороны и сулит выгоду, возможность выбора часто более предпочтительна. Например, если вам предлагают крупный эксклюзивный контракт, это повод задуматься, не принесет ли множество обычных сделок больше прибыли. То же самое и в правовом отношении. Многие убеждены, что свобода может быть разменяна на безопасность, когда как на самом деле свобода является ее гарантией. Тот кто отдает свободу в обмен на безопасность, лишиться и того и другого.

На первый взгляд кажется, вариант надеть ошейник является примирительной стратегией, но остаться без него — значит сохранить больше свободы действия.

Не корите себя попусту.

Даже если вы действительно в чем-то виновны, никогда не поздно встать на путь исправления. И все же знайте: никто не имеет право вас принуждать только потому, что вы оступились. Между наказанием человека и его злонамеренном использовании есть огромная разница. Худшим решением будет то, которое поощряет ваши собственные пороки и эксплуатирует их в чужих интересах. Когда как в ваших собственных интересах сделаться непреступным во всех смыслах слова, ибо избавиться от греха, значит стать неуязвимым для осуждения и эксплуатации. Люди совершившие преступления зачастую сами потаенно желают кары: это свойство человеческой психики. Поэтому когда на них сваливается беда, они смиренно принимают ее, как бы говоря: “это мне за все содеянное”. Но что искупительного в том, чтобы стать игрушкой в руках злодея? Слушать его означает предать себя чужой воле. Ни одно его слово не несет истинны, только цель вас использовать. Его речь столь же ценна, как призыв к совести от массовых убийц или давление на чувство вины от серийного маньяка.

Послесловие

Надеюсь этот материал был полезен. Помните, что секрет успеха прост и сложен одновременно: сегодня человека может спасти лишь воля и разум. Только они смогут уберечь от вышеописанных капканов.

Свои статьи я пишу не часто. Это не водяной поток, нужный для удержания пользователя с целью обогащения автора, а скорее противоположность этому — сложная статья для редкого читателя. И все же те немногие люди, способные понять ее смысл, стоят того, чтобы для них писать.

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку