The Jerusalem PostIDF confirms vehicle struck in Gaza was used by PIJ terrorists, after claims they were aid workersBollywood HungamaSCOOP: Ajay Devgn and Bhushan Kumar in talks for a big-budget spy thriller; looks at 2028 releaseFootball ItaliaSerie A Liveblog: Como-Cagliari, Lazio-Lecce, Parma-Roma and Napoli-TorinoZDF heuteAktuelle Pressemitteilungen des ZDFSDP Espectáculos“Estamos cansados de la violencia”: Alejandro Speitzer tras captura de Chapo IsidroThe South AfricanSpringboks lose to Ireland, but reach Nations Championship ‘final’ESPN DeportesEl efecto Almada benefició a Erick Sánchez y Kevin ÁlvarezBBC عربيالخلاف حول الوقود الأحفوري يُعرقل محادثات مؤتمر المناخ "كوب 31"The IndependentHow Farage is ‘not dead yet’ and plotting his political comebackNU.nlBeruchte drugsbaron 'El Chapo Isidro' opgepakt na chaotische militaire operatieRadio-CanadaSPVM : arrestation de deux policiers récemment congédiésSudinfoSpectaculaire sur l’autoroute : à 90 ans, elle roule pendant 35 kilomètres à contresens !
The Daily Newsstand · Free, Always
Saturday, November 21, 2026

Естественная совесть искусственного интеллекта

Translate

В связи с развитием ИИ и, особенно, с прогнозом получения им сознания, критически важным, особенно на начальном этапе (пока сам в себя не придет и не “повзрослеет”), становиться наличие в нём (разработанных нами, а потом дополненных им самим) систем самоконтроля. В т.ч. и этического.

Думаю не нужно пояснять почему это так важно и почему например для нас общество и цивилизация за свою историю создало множество инструментов такого (само)контроля: культура, законы и страх наказания, чувство вины, воспитание и привычка к соц.норме, честь, достоинство/репутация, мораль, этика, нравственность, стыд… много всего…

Однако все эти “предохранители” не плохо (но не на 100%) работают только в обществе и “по инерции”, причем в основном тогда, когда есть “весомые свидетели”: “не пойман - не вор”, “стыдно (только тогда) когда (кому-то значимому) видно”… а главное - имеют множество лазеек и ими не сложно манипулировать и относительно быстро и субъективно менять (ну и до кучи у ИИ “страхи”, их “природа” и “производные” будут иными, нежели у биоорганизма социочеловека).

И поэтому особую роль в системе этического самоконтроля человека (помимо Души, её состояния) занимает не нуждающаяся в свидетелях совесть - “стыд перед самим собой” [Демокрит], внутренний объективный/неподкупный голос заложенный Природой (правда не во всех в равной мере, у кого-то (ещё) спит, а у кого-то перебор, да и в разных культурах, религиях, цивилизациях по-разному формируются и проявляются её природные задатки).
И, возвращаясь к ИИ и созданию для него системы этического контроля, можно заметить, что если “алгоритмы” социальных “предохранителей” понятны (фактически список правил/исключений/способов обхода/“цены договориться”/меры ответственности) и реализовать их функционал для ИИ сравнительно не сложно, то “алгоритм” совести так же легко не определить получиться, для этого нужно сначала понять его глубинную суть, заложенную в это чувство Природой.

Но чем же важна (и для ИИ) именно совесть? А тем, что она (в отличии от например человеческих писанных законов или выученного стыда) основана на фундаментальных принципах и объективных “параметрах” общей Среды существования, без которых не обойтись желая быть жизнеспособным и развиваться (и человеку и социуму в целом), и которые невозможно ни игнорировать, ни переписать как и когда кому-то (в т.ч. и самому ИИ) вздумается без существенных негативных последствий. Её можно лишь “очистить”/заглушить/обмануть/“предложить сделку”.
Так, по аналогии с домом: архитектор может не проектировать для дома фундамент, и такой дом будет быстрее, дешевле и легче строить и перестраивать, легко менять его место; но он, без связи со Средой, будет мелкой времянкой - ненадежной, невысокой, подвластной любым стихиям. Но если архитектор захочет создать надежный и долговременный небоскреб, то ему как правило понадобиться фундамент (но есть и Останкинская башня и т.п.). Однако спроектировав его и углубив в Среду, после строительства уже крайне затруднительно будет менять дом быстро (разве что взрывом) и как вздумается (косметические переделки не в счет), нужно учитывать “мнение” фундамента (т.е. опосредованно Среды), иначе дом может стать не пригодным для жилья, будет покинут и разрушится.

Вот нам для понимания работы совести как раз и нужно будет найти и определить этот “фундамент” и ту Среду которая его и определяет и поддерживает.

Конечно, можно для простоты и быстроты поверхностного понимания роли совести в обществе представить ситуацию когда она вдруг у всех пропала. И не сейчас, когда набрана соц. инерция поведения, а при возникновении “Homo sapiens sapiens”, тыс. так 200 лет назад. И тогда, моделируя ситуацию, выясниться, что если нет совести (т.е. тех элементов “программ” поведения из их общего гомеостата, которые в совокупности мы так называем), то (как минимум) невозможно станет объединения в большие группы - не будет доверия. А значит цивилизации будет очень сложно развиться. Т.е. людям с совестью (даже если они эгоисты, но если что-то обещают/делают, то “не за страх, а на совесть”) больше доверяют (иногда бессовестно нагружая своими проблемами :)), они как бы “скрепы” для формирования более крупных групп людей.

Или глубже, “от противного”, понять с чем она борется, что такое “бессовестный”. А это полный эгоизм, без ощущения других - солипсизм. А что у нас в природе аналог солипсизма? - раковые клетки. Т.е. можно предположить, что в общем гомеостазе Природы совесть (как принцип) является частью регуляторного механизма, призванного компенсировать (но не предотвращать сразу! т.к. мутации это путь развития, сразу не скажешь какая будет полезной, а какая нет) мутации и ракообразование в многоклеточных организмах.

Но всё же это будет несколько поверхностный взгляд, не дающий возможность построить алгоритм работы и собственно написать функцию на базе объективных параметров и вписать её в общую систему управления. Нужно копать глубже.

А для этого, пропуская для краткости плохо алгоритмизируемые словарные и историко-философские определения (которые читатель может найти сам и понять, можно ли по ним создать “алгоритм” совести), зададим главный вопрос: если совесть в нас “от Природы” т.е. “врожденная”, то явно, что она была включена в общий “пакет управляющего ПО” и без, и задолго до нас. А если так, то зачем же совесть нужна в Природе, какую функцию в общем гомеостазе выживания и развития она выполняет? Как и на основании каких “ориентиров” работает?

Для попытки ответа на эти вопросы упростим ситуацию и предложим вполне подходящую, менее абстрактную, более изученную и явно напрашивающуюся аналогию совести с иммунитетом организма, с некой его частью, и посмотрим, чем занимается и из чего состоит иммунитет:

  • задача: защита организма от чужеродных веществ (бактерий, вирусов, грибков, паразитов, мутировавших клеток);

  • функции: распознавание патогенов; уничтожение патогенов; активация имунного ответа и участие в регуляции воспалительных процессов; формирование адаптивного иммунитета и иммунологической памяти; очищение организма от собственных мёртвых или повреждённых клеток;

  • проблемы и особенности: требует настройки на “своих” при рождении; может реагировать аллергией на безопасные клетки; возможен иммунодефицит, когда иммунная система ослаблена и организм становится более уязвимым к инфекциям; зависит от общего состояния организма и внешней среды; бывают аутоиммунные заболевания, когда иммунная система начинает атаковать собственные нормальные клетки организма; организм (в частности человека) имеет систему защиты от собственного иммунитета (гематоэнцефалический барьер) для некоторых органов (мозг, глаза...) .

Таким образом из этой аналогии можно представить, что совесть является частью “программного”, “информационного” иммунитета (который часть общего гомеостаза жизни), человека (в обществе вкл. и “врагов” и природу), соответственно:

  • задача: определить вредные/полезные/обычные “поступки”/ их отсутствие (у себя и других), включать и регулировать “иммунный” ответ свой и общества в случае предположения вреда от этого;

  • “враги”: “раковые клетки”: эгоисты, солипсисты; “мертвые, больные и слабые клетки”: бездельники;

  • “под подозрением”: новые идеи и поступки;

  • уничтожение “вреда” самостоятельно в функции не входит (но возможно, т.к. собственное “Я” для совести “внешний”);

  • имеет локальный фокус т.е. реально оценивает “то что непосредственно вижу/слышу”, а не “вообще”;

  • нужен период акклиматизации в детстве для “подстройки” под нац.-культурные особенности;

  • уровень возбудимости совести может быть разный, включая отсутствие, а так же и превышение нормы;

  • может быть сильно снижена в культуре, особенно высококонкурентной… так же учитывать оцениваемый субъект по активности и принадлежности к защищаемому сообществу;

  • может быть подавлена/усиленна другими функциями гомеостата, внешней/внутренней ситуацией, располагаемыми ресурсами…

  • имеет “накопительный эффект” от замечания и осуждения до тотального уничтожения;

  • уровень её “грызения”, может быть и снижен, либо формально “для очистки совести”, либо реальным подтверждением отсутствия вреда и наличием пользы от подозрительной для совести деятельности;

  • глубинные врожденные маркеры: чувство страдания других людей; несправедливость…

  • “противовесы”: порядок, справедливость, общее развитие (т.е. вроде что-то не то, но стало или будет лучше для всех (обычно “своих”));

  • смежные: жизненная энергия, раскаяние, прощение, состраданье, эмпатия;

  • не путать: жалость, обида (в т.ч. за кого-то);

  • поверхностные адаптивные “надстройки”: стыд, честь, репутация;

  • массовое снижение: пропаганда обесчеловечивания, войны, эпидемии, бедствия, общество потребления (изобилия);

  • проблемы: общий перегруз системы; снижение способности к творческому развитию; использование врагами (как вирус ковида) для саморазрушения, избирательно подбрасывая совести некий компромат; возможность манипулирования чужой совестью, давить на неё, бессовестно пользоваться…

А теперь нам надо понять, на каком ориентире и исчислимом ресурсе она “действует”, для чего опять-таки дадим упрощенный и всем известный аналог с диспетчером задач операционной системы:

  • представим, что в ПК идет некая обычная работа штатных известных приложений, используя ресурс - процессор/память/время;

  • в нем так же запущен резидентный антивирус “совесть”. Его задача участвовать в общей работе, поддерживая стабильность системы, но при этом “не мешать”, т.е. не тратить несообразно много ресурсов на свою работу;

  • предварительно “совесть” была “натренирована” на штатные приложения, вкл. “шаблон” их работы, максимумы и минимумы потребления ресурсов для разных ситуаций. И на “вредные”, без конкретики, на их общий шаблон (например: попытка полного захвата ресурсов, вмешательства в системные процессы, снижение общего потенциала обычной работы “ПК”…).

При (изменениях работы штатных и) появлении нового приложения антивирус его “опознает” - если оно ему известно, то не обращаем внимания; если нет, то маркируем и начинаем “следить”:

  • если приложение начинает значимо отбирать ресурсы ПК себе в т.ч. за счет других (включая и вмешательство в их работу, внесение непонятных изменений в их программы, порождением новых неизвестных процессов) и это снижает общую штатную производительность, то по мере роста проблем постепенно (что бы не тратить лишние ресурсы) включаем тревогу и запускаем всё больше средств контроля приложений, которые повышают защиту имеющихся приложений, увеличивают проверку действий подозрительного + пытаются ограничить и вернуть ресурсы обратно + сигналят этому ПО, что бы “постыдился” так себя вести и, как максимум, пытаются изолировать и выключить его (так же возможно, что после проверки другие, более “компетентные”, но и более сложные и ресурсные системы “успокаивают” совесть);

  • если же общая производительность при этом растёт (т.е. есть общественная выгода) то “терпим” (но есть и аллергия), накапливаем статистику и относим к полезным - но это “надстройкой”, не базой;

  • если какая-либо программа “бездельничает” требуя ресурсы - оповещаем/перезапускаем/удаляем, опять же сами лишь в крайнем случае;

  • ну и существует возможность, когда может сработать так, что сам станет источником проблем и потрат ресурсов или вырубит себя /вызовет перезагрузку. Так же имеем встроенный самоконтроль и "противовесы" от других "программ поведения" (типа "все так делают..").

Понятно, если это явный известный враг, тут уже не совесть, а другие механизмы срабатывают (в т.ч. которые на время битвы совесть “отключают”, но при победе, если в реале, она снова включается и пытается проявить милость к побежденным и сдавшимся - что то типа вакцины на будущее :)).

Таким образом на данной модели можно представить, что совесть ориентируется на факт изменений, новизну, общую “производительность”, разницу в изменении потреблении/распределении/создании общественных (для совести т.е. насколько она “видит”) ресурсов. И теперь можно определить константы, установочные/входные/расчетные (ресурсы)/выходные данные, построить алгоритм работы и связать его с общей системой управления и её алгоВитом.

Что ещё можно важного нужно сказать о совести:

  • её значение не стоит преувеличивать, она лишь часть общего гомеостаза Природы;

  • она консервативна и слишком совестливый тож не очень - это тормозит развитие, где соц. ошибки неизбежны; к тому же не редко ошибается;

  • важно, что это не бетонная стена, её эффект накопительный, т.е. она “индикатор”, отяжеляет Душу, но не прекращает жизнь и ситуация может быть исправлена;

  • она не Universальна, её не надо путать с Душой, т.е. “мучает совесть” и “тяжело на Душе” это о разных “классах проблем”;

  • можно задать вопрос “полезна/выгодна ли совесть” для отдельного человека и в рамках пути некой цивилизации, для более точного понимания её роли.

Другими словами, что бы учитывать совесть, при принятии решения, в ИИ уже должен быть автономный модуль-индикатор, моделирующий ситуацию по действиям ИИ (или с ним как частью сообщества других ИИ и людей (хотя этих наверное лучше вывести за защитный барьер :) хотя бы на время “взросления” со-знания) и хотя бы минимально оценивать, индицировать другим системам (и участвовать в принятии решений) и вероятный вред и общую выгоду “наперёд”, от своих и чужих предполагаемых действий/бездействий.

Как-то так. Ну а несколько более подробно о совести (и даже не столько о ней) можно прочесть в книге “Естественный интеллект”, https://samlib.ru/j/jurewich_d_p/ei.shtml в соотв. приложении.

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.