О роли глупости в науке

Если кто думает, что можно «делать науку», не делая при этом глупостей, - он (она), я думаю, несколько заблуждается. Это бухгалтер или страховой агент может на своей работе их не делать. Водитель – может, набравшись опыта. Инженер – тоже может, хотя это и сложнее. Программист – может, хотя и не всегда. Ученый – нет, если он в самом деле занимается наукой, а не чем-то другим, скажем, стандартными измерениями или расчетами по известным формулам.

Сие утверждение, разумеется, не более чем моё личное мнение. Доказать его, как теорему, я не могу. Могу судить по опыту – как своему, так и чужому. А еще могу попробовать порассуждать, почему так получается. Ниже – примеры из личного и чужого опыта и кое-какие рассуждения.

Что такое глупость?

Дать точное определение столь общему понятию, как «глупость», не очень просто. Гугл говорит, что строгого общепринятого определения этого понятия не существует. Но я попробую дать определение приближенное – методом индукции, от частного к общему.

Начну с личного опыта здесь, на Хабре. В течение последней пары недель я получил несколько «минусов» в свою карму. Большинство из них – аккурат после того, как сморозил ту или иную глупость. Порывшись в просторах Интернета, я легко находил, в чем именно она состояла. Только слово не воробей – смороженную глупость обратно не вернешь. Чуть ниже я приведу конкретный пример.

Исходя из этого и похожего опыта, могу сказать, что глупость – это, в общем, то, что люди, сведущие в данной области, расценивают как грубое несоответствие каким-то общепринятым в этой области представлениям, канонам, правилам и т.д., или явное нарушение логики. А если оное суждение еще и высказывается без оговорок о недостаточном знании предмета – то и получай, братец, свой законный «минус» в карму. Это я о себе.

Если чуток обобщить – то можно вспомнить четыре вида человеческого знания:

1.   Я знаю, что я это знаю.

2.   Я знаю, что я этого не знаю.

3.   Я не знаю, что я это знаю.

4.   Я не знаю, что я этого не знаю.

Первое можно назвать, условно, «истинным знанием», второе – «истинным незнанием». Тут, пожалуй, всё в целом ясно. Третье – это когда, например, попав на базар в какой-нибудь чужой стране, ты вдруг ловишь себя на том, что ты понял, что тебе сказали, хотя вроде как не знаешь ни слова на этом языке, - потому что слова вдруг оказались общими с одним из тех языков, которые ты знаешь. Приятная неожиданность (хотя и не всегда без последствий).

А в четвертом «секторе» как раз живет глупость. «Я не знаю, что я этого не знаю». А поскольку я об этом своём незнании не знаю, то и не стесняюсь такое говорить. Но собеседники-то это могут и знать – и воспринимают соответственно. Результат – см. выше.

То бишь, глупость – это «незнание», поданное под видом «знания». «Незнание» – это, в данном случае, то, что воспринимается знатоками в качестве очевидно ложного высказывания, вызванного, вероятнее всего, недостатком знаний о предмете.

Возможно, и очень вероятно, что сие определение не совсем полное, точное, правильное... но, по крайней мере, то, что я в суждениях окружающих расцениваю как «глупость», в общем и целом, под это определение подпадает. И мои вышеупомянутые ляпсусы – тоже. То есть, по крайней мере, как приближенное определение я это принять вполне могу.

Всё в мире относительно. Глупость – иногда тоже

Если глупость – это то, что знатоки воспринимают как очевидную ложь (или лажу), то надо сразу же оговориться: восприятие знатоков не всегда бывает объективным. Есть, к примеру, известная байка о том, как, к примеру, Наполеон Бонапарт отфутболил Роберта Фултона, изобретателя парохода, со словами: «Вы хотите заставить корабль плыть против ветра и течения, разведя костер под его палубой? У меня нет времени слушать эту чушь!» Но это – именно байка. У Наполеона, говорят, были куда более веские основания отказаться от этой идеи – своё мнение он основывал не на своем ощущении, а как раз на оценке подведомственных ему ученых, сделанной по результатам реальных экспериментов. Тем не менее, Трафальгар он проиграл – и причиной была как раз недооценка возможностей судов на паровой тяге.

Упомянутые ученые апеллировали к характеристикам тех конкретных изделий, которые были представлены им для тестов. Характеристики эти были, мягко говоря, весьма скромными – как по ходовым качествам, так и по надежности, и суждение о том, что в реальном бою с такими «девайсами» победить, мягко говоря, будет проблематично, – было на тот момент самым что ни на есть правильным. Знатоки увидели, что товарищ изобретатель вместо боевого изделия подсунул им лажу, и выдали свое авторитетное суждение государю императору. Вот только не учли они, что за оставшееся до битв время этот девайс можно было вполне доработать. В итоге изобретение оказалось отнюдь не чушью – но предсказать это заранее было не очень просто. Надежного знания об этом еще не существовало.

Увы – о своем незнании французские ученые знали не вполне. То бишь, они знали – и просто видели – какими качествами обладала представленная им посудина, и в этом своем знании они не ошибались. Но они ошиблись в другом – в том, что сия посудина может быть доведена до боеспособного состояния за весьма небольшое время, если в ее совершенствование как следует вложиться.

Это (не)знание – не общее, оно контекстное, со всякими «если», и всё равно без однозначного на тот момент ответа. То бишь, высказывание типа «вот этот конкретный девайс (подлодка «Наутилус») принесет нам победу в бою» - было очевидно ошибочным и глупым. А «вот эта идея…» - нет. И, хотя французские ученые пытались оценить именно идею, а не девайс, получилось это у них не очень здорово – ошиблись они с прогнозом. 

Оговариваюсь: я могу здесь легко ошибиться в деталях, ибо в этой области не эксперт. Желающих отсылаю к изданию William Barclay Parsons. «Robert Fulton and the Submarine» (1922) и другим историческим трудам. Для меня здесь главное – то, что при решении реальной научной проблемы точный вердикт не очень просто выдать заранее. Недостаток знания же может легко вылиться в ту самую глупость – и те, кто занимаются решением сложных научных проблем на постоянной основе, хотя бы иногда в эту ловушку, увы, попадают.

Одна из моих недавних глупостей на Хабре

Теперь, как я и обещал, пример из личного опыта. В своей недавней статье я описывал, как я автоматизировал преобразование из LaTeX в MathType внутри вордовского файла. Там и у меня, и у комментаторов было немало высказываний, с которыми, в общем, можно поспорить. Но в одном из постов я сморозил весьма откровенную глупость: «Вы пробовали в Латексе скомпоновать таблицы и рисунки так, чтобы они были читабельными вместе с довольно большим текстом?» За что и получил, я полагаю, свой законный «минус» - ибо конкретно то, что я написал, со всей очевидностью, мягко говоря, не является истиной.

Но все же есть здесь и вполне реальная для меня проблема. В моих статьях и отчетах самая трудоемкая часть (в плане подготовки) – это не текст, не формулы и не таблицы, а графики. Их бывает довольно много – чаще всего десятки, иногда и более сотни, со всякими a, b, c. Графики бывают «заковыристыми», с данными из разных источников, расчетными кривыми, формулами, аппроксимациями, и т.д. Все эти вещи сами по себе не проблема. Проблема – в том, что порой графики приходится редактировать, добавлять, удалять, после чего хочется (а) сразу видеть готовый результат, и (б) избежать путаницы.

В Ворде это делается волшебным способом: дважды кликнул по графику – он открылся в OriginPro (мне нравится эта программа, я с ней работаю уже лет тридцать). Отредактировал, пересчитал, перестроил, закрыл – и вижу результат прямо здесь же. Хочу скопировать в другой документ – Ctrl+C здесь, Ctrl+V там. Все графики в файле документа, все локации всегда видны в реальном времени, все изменения – в один клик. Мне так очень удобно.

Спрашиваю у всезнающего Гугла: «из какого LaTeX редактора можно открыть график в OriginPro и отредактировать там, а потом закрыть, и он отобразится с изменениями?» Ответ (дословно): «Ни из какого LaTeX-редактора (включая LyX, Overleaf или TeXstudio) провернуть такой фокус с OriginPro напрямую не получится.» И дальше – объяснение, почему это невозможно: «LaTeX не хранит в себе картинки и объекты. Он хранит текстовый файл-код (.tex), в котором написана лишь ссылка на внешний файл изображения (например, \includegraphics{my_graph.pdf}). Ни один компилятор LaTeX не умеет упаковывать живую базу данных OriginPro внутрь текстового файла кода.» 

Я не говорю, что это ставит какие-то неразрешимые проблемы. Но некоторых усилий это все же требует. А стоит ли оно того? Тот самый вопрос, на который вышеупомянутые французские ученые правильно ответить не смогли…

«Глупый вопрос» экспертам

Еще один пример из собственного опыта. Как-то мне надо было сделать некоторые термодинамические расчеты. Использовал для них одну из лучших в мире программ, не буду здесь приводить ее название во избежание рекламы, скажу только, что возраст этой программы измеряется десятками лет, а среди клиентов – пара десятков университетов только в США и множество компаний в разных странах мира. В целом – программа довольно классная, она «знает» и «умеет» много всяких нужных вещей.

Но вот незадача: рассчитанная этой программой температура (не так важно, чего именно) довольно сильно разошлась с нашими данными – градусов, в среднем, на 120-150, а порой и до 300, при том, что разработчики гарантировали 30, максимум 50, а экспериментальная погрешность – плюс-минус 15. 

Я обратился с вопросом к разработчикам. Они выдали вердикт: мол, ваши данные, вероятнее всего, неправильные, они не тем способом получены. В принципе, такие вещи бывают в науке нередко: чуть ошибешься в методике, и результат окажется «малость» другим.

Но я порылся в термодинамической литературе, посравнивал расчеты по этой программе с опубликованными данными – и кое-где обнаружил расхождения на 500 с лишком градусов, а кое-где и больше тысячи, при том, что в документации программы четко сказано, что эта конкретная область рассчитывается надежно. 

Но самое интересное было в другом: для двойных и тройных систем (то бишь, включающих только два или три исходных компонента) расхождений практически не было вообще, а вот для четверных-пятерных, с теми же самыми компонентами и из тех же самых публикаций, – навалом, и чем больше компонентов в системе – тем больше таких странностей…

Спрашиваю, мол, как вот с этими и этими данными быть? Почему такая зависимость расхождений от числа компонентов в системе? Экспериментальная методика вроде как та же самая…

В ответ – всё та же самая песня: мол, мы лучше тебя знаем, какие данные правильные, а какие нет. Я понял, что дальше дискутировать смысла немного…

А еще я обнаружил, что расхождения зависят и от сочетаний конкретных элементов: скажем, если кальций присутствует вместе с бором – ошибка в среднем градусов 150, а если по отдельности (а всё остальное примерно такое же) – то 30-40. Это тоже вопрос методики эксперимента – или все же господа разработчики чего-то в химии не учли?

И еще один момент: в разных версиях этой самой программы эта самая температура, рассчитанная строго для одних и тех же исходных данных, порой различалась на 200- 400 градусов. При этом каждая версия говорила, что ошибка, максимум, 50…

Оговорюсь: подобные вещи сами по себе в научных расчетах отнюдь не редкость. Расчет реально сложный, и обеспечить нужную точность отнюдь не всегда удается. Но главное здесь не это – а то, что разработчики этой вполне добротной в целом программы сами с подобными вещами, видимо, не сталкивались: собственный результат надежно протестировать трудно не только в программировании, в науке тоже. Им просто не приходило в голову проверить, например, есть ли разница в точности расчетов между тройными и четверными системами. Для них число компонентов – формальный показатель, а, значит, он не может влиять на точность расчетов. То, что на эту точность может влиять неучет каких-то конкретных химических реакций, пока еще в должной мере не изученных, и эта мера неполноты знания, вообще говоря, коррелирует как раз со сложностью системы, - им в голову, видимо, не приходило.

Результат всё тот же: я не знаю, что я этого не знаю, и «глупый вопрос» превращается в глупый ответ. Вот только знать всё заранее – в науке не получается. В 99.9 процента случаев – мнение эксперта верное и основано на реальном знании. Но вот в оставшейся десятой доле процента – нет. А потребоваться может как раз эта одна десятая.

«Математическое удобство»

Одна из наиболее известных в моей области математических моделей была впервые опубликована в 1940-х годах, потом она неоднократно видоизменялась и дополнялась, но не суть. В те поры компьютеров в научных лабораториях еще не было, и расчеты выполнялись с помощью бумаги и карандаша, арифмометра или логарифмической линейки. Решать таким способом систему аналитически неберущихся дифуров – то еще «удовольствие». Естественно, автор прибегнул к некоторым приближениям и упрощениям. В том числе – по поводу температурной зависимости одного из ключевых параметров, каковую автор принял линейной.

Через примерно четверть века его последователь (я потом имел счастье с ним познакомиться) предложил в этой модели изменение, которым научное сообщество пользуется до сих пор. А заодно – заменил то самое линейное уравнение на обратное, выведенное из теории: не у=a-bx, а y=a’+b’/x. Характеризуя выбор своего предшественника, он указал, что это линейное уравнение было использовано «для математического удобства». Вполне логичное объяснение, не так ли?

В последующие десятилетия это уравнение неоднократно пытались усовершенствовать, вводя те или иные усложнения, - пока пару месяцев назад один автор в Nature Communications (один из ведущих мировых научных журналов) не опубликовал статью, в которой показал преимущество как раз линейного уравнения. Правда, без ссылок на работы 40-х годов прошлого века, - ну да кто ж про них сейчас догадается, тем более, в чуток смежной области?

Но самое интересное здесь, опять же, не это. Тот самый первоначальный автор этого линейного уравнения, вообще-то, работал не где-нибудь, а в Национальном бюро стандартов США. В этом заведении «математическое удобство» никогда не было самоцелью – точность расчетов всегда была важнее. А этот конкретный автор был тот еще педант, даже по меркам этого заведения. И в одной из своих работ, посвященных как раз этому уравнению, он прямо указал на то, что оно – причем, даже не им придуманное, а заимствованное из работы 1920-х годов, - лучше других сходится с известными ему данными. Что, собственно, и подтвердила вышеупомянутая публикация 2026 года, на других, конечно, данных.

Результат – 80 потерянных лет… скажете, не по глупости?

Патентный поиск

Снова обращусь к своему опыту – и к своей же, снова-таки, глупости. Было это в те не так уж и далекие времена, когда ни одна из ведущих систем патентного поиска не могла нормально искать «химические» патенты. Например, задаю запрос типа «найди материал такого-то типа, содержащий от 20 до 30 мольных процентов компонента А и от 18 до 26 мольных процентов компонента В». При этом я доподлинно знаю, что, как минимум, в 18 патентах разных компаний и стран ровно это самое описано. Результат поиска – дупель пусто… В лучшем случае – совпадение по типу материала и по компонентам, а проценты относятся к каким-то другим компонентам. Но это в лучшем случае, и только если их два… а если пять – то ищи – не ищи, по такому запросу найдешь немного. Это сейчас нейросети могут искать подобные вещи (и то не все и не всегда)…

В этой ситуации я предложил решение, казавшееся мне вполне рабочим: для моей конкретной области (не для всех вообще материалов) прошерстить патенты на предмет наличия химических формул или наименований конкретных веществ (речь о неорганике – там структурных формул нет, а в данной конкретной области патентов не миллионы, а всего лишь десятки тысяч), а потом дать результаты парсировки на проверку паре химиков, и пускай они подправят ручками то, что дурная программа сделала неверно. 

С результатами предварительных проб я вышел к патентоведам своей компании. Какая это была наивность… Дело было даже не в том, что в результатах парсировки были ошибки (они были, и, хотя было их немного, «засвечивались» в результатах поиска регулярно), а в том, что программа выдавала слишком уж большой список патентов, из которых только очень небольшая часть – а то и вовсе никакая – оказывалась реально нужной. В итоге – объем работы патентоведов возрастал, а качество не очень менялось…

Но ведь тот же Гугл, как было сказано, выдавал результаты вообще «в молоко»! И платные патентные базы недалеко от него ушли. Неужели «что-то» не лучше, чем «ничего»? Оказалось – не лучше, а хуже. И дело здесь даже не в качестве работы программы – а в том, что патентовед, получив информацию о потенциально подходящем под критерии поиска патенте, обязан – в том числе и по закону – ее тщательно проверить. И если там «зерен истины» процентов 20 или 30 – то обязан проверить и остальные 70 или 80 процентов тоже… а, опять же, оно того стоит?

Итого – лишняя работа без очевидных преимуществ по результату… По сути, неправильная постановка исходной задачи – и весь труд насмарку. И если бы нашелся человек, способный увидеть такой результат заранее, то для такого человека эта работа была бы изначально глупой затеей. Вот только всегда ли такой человек находится в нужное время в нужном месте?

Экстраполяция полиномами

Полиномы (они же многочлены) в научной работе встречаются очень часто, в том числе, когда надо аппроксимировать не совсем понятную нелинейную функцию по набору точек. Эта «не-совсем-понятность» возникает либо оттого, что фундаментальная наука не всегда и не про всё знает, либо оттого, что мы не знаем до конца всех условий на производстве или в эксперименте. Например, показания платиново-платинородиевой или хромель-алюмелевой термопары при данной температуре зависят от наличия микропримесей в материале, фазового состава, состояния поверхности (насколько она окислилась при предыдущих термообработках) и ряда других вещей, частично не известных нам, а частично – науке. А поскольку эти характеристики немного «дрейфуют» во времени, термопару приходится калибровать – обычно по температурам плавления чистых металлов. Такие опыты обычно проводятся для трех-пяти температур, после чего вычисляют разницу показаний и через полученные точки проводят линию – полином наилучшего приближения. Сложив его с «собственным» полиномом термопары (полученным, в принципе, похожим способом, но с большим числом точек на кривой), получают калибровочную кривую, которая дает достаточно точную аппроксимацию для промежуточных температур. Процедура аппроксимации полиномами чрезвычайно проста и универсальна – соответственно, и используется очень часто, где надо и где не очень.

Проблемы начинаются тогда, когда нужно рассчитать точку на кривой за пределами измеренного диапазона. Тем, кто измеряет высокие температуры термопарами, эта проблема хорошо известна: если уйти даже немного от откалиброванного интервала, то калибровочная кривая чаще уводит в сторону от точного значения, чем приближает к нему. Причин здесь две, и действуют они «сообща». При высокой степени полинома – кривая за пределами измеренного диапазона «танцует», уходя или вверх, или вниз, из-за сверхчувствительности коэффициентов к даже очень малым ошибкам измерения. А при низкой (например, квадратный полином) – экстраполяция стабильно уходит куда-то не туда, ибо реальная функция «не совсем» квадратичная. Чем меньше одна из этих ошибок – тем больше другая, и приемлемого компромисса достичь весьма редко когда удается.

Но в научной литературе за пределами чистой математики – авторы об этом задумываются не всегда, и порой публикуют результаты расчетов, мягко говоря, сомнительного качества. А рецензенты отнюдь не всегда подобные «мелочи» отслеживают. В результате – о проблеме знают, главным образом, те, кто с ней постоянно встречаются. Для большинства остальных – это обычная «угадайка»: любая экстраполяция может порой дать неправильный результат, ну и полиномиальная тоже.

Одно из последствий такого положения вещей – то, что нейросети не сильно осведомлены об этой проблеме, но зато хорошо осведомлены о наличии множества научных публикаций, ее игнорирующих. На эту тему я как-о имел диалог с ChatGPT, предложив ему проверить одну из своих статей на предмет выявления возможных неточностей, неоднозначных формулировок, нерасшифрованных обозначений и т.д. – в принципе, процедура достаточно полезная. И в качестве одного из таких «дефектов» нейросеть мне указала то, что я, на ее взгляд, бездоказательно обобщил один представленный пример ошибочной экстраполяции на все остальные случаи, про которые, вообще говоря, заранее ничего не известно. Я попросил нейроколлегу провести численный эксперимент и посчитать, в каком проценте случаев (из нескольких, к примеру, сотен или тысяч) результат получится мало-мальски приемлемым, в соответствии с указанными критериями. Результат расчета: 0.025 процента, один случай из 4000, и тот «на грани». Возражение было снято.

Для меня это возражение было глупостью с самого начала – но для кремниевого собрата оно таковым не было, ибо о наличии вышеупомянутой «парной» проблемы в литературе говорится очень немного, а контрпримеров, повторюсь, публикуются многие тысячи…

А потом, уже не при «отшлифовке» статьи, а при проведении реального исследования, мне понадобилось найти функцию, которая бы очень точно (как минимум, до пяти значащих цифр) описала одну зависимость в очень широком диапазоне варьирования переменной. Конкретно – надо было «инверснуть» одну функцию, то бишь, из y=f(x) получить универсальное выражение для x=f(y). Аналитически это сделать было нельзя. Методом половинного деления (или как-нибудь иначе) – можно, но хотелось именно формулы, а не алгоритма: например, в SQL-запрос функцию, рассчитываемую численным методом, подставить хотя и можно, в теории, но на практике ждать ответа придется часами или годами вместо секунд…

И я для начала обратился, опять же, к ChatGPT. Когда он заговорил о полиномах… ну, вы легко можете представить себе мое отношение к этому. Я робко переспросил: мол, в самом деле полиномы? до пятого знака, и с экстраполяциями? Он ответил типа «рискну утверждать, что здесь это будет самое лучшее решение». Я сказал, мол, шуруй, посчитай ошибки, покажи результат и дай предсказание вот здесь на основе вот такого набора точек. 

Он честно это сделал – и результат поверг меня в шок: пятый знак в порядке, экстраполяция вполне себе приличная. Оказывается, я не обратил внимание на одну маленькую деталь: аппроксимация был не простая, а полученная так называемым обобщенным методом Паде (по имени автора Анри Паде, или Henri Padé), детали обобщенного метода можно посмотреть, погуглив фамилии Андрианов и Шатров. Там даже не один полином, а два – один в числителе, другой в знаменателе, а «под капотом» вместо икса – некоторая его функция, которая приближенно описывает нелинейное поведение, включая обе асимптоты, а полиномам остается только точно описать сравнительно небольшие отклонения от этой функции в пределах измеренного диапазона или даже его части. Функция, предложенная нейронкой, оказалась вполне приемлемой, а после некоторой ее «доводки» нам совместными усилиями удалось повысить точность еще раз в пять – до пары единиц уже шестого знака, заодно повысив и точность экстраполяций. Задача решена с огромным запасом.

В данном случае в глупом положении оказался уже ваш покорный слуга, который не обратил внимания на конкретную деталь предложенного решения – а эта деталь как раз и позволяла решить конкретную проблему. Увы, «слишком хорошее» знание о том, что «полиномы для экстраполяций принципиально не годятся», привела к тому, что путь к реальному решению был заранее вычеркнут из рассмотрения. Ибо глупость – как и истина – всегда конкретна. То самое: я не знал, что я этого не знаю.

Подводя итоги

Если мое определение (глупость = незнание, выдаваемое за знание) хотя бы «в первом приближении» верно, то из него вытекает весьма конкретное следствие: глупости, увы, неизбежны там, где в объективном научном знании есть серьезные пробелы или неопределенности. Просто потому, что граница между «знанием» и «незнанием» становится в этом случае тоже неопределенной, размытой. «Победить» глупость – в принципе можно, но ценой за это будет ограниченность предмета рассуждений только тем, что хорошо известно. Для того, кто пытается постоянно узнать что-то для себя новое, – кажется, это не самый подходящий вариант. А для того, кто занимается научными исследованиями, узнавать что-то новое (для себя и не только) – это часть его профессии. Поэтому, хотим мы того или нет, глупости в науке были, есть и будут, видимо, всегда.

Бороться с этим – можно и нужно. В том числе путем изучения предмета, особенно если сей предмет не вполне относится к сфере науки – как, например, мой ляпсус, описанный в начале этой статьи. Но получается это, увы, не у всех и не всегда – в том числе потому, что «глупость» от «умности» часто отличается не сама по себе, а в сочетании с деталями конкретной ситуации, как, в частности, у французов, оценивавших подлодку господина Роберта Фултона, или у вашего покорного слуги с полиномиальной аппроксимацией и тем же Латексом.

Всем удачи – и успехов в борьбе с глупостями, в науке и не только.