Эдвин Джейнс: Принцип максимума энтропии

В 1902 году вышла книга Гиббса 'Основные принципы статистической механики, разработанные со специальным применением к рациональному обоснованию термодинамики', в которой идеи молекулярно-кинетической теории обобщались на произвольные системы. К сожалению, введенная Гиббсом статистическая энтропия формально остается постоянной в неравновесном процессе в изолированной системе. Таким образом, в общем рассмотрении Гиббса возникло противоречие между формальным математическим выводом и вторым законом термодина­мики.

Гиббс первым заметил это обстоятельство и предложил возможные решения, которые были переведены на язык уравнений в статье супругов Эренфестов ‘Принципиальные основы статистического подхода в механике‘ в 1912 году. Были введены понятия грубой и точной плотности вероятности, а также грубой и точной энтропии по Гиббсу. Грубая энтропия Гиббса с использованием грубой плотности вероятности в изолированной системе должна возрастать. Тем не менее, это обстоятельство привело ряд физиков к мысли о субъективности термодинамической энтропии. Физик Эдвин Джейнс (1922 - 1998) является наиболее ярким выразителем этой идеи, и эта статья посвящена рассмотрению и обсуждению его взглядов.

• Введение

• Принцип максимизации информационной энтропии Джейнса

• Принцип Джейнса и обоснование статистической механики

• Обсуждение: энтропия, вероятность, незнание и информация

• Список литературы

Введение

Статистическая механика связана с исследованием макросистем, когда свойства макросистемы связываются с движением невидимых атомов и молекул. Гиббс в предисловии к своей книге выразил это обстоятельство таким образом:

'Законы термодинамики, установленные эмпирически, выражают приблизительное и вероятное поведение систем, состоящих из большого числа частиц, или, точнее говоря, они выражают законы механики для этих систем так, как они проявляются для существ, которые не обладают достаточно тонким восприятием, позволяющим им оценивать величины порядка тех, что относятся к отдельным частицам, и которые не могут повторять свои эксперименты столь часто, чтобы получать какие-либо результаты, кроме наиболее вероятных.'

Высказывание Гиббса является неплохим введением в обсуждение вероятности в статистической механике. С одной стороны есть существа с ограниченным восприятием, но, с другой стороны, есть мир, в котором определенные события повторяются с определенной частотой. Частотная интерпретация вероятности позволяет говорить об объективной вероятности, но статистическая механика, тем не менее, связывается с возможностями существ, которые изучают макросистемы.

В молекулярно-кинетической теории рассматривались разреженные газы и распределение Максвелла по скоростям можно было трактовать как статистику из движения всех атомов. В заданный момент времени можно подсчитать количество атомов, движущихся в заданном интервале скоростей независимо от местонахождения, и построить гистограмму. Вероятность атома обладания скоростью v±dv равна отношению числа атомов со скоростями в этом интервале к общему числу атомов. Таким образом, вероятность на кривой распределения Максвелла по скоростям имеет простую и наглядную частотную интерпретацию.

Однако Гиббс ввел ансамбль систем:

‘Можно представить себе большое число систем одинаковой природы, отличающихся друг от друга конфигурациями и скоростями, которыми они обладают в данный момент, и отличающихся не только бесконечно мало, но может быть и так, что охватывается каждая возможная комбинация конфигураций и скоростей. При этом мы можем поставить задачу не так, чтобы следить за отдельной системой во всех последовательно проходимых ею конфигурациях, а чтобы определить, как будет распределено полное число систем по различным возможным конфигурациям и скоростям в любой требуемый момент, если такое распределение было задано для какого-либо момента времени.’

В учебниках системы, входящие в ансамбль Гиббса, называются мысленными или воображаемыми копиями. Это задает наглядную модель и позволяет далее перейти к рассмотрению использованию формализма на практике. Концептуальная модель ансамбля Гиббса задает частотную интерпретацию распределения плотности вероятности в фазовом пространстве. Однако при переходе к миру ансамбль Гиббса должен соответствовать одной системе, изучаемой экспериментально. В результате требуется интерпретация вероятности для единичной системы и в этом случае сложнее отстоять представление о частотной интерпретации.

Сложно точно сказать, какие соображения двигали Эдвином Джейнсом, когда он в 1957 году опубликовал статью в двух частях 'Теория информации и статистическая механика', но эта работа дала сильный толчок для интерпретации термодинамической энтропии в духе меры незнания. Приведу две выразительные цитаты:

'При такой интерпретации выражение «необратимый процесс» представляет собой семантическую путаницу; необратим не физический процесс, а скорее наша способность следовать за ним. Тогда второй закон термодинамики становится просто утверждением о том, что, хотя наша информация о состоянии системы может быть утеряна различными способами, единственный способ ее получения - это проведение дальнейших измерений.'

'Важно понимать, что тенденция энтропии к увеличению не является следствием законов физики как таковых, … Увеличение энтропии может происходить неизбежно из-за нашего неполного знания сил, действующих на систему, или же это может быть полностью сознательным действием с нашей стороны.'

В дальнейшем Джейнс разъяснил смысла слова 'субъективный'. Ниже использован доклад Джейнса в 1978 году 'Каково положение с максимальной энтропией?' (опубликован в следующем году). В нем говорится, что вскоре после статьи 1957 года были внесены изменения в терминологию - было введено отличие между информационной и экспериментально измеряемой энтропией, а значение 'субъективный' превратилось в 'каждый разумный человек примет такое решение'. Джейнс в том числе отталкивался от теории информации Шеннона. Выражение для информационной энтропии Шеннона похоже на статистическую энтропию Гиббса, и Джейнс решил, что это обстоятельство указывает на тождественность термодинамической и информационной энтропии.

Принцип максимизации информационной энтропии Джейнса

Идеи Джейнса связаны в первую очередь со статистическим выводом в теории статистических решений (statistical inference) - с нахождением неизвестного распределения вероятности событий. Джейнс использует понятие информационной энтропии, хотя в теории телекоммуникации событие обычно связывается с распределением вероятности нахождения символа в алфавите текста (задачи кодирования, помехоустойчивости и сжатия). Задача Джейнса другая - исходное распределение вероятности событий считается неизвестным и требуется его определить.

Значение термина событие в методе Джейнса хорошо подходит к бросанию костей, когда каждому возможному исходу (событию) сопоставляется своя вероятность. Распределение вероятности событий считается неизвестным и его требуется найти в ходе статистического анализа. Джейнс отталкивается от принципа недостаточного основания Бернулли и Лапласа - из незнания следует априорная равновероятность всех возможных исходов.

Джейнс расширяет задачу путем включения дополнительной информации о неизвестном распределении; рассматривается случай когда среднее и/или другие моменты распределения известны. Дополнительная известная информация накладывает ограничения при поиске распределения и для решения этой задачи Джейнс выдвинул принцип максимума информационной энтропии. Исходное название - принцип максимума энтропии, но поскольку Джейнс ввел отличие информационной энтропии от экспериментально измеряемой, более правильно говорить о принципе максимума информационной энтропии.

Статистический вывод Джейнса сводится к максимизации информационной энтропии при заданных ограничениях на моменты распределения. Джейнс доказывает, что таким образом максимизируется незнание и тем самым в полученный ответ о распределении вероятности закладывается только известная информация и ничто другое. В случае отсутствия ограничений максимизация информационной энтропии приводит к равновероятному распределению, то есть, ответ совпадает с принципом недостаточного основания.

При обсуждении вероятности спор идет относительно следующего вопроса. Относится ли вероятность к миру (вероятность объективна) или вероятность характеризует меру незнания человека (вероятность субъективна)? Первый вариант опирается на частотную интерпретацию вероятности - вероятность является характеристикой большого количества испытаний. Второй вариант связывается с единичными событиями; в настоящее время он обычно связывается с байесовской вероятностью. Джейнс решительно отстаивает второй вариант; он отвергает частотную интерпретацию и приводит аргументы в пользу того, что вероятность представляет из себя меру незнания (в докладе 1978 года он также указывает на байесовскую революцию в статистике).

Отмечу, что история понятия субъективной вероятности рассмотрена в статье Уффинка 'Субъективная вероятность и статистическая физика', где также приведены ссылки на статьи с обсуждением использования принципа максимума информационной энтропии в математической статистике.

Принцип Джейнса и обоснование статистической механики

Как уже говорилось, Джейнс отвергает частотную интерпретацию и, согласно Джейнсу, распределение вероятности связано не с миром, а с ограничением существа, который проводит эксперименты. Утверждение, что каждый разумный человек примет такое решение, должно снять обвинение в произвольности проводимых оценок.

Применение принципа максимума информационной энтропии Джейнса к термодинамическим ансамблям в статистической механики воспроизводит все известные равновесные распределения вероятности - для микроканонического ансамбля получается равновероятное распределение микросостояний, для канонического ансамбля распределение Гиббса по энергиям и т. д. При этом уравнение для информационной энтропии аналогично выражению для энтропии Гиббса в статистической механике. На основе этого Джейнс переходит к радикальному заключению, что принцип максимума информационной энтропии является обоснованием статистической механики.

К моменту появления статьи Джейнса в 1957 году в статистической механике широко использовались равновесные распределения вероятности, при этом получались хорошие результаты, согласующимися с экспериментами. Однако открытым оставался вопрос обоснования, почему симметричные во времени законы механики приводят к правильным равновесным распределениям вероятности. Говорилось об эргодичности, перемешиваемости, динамическом хаосе, но отсутствовало строгое доказательство. В учебниках по статистической механике распределения вероятности использовались для решения практических задач, но обоснование правильности распределений застревало на полпути.

Джейнс предложил разрубить гордиев узел обоснования статистической механики путем перехода с частотной интерпретации вероятности на субъективную. Принцип максимума информационной энтропии максимизирует незнание при известных ограничениях на ансамбль и приводит к правильным результатам. Он дает наглядную интерпретацию для равновесной энтропии в статистической механике как информационной энтропии. Таким образом, Джейн предложил принять принцип максимума информационной энтропии за обоснование статистической механики.

Этот призыв нашел отклик у Майрона Трайбуса (Myron Tribus, 1921-2016), который популяризировал подход Джейнса в учебнике 'Термостатика и термодинамика' в 1961 году. Трайбус пишет, что метод Джейнса делает статистическую механику доступным для инженеров. Во введении он вначале указывает на сложность обычного преподавания статистической механики:

'Считается, что для глубокого изучения статистической механики необходимо знакомство с такими абстрактными понятиями, как фазовое пространство, эргодическая система и ячейки фазового пространства. Прежде чем перейти к практическим расчетам, необходимым инженеру, надо в совершенстве овладеть большим количеством специальных математических методов.'

Затем он говорит, что использование метода Джейнса даже проще, чем полное формальное рассмотрение классической термодинамики:

'Математический аппарат и абстрактные понятия, необходимые для применения метода Джейнса, менее сложны, чем, скажем, в методе макроскопической термодинамики Каратеодори, имеющем многочисленных последователей. Математические методы Джейнса более широко применимы в технике, чем современные методы макроскопической термодинамики.'

В результате Трайбус во второй главе 'Статистические методы' показывает связь вероятности и информационной энтропии Шеннона, а в третьей главе 'Формализм статистической механики' вводит принцип максимума информационной энтропии Джейнса, который в дальнейшем используется для вывода необходимых распределений. Последующее рассмотрение не отличается от других учебников; разница состоит только в упрощенном обосновании равновесного распределения вероятности.

Обсуждение: энтропия, вероятность, незнание и информация

Слова человеческого языка многозначны и однозначность в физике обычно достигается при использовании математического формализма физической теории. Однако в случае энтропии три разные задачи приводят к похожим математическим уравнениям: это термодинамическая энтропия в статистической механике (энтропия Гиббса), информационная энтропия в теории Шеннона, а также энтропия, возникающая в теории статистических решений (statistical inference). Джейнс смешал три задачи вместе, поэтому при обсуждении предлагаемого им подхода требуется отделить разные задачи друг от друга.

В физике есть случаи, когда одно и то же математическое уравнение используется при описании разных ситуаций. Например, уравнение Пуассона для электростатического поля с точки зрения математики совпадает со стационарным уравнением теплопроводности Фурье. Этот факт нередко используется инженерами при работе с программным обеспечением, в котором программисты запрограммировали решение уравнения теплопроводности, но не сделали интерфейс для решения задач с электростатическим полем. Тем не менее, в этом примере никто не делает глубоко идущих выводов о внутреннем сходстве между теплопроводностью и электростатикой с точки зрения физики.

Рассмотрение термодинамической энтропии необходимо начать с классической термодинамики и термодинамических свойств веществ (см. предыдущую статью 'Энтропия в классической термодинамимке'). Джейнс говорит об экспериментальной энтропии, но он не понимает, что в термодинамике все термодинамические свойства связаны между собой через производные. Энтропия связана с теплоемкостью, а теплоемкость связана с внутренней энергией и энтальпией. Таким образом, любая попытка связать термодинамическую энтропию с незнанием закончится тем, что с незнанием будут связаны все остальные свойства, включая энергию и энтальпию.

Статистическая механика в первую очередь была создана для объяснения свойств веществ в классической термодинамике, и поэтому хорошей точкой отсчета является рассмотрение термодинамических свойств веществ в термодинамических справочниках. Введение субъективной вероятности переносит субъективность на значения всех термодинамических свойств, поскольку они все рассчитываются через сумму по состояниям. Джейнс, по всей видимости, забыл про это обстоятельство.

В статистической механике связь распределения вероятности с незнанием человека ни к чему хорошему не приведет. Например, эксперименты с молекулярными пучками показывают хорошее согласие между измерениями и распределением Максвелла по скоростям. В этом случае трактовка распределения вероятности как незнания любого рода приводит к вечному вопросу метафизики в новой формулировке - существует ли распределение Максвелла по скоростям в молекулярных пучках, когда никто ничего не измеряет.

Совершенно другая задача связана с теорией информации Шеннона. Хорошее введение в теорию информации Шеннона содержится в статье 'Много сторон информации Шеннона', где раздел 'О концепции информации Шеннона' прекрасно передает содержание теории Шеннона. Теория Шеннона предназначалась для решения задачи эффективной передачи текста, состоящего из последовательности символов заданного алфавита, по каналу связи с шумом. Подразумевается, что текст содержит информацию, но количество информации сопоставляется не с содержанием, а с длинной текста.

Шеннон ввел понятие информационной энтропии, величина которой связана с распределением вероятности появления символов в алфавите текста. Информационная энтропия сыграла большую роль в решении задач телекоммуникации - выбор наиболее эффективного кодирования символов, создание помехоустойчивых кодов, а также сжатия текста для более эффективного хранения и передачи. В этой связи можно отметить неоднозначность связи между информационной энтропией, количеством информации и знанием. С одной стороны, энтропия связывается с незнанием, с другой, при сжатии архива максимальное количество информации достигается при стремлении к максимуму информационной энтропии.

В теории Шеннона предполагалось, что распределение вероятности известно, но далее по ходу развития появились задачи с неизвестным распределением вероятности. Тут возникает пересечение с третьей задачей, решение которой предложил Джейнс. Принцип максимума информационной энтропии вполне можно использовать в задачах математической статистики. Однако в данном случае следует признать другое значение термина информационная энтропия, которое нельзя совместить с термодинамической энтропией.

В качестве примера рассмотрим канонический ансамбль, которому можно поставить в соответствии экспериментально изучаемую систему при постоянной температуре. Джейнс в этом случае говорит об экспериментально измеряемой энтропии. С точки зрения проведения измерений есть две возможности. Если речь идет про абсолютную энтропию, то требуется измерение теплоемкости от нуля кельвинов до данной температуры и расчет необходимого интеграла. Если речь идет про изменение энтропии при изменении объема, то требуется исследование зависимости давления от объема в требуемых пределах, а также расчет соответствующего интеграла.

В ходе проведения экспериментов внешние условия задаются с определенной точностью. Далее появляются измеряемые величины, теплоемкость или давление, и проводится расчет интеграла. Возникает вопрос, что в данной ситуации можно назвать информацией, а что нет. В своем рассмотрении Джейнс связывает информацию исключительно с энтропией, а остальные физические величины, необходимые при проведении экспериментальных исследований у него информацией не считаются. Возникает вопрос, почему так происходит, почему одна величина, получающаяся из серии экспериментов, относится к информации, а другие величины, которые были необходимы для получения этой величины, не считаются связанными с информацией.

Решение Джейнса еще можно понять с точки зрения математической задачи, которую он решает. Однако с точки зрения физики как естественной науки отличие вряд ли удастся найти. Следует еще раз взглянуть на численные значения термодинамических свойств веществ в термодинамических справочниках. Не существует критерия, согласно которому только численные значения энтропии вещества можно отнести к информации, и при этом сказать, что численные значения остальных термодинамических свойств информацией не являются. Это указывает на основное отличие термодинамической энтропии от информационной, поскольку термодинамическая энтропия напрямую связана с другими физическими величинами. Информационная энтропия появляется в ходе решения задач коммуникации и математической статистики и поэтому ее непосредственная связь с физическими величинами отсутствует.

Список литературы

Дж. В. Гиббс, Термодинамика. Статистическая механика. М. 1982.

E. T. Jaynes, Information theory and statistical mechanics, Phys. Rev. Part I: 106, 620–630 (1957), Part II: 108, 171–190 (1957)

E. T. Jaynes, Where do we Stand on Maximum Entropy? in The Maximum Entropy Formalism, R. D. Levine and M. Tribus (eds.), 1979, p. 15 - 118.

Jos Uffink, Subjective Probability and Statistical Physics, in Probabilities in Physics, 2011, 25–50.

Майрон Трайбус, Термостатика и термодинамика, 1970. Перевод с Myron Tribus, Thermostatics and Thermodynamics: an Introduction to Energy, Information and States of Matter, 1961.

Olimpia Lombardi and Cristian López. The many faces of Shannon information. In Information and the History of Philosophy, pp. 324-340. Routledge, 2021.