Ранее: Глава 3. Стрела времени в статистической механике
В 19-ом веке вероятности в физике в том числе связывались с незнанием человека деталей поведения макросистемы на микроуровне; то есть, статистическое истолкование второго закона наводило на мысль о связи между энтропией и незнанием. Появление теория информации Шеннона дало новый толчок такому ходу мысли — информация связана с незнанием, поэтому информация имеет отношение к энтропии.
Создатель теории информации Клод Шеннон в 1956 году написал короткую заметку ‘Повальное увлечение (Bandwagon)‘, в которой призывал к осторожности в применении теории информации в областях, для которых она не предназначалось:
‘За последние несколько лет теория информации превратилась в своего рода бандвагон [повальное увлечение] от науки. Появившись на свет в качестве специального метода в теории связи, она заняла выдающееся место как в популярной, так и в научной литературе. Это можно объяснить отчасти ее связью с такими модными областями науки и техники, как кибернетика, теория автоматов, теория вычислительных машин, а отчасти новизной ее тематики. В результате всего этого значение теории информации было, возможно, преувеличено и раздуто до пределов, превышающих ее реальные достижения. Ученые различных специальностей, привлеченные поднятым шумом и перспективами новых направлений исследования, используют идеи теории информации при решении своих частных задач. Так, теория информации нашла применение в биологии, психологии, лингвистике, теоретической физике, экономике, теории организации производства и во многих других областях науки и техники. Короче говоря, сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг.’
Однако информационный бандвагон в статистической механике было уже не остановить и в этой главе будет представлен дух времени 1950-х годов, когда в силу разных причин энтропия в статистической механике оказалась связанной с информацией. Так, в настоящее время в статьях по статистической механике энтропия Гиббса нередко называется энтропией Шеннона. Эта часть изложения взята из диссертации Хавьера Анта ‘Исторические и концептуальные основания информационной физики‘.
В следующем разделе будет рассмотрен принцип максимума информационной энтропии Эдвина Джейнса и его использование в статистической механике. Джейнс использовал энтропию Шеннона в статистической механике на основе представлений о субъективности вероятности. Другая линия становления информационной энтропии, демон Максвелла на основе мысленного эксперимента Сциларда, будет представлена в следующей главе. Заключительный раздел этой главы содержит взгляды Рудольфа Карнапа, который в 1950-х годах выступал за объективность энтропии в статистической механике. Однако ему не удалось убедить физиков и в результате Карнап отказался от публикации своей работы ‘Два эссе об энтропии‘; она вышла только посмертно в 1977 году.
- Максвелл и Гиббс о роли восприятия
- Теория информации Шеннона
- Распространение информации на статистическую механику
- Принцип максимума информационной энтропии Эдвина Джейнса
- Карнап за объективность энтропии
Максвелл и Гиббс о роли восприятия
Переход к мысленной модели движущихся атомов поднимает вопрос о роли органов чувств и о возможности манипулирования на уровне атомов. В этом отношении приведу цитаты Максвелла из статьи ‘Термодинамика Тэйта‘. В статье Максвелл доказывает невозможность строгого вывода второго закона из молекулярно-кинетической теории, но из его рассмотрения неявно следует субъективность отличия между теплотой и работой (см. также следующую главу про демон Максвелла):
‘Второй закон относится к тому виду передачи энергии, который мы называем теплотой, и который отличается от другого вида передачи энергии, который мы называем работой. Согласно молекулярно-кинетической теории, единственное отличие между этими двумя видами передачи энергии состоит в том, что движения и смещения, которые участвуют в передаче теплоты, связаны с молекулами — они так многочисленны, так малы по отдельности и так неравномерно распределены, что совершенно ускользают от наших методов наблюдения; в то же время когда движения и смещения связаны с видимыми телами, состоящих из огромного числа молекул, движущихся вместе, передача энергии называется работой.’
‘Следовательно, в предположении, что наши чувства обострились до такой степени, что мы могли бы отслеживать движение молекул так же легко, как сейчас отслеживаем движение крупных тел, различие между работой и теплотой исчезло бы, поскольку передача теплоты рассматривалась бы как передача энергии того же самого происхождения, которое мы называем работой.’
Аналогично Гиббс в предисловии к книге ‘Статистическая механика‘ пишет:
‘Законы термодинамики, установленные эмпирически, выражают приблизительное и вероятное поведение систем, состоящих из большого числа частиц, или, точнее говоря, они выражают законы механики для этих систем так, как они проявляются для существ, которые не обладают достаточно тонким восприятием, позволяющим им оценивать величины порядка тех, что относятся к отдельным частицам, и которые не могут повторять свои эксперименты столь часто, чтобы получать какие-либо результаты, кроме наиболее вероятных.’
Высказывания Максвелла и Гиббса служит хорошим введением в проблематику вероятности в статистической механике. С одной стороны есть существа с ограниченным восприятием, но с другой стороны есть мир, в котором определенные события повторяются с определенной частотой (частотная интерпретация вероятности). Включение информации в этот процесс приводит к разрушению компромисса и тем или иным образом приводит к субъективности вероятности и, как результат, к связи энтропии и информации.
Теория информации Шеннона
Теория Шеннона предназначалась для решения задачи эффективной передачи текста, состоящего из последовательности символов заданного алфавита, по каналу связи с шумом. Подразумевается, что текст содержит информацию, но количество информации сопоставляется не с содержанием, а с длинной текста. Символ алфавита кодируется в двоичной системе счисления и таким образом появляется бит — единица измерения информации.
Шеннон ввел понятие информационной энтропии, величина которой связана с распределением вероятности появления символов в тексте (сумма берется по всем символам алфавита):
Информационная энтропия сыграла большую роль в решении задач телекоммуникации — выбор наиболее эффективного кодирования символа, создание помехоустойчивых кодов, а также сжатия текста для более эффективного хранения и передачи. В этой связи можно также отметить неоднозначность связи между информационной энтропией и количеством информации. С одной стороны, энтропия связывается с незнанием (чем больше энтропия, тем меньше информации), с другой — при сжатии файлов максимальное количество информации в архиве достигается при максимальной энтропии.
Выражение для информационной энтропии Шеннона похоже на статистическую энтропию Гиббса и многие физики решили, что это обстоятельство указывает на тождественность термодинамической и информационной энтропии. Как повод задуматься над таким решением, приведу контрпример. В физике уравнение Пуассона для электростатического поля с точки зрения математики совпадает со стационарным уравнением теплопроводности Фурье. Этот факт нередко используется инженерами при работе с программным обеспечением, в котором программисты запрограммировали решение уравнения теплопроводности, но не сделали интерфейс для решения задач с электростатическим полем. Тем не менее, из совпадения математических выражений никто не делает глубоко идущего вывода о внутреннем сходстве теплопроводности и электростатики.
Распространение информации на статистическую механику
Три человека сыграли большую роль в распространении идей о связи энтропии и информации (см. диссертацию Анта): Норберт Винер, Джон фон Нейман и Уоррен Уивер.
В 1948 году во влиятельной книге ‘Кибернетика‘ Винер соединил концепции информации и энтропии. Кибернетический агент использовал полученную информации для предсказания поведения системы, которое в свою очередь связывалось с порядком или беспорядком; предсказание поведения упорядоченной системы было более легким делом. Далее Винер отталкивался от ‘отрицательной энтропии’ Шрёдингера в книге ‘Что такое жизнь‘, а также от рассуждений химика Гильберта Льюиса (Gilbert Lewis); он еще в 1930 году утверждал: ‘Увеличение энтропии всегда означает потерю информации, и ничего больше.’
Таким образом Винер ввел связь между информацией, которой обладает кибернетический агент, и энтропией системы, которой агент управляет:
‘Понятие количества информации очень естественно соотносится с классическим понятием статистической механики — энтропией. Точно так же, как количество информации в системе является мерой ее степени организованности, так и энтропия системы является мерой ее степени дезорганизации; и одно является просто отрицательным значением другого (…) Мы сказали, что количество информации, являющееся отрицательным логарифмом величины, которую мы можем рассматривать как вероятность, по сути, является отрицательной энтропией.’
Джон фон Нейман в 1932 году в книге ‘Математические основы квантовой механики‘ обсуждал решение, предложенное Лео Сцилардом при рассмотрении демона Максвелла. Фон Нейман считал, что такое решение позволяет объединить вместе физическое состояние системы и эпистемическое состояние агента. Возможно, что таким путем фон Нейман надеялся найти интерпретацию измерения в квантовой механике. После появления работ Шеннона и Винера фон Нейман активно пропагандировал возможность сочетания формальной логики и статистической механики путем использования связи между информацией и энтропией. Авторитет фон Неймана в научных кругах способствовал распространению этой идеи.
Анекдот о рекомендации фон Нейманом термина энтропии для использования в теории информации Шеннона (‘никто не знает, что такое энтропия’) всплыл в 60-х годах в работах Трайбуса. Анта пишет, что никто не знает, правдива ли эта история, но в любом случае она хорошо показывает отношение фон Неймана к энтропии и информации (см. также воспоминания Карнапа).
Уоррен Уивер (Warren Weaver) работал вместе в Шенноном, но Уивер в отличие от Шеннона поставил задачей популяризацию теории информации Шеннона в виде, доступном для просвещенной публики. На этом пути он распространил значение информации в теории Шеннона до семантической и прагматической, а также связал информационную энтропию с термодинамической. Административные ресурсы Уивера обеспечили успех его предприятию.
Леон Бриллюэн был первым физиком, кто довел до конца объединение информационной теории и статистической механики. Его идеи будут описаны в следующей главе, поскольку рассмотрение Бриллюэна связано с мысленным экспериментом Сциларда.
Принцип максимума информационной энтропии Эдвина Джейнса
Статья Эдвина Джейнса 1957 года ‘Теория информации и статистическая механика‘ (в двух частях) дала сильный толчок для интерпретации термодинамической энтропии в духе информации и меры незнания. Приведу две выразительные цитаты из второй части статьи:
‘При такой интерпретации выражение «необратимый процесс» представляет собой семантическую путаницу; необратим не физический процесс, а скорее наша способность следовать за ним. Тогда второй закон термодинамики становится просто утверждением о том, что, хотя наша информация о состоянии системы может быть утеряна различными способами, единственный способ ее получения — это проведение дальнейших измерений.’
‘Важно понимать, что тенденция энтропии к увеличению не является следствием законов физики как таковых … Увеличение энтропии может происходить неизбежно из-за нашего неполного знания сил, действующих на систему, или же это может быть полностью сознательным действием с нашей стороны.’
Правда, Джейнс достаточно быстро разъяснил смысл ‘субъективный’ в исходных статьях. Ниже идет описание идей Джейнса на основе доклада 1978 года ‘Каково положение с максимальной энтропией?‘ (опубликован в следующем году). В нем говорится, что вскоре после статьи 1957 года были внесены важные изменения в терминологию — было введено отличие между информационной и экспериментально измеряемой энтропией, а значение ‘субъективный’ превратилось в ‘каждый разумный человек примет такое решение’.
Идеи Джейнса связаны в первую очередь со статистическим выводом (statistical inference) в теории статистических решений. Джейнс использовал информационную энтропию для поиска неизвестного распределения вероятности событий. Значение термина событие в методе Джейнса хорошо подходит к бросанию костей, когда каждому возможному исходу (событию) сопоставляется своя вероятность. Распределение вероятности событий считается неизвестным и его требуется найти в рамках статистического анализа. Джейнс отталкивается от принципа недостаточного основания Бернулли и Лапласа — из незнания (вероятность субъективна) следует априорная равновероятность всех возможных исходов.
Джейнс расширяет задачу путем включения дополнительной информации о неизвестном распределении; рассматривается случай когда среднее и/или другие моменты распределения известны. Дополнительная известная информация накладывает ограничения при поиске распределения и для решения этой задачи Джейнс выдвинул принцип максимизации информационной энтропии. Джейнс доказывает, что таким образом максимизируется незнание и тем самым в полученный ответ о распределении вероятности закладывается только известная информация и ничто другое.
При переходе к статистической механике Джейнс отвергает частотную интерпретацию при рассмотрении ансамбля Гиббса. Он говорит, что человек вводит распределение вероятности для одной рассматриваемой системы — тем самым, распределение вероятности связано не с миром, а с ограничением существа, проводящего эксперименты. Применение принципа максимума информационной энтропии Джейнса к термодинамическим ансамблям в статистической механике воспроизводит все известные равновесные распределения вероятности. Одновременно уравнение для информационной энтропии аналогично выражению статистической энтропии Гиббса. Это дало повод Джейнсу для далеко идущего утверждения, что принцип максимума информационной энтропии является обоснованием статистической механики.
Джейнс предложил разрубить гордиев узел поиска стрелы времени в статистической механике путем отказа от частотной интерпретации и переходу к субъективным вероятностям. Принцип максимума информационной энтропии максимизирует незнание при известных ограничениях на ансамбль и приводит к правильным результатам. Поэтому следует принять принцип максимума информационной энтропии за обоснование построения статистической механики; Джейнс даже предложил на этой основе так называемый ‘самый быстрый вывод второго закона’.
Призыв нашел отклик у Майрона Трайбуса; он популяризировал подход Джейнса в известном учебнике ‘Термостатика и термодинамика‘ в 1961 году. Трайбус пишет, что метод Джейнса делает статистическую механику доступным для инженеров. Во введении он вначале указывает на сложность обычного преподавания статистической механики:
‘Считается, что для глубокого изучения статистической механики необходимо знакомство с такими абстрактными понятиями, как фазовое пространство, эргодическая система и ячейки фазового пространства. Прежде чем перейти к практическим расчетам, необходимым инженеру, надо в совершенстве овладеть большим количеством специальных математических методов.’
Трайбус также утверждает, что использование метода Джейнса даже проще, чем полное формальное рассмотрение классической термодинамики:
‘Математический аппарат и абстрактные понятия, необходимые для применения метода Джейнса, менее сложны, чем, скажем, в методе макроскопической термодинамики Каратеодори, имеющем многочисленных последователей. Математические методы Джейнса более широко применимы в технике, чем современные методы макроскопической термодинамики.’
В заключение о конфликте между Джейнсом и Абнером Шимони (Abner Shimony, работал вместе с Карнапом). Шимони как и Карнап отстаивал объективность энтропии и он принял деятельное участие в посмертном издании работы Карнапа в 1977 году. Приведу цитату Джейнса о Шимони; она показывает, как кипели страсти по поводу энтропии:
‘[Шимони], похоже, посвятил всю свою жизнь тому, чтобы неверно истолковывать все, что я написал много лет назад, а затем составлять длинные педантичные комментарии, полные технических ошибок и искажений документально подтвержденных фактов, демонстрируя полное отсутствие осведомленности о чем-либо, сделанном в этой области с тех пор, — и которые, чтобы завершить все это, нападают не на мои утверждения, а только на его собственное непонимание. Конфликт заключается не между Шимони и мной, а между Шимони и английским языком.’
Карнап за объективность энтропии
Рудольф Карнап написал работу об энтропии в период с 1952 по 1954 год во время нахождения в Институте перспективных исследований в Принстоне, но эта работа была опубликована только посмертно в 1977 году. Интерес Карнапа к энтропии в статистической механике был связан с его разработками в области индуктивной логики. Карнап считал, что интерпретация вероятности в рамках логики поможет найти путь к частичной верифицируемости. В настоящее время отмечается сходство идей Карнапа с более поздним развитием байесовского статистического вывода.
Карнап заметил сходство математического формализма при статистической интерпретации термодинамической энтропии и при решении задач индуктивной логики в рамках частичной верифицируемости. Карнап сравнивает задачу распределения молекул газа по ячейкам μ-пространства в методе Больцмана с задачей классификации объектов по категориям, возникающей в индуктивной логике. Число возможных размещений объектов по категориям совпадает с числом распределений молекул газа по ячейкам, что приводит к появлению двух энтропий, которые формально выглядят одинаково.
В то же время Карнап подчеркивал принципиальное отличие этих задач; он считал, что сходство математического аппарата не должно приводить к отождествлению одной задачи с другой и тем самым к отождествлению энтропий. В автобиографии, написанной в 1963 году, Карнап охарактеризовал атмосферу написания эссе об энтропии таким образом:
‘Я провел несколько разных бесед с Джоном фон Нейманом, Вольфгангом Паули и некоторыми специалистами в области статистической механики по некоторым интересовавшим меня вопросам теоретической физики. Я, безусловно, многому научился из этих бесед, но в решении моих задач по логическому и методологическому анализу физики я получил меньше помощи, чем рассчитывал… Моей главной задачей была не физическая концепция, а использование абстрактной концепции для целей индуктивной логики. Тем не менее, я также исследовал природу физической концепции энтропии в ее классической статистической форме, разработанной Больцманом и Гиббсом, и пришел к некоторым возражениям против общепринятых определений не с фактической и экспериментальной, а с логической точки зрения. Мне показалось, что обычный способ определения или интерпретации статистической концепции энтропии делает ее, возможно, вопреки намерениям физиков, чисто логической, а не физической концепцией; если это так, то она больше не может быть, как предполагалось, аналогом классической концепции энтропии макросистемы, введенной Клаузиусом, которая, очевидно, является физическим, а не логическим понятием. То же самое, на мой взгляд, относится и к распространенному в последнее время мнению о том, что энтропию можно отождествлять с отрицательным количеством информации. Я ожидал, что в беседах с физиками по этим проблемам мы придем если не к соглашению, то, по крайней мере, к ясному взаимопониманию. Однако в этом мы не преуспели, несмотря на наши серьезные усилия, главным образом, как мне казалось, из-за больших различий во взглядах и в языке.’
Карнап исходит из объективности энтропии в классической термодинамике:
‘Понятие энтропии в термодинамике (S_th) имеет тот же общий характер, что и другие понятия в той же области, например, температура, теплота, энергия, давление и т.д. Оно служило, как и другие понятия, для количественной характеристики некоторого объективного свойства состояния физической системы, скажем, газа g в баллоне в лаборатории на момент исследования.’
С точки зрения Карнапа отсюда следует объективность энтропии в статистической механике; как обоснование этого утверждения Карнап ввел принцип физической величины (Principle of physical magnitudes), который утверждает, что физические описания этой величины на микро- и макроуровне должны приводить к одинаковым результатам в рамках экспериментальной погрешности.
Главное отличие двух энтропий, в статистической механике и в индуктивном выводе, связано с выражением энтропии для микросостояния. В задаче классификации при рассмотрении конкретного микросостояния все неопределенности пропадают и информационная энтропия становится равной нулю. Карнап назвал такое решение вторым методом для определения энтропии микросостояния (метод II). Карнап считает, что такое решение подходит в случае логических задач — в этом случае нет противоречий между ненулевой энтропией макросостояния и нулевой энтропией микросостояния.
Однако такой подход не согласуется с принципом физической величины и поэтому Карнап считал, что такое решение нельзя использовать в статистической механике. Микросостояние относится к физической системе и поэтому его свойства также объективны, как и свойства макросостояния. Для Карнапа экспериментальные измерения соответствуют траектории одной системы во времени, а усреднение по фазовому пространству является всего лишь техническим приемом для нахождения средних по времени.
Микросостояние задает определенную траекторию во времени, поэтому физические свойства изучаемой системы должны быть на уровне отдельного микросостояния. Отсюда следует вывод Карнапа, что энтропия микросостояния должна быть равна энтропии макросостояния; в противном случае становится непонятно, как может получиться ненулевая энтропия макросостояния в ходе движения системы по траектории. Карнап называет такое решение первым методом вычисления энтропии микросостояния (метод I).
Итак, основной вывод Карнапа — в статистической механике как разделе теоретической физики следует использовать только первый метод вычисления энтропии микросостояния, а второй метод следует рассматривать только в ходе решения эпистемологических задач. Именно это привело к серьезным разногласиям с физиками. Джон фон Нейман и Вольфганг Паули считали, что второй метод является правильным при рассмотрении энтропии в статистической механике (энтропия микросостояния равна нулю) и что статья Карнапа поэтому нежелательна. Так, Паули после просмотра черновика эссе Карнапа написал:
‘Уважаемый мистер Карнап! Я несколько ознакомился с вашей рукописью, однако, к сожалению, должен сообщить, что я решительно против занимаемой вами позиции. Я бы скорее счел физически наиболее прозрачным то, что вы называете “Методом II”. В этой связи я не нахожусь под полным влиянием современной теории информации (…), поскольку я действительно обеспокоен тем, чтобы путаница в области основ статистической механики не усугубилась бы еще больше (и я очень опасаюсь, что публикация вашей работы в таком виде имела бы такой эффект).’
Аналогичные аргументы были со стороны фон Неймана. В результате Карнап отказался от идеи опубликования эссе; возможно он не хотел, чтобы его работы в области индуктивной логики из-за этих разногласий попали под атаку со стороны физиков. Я вернусь к принципу физической величины Карнапа в третьей части книги при обсуждении вопроса о взаимосвязи между теориями физики на разных уровнях организации.
Далее:
Информация
Шеннон К. Бандвагон, в кн. Работы по теории информации и кибернетике, 1963.
Shannon C., The Bandwagon, Trans. IRE, IT-2, № 1 (1956), 3.
James Clerk Maxwell, Tait’s “Thermodynamics”, II. Nature, 1878, 278-280.
История появления информационной физики: Краткая информация по истории становления информационной физики из диссертации Хавьера Анта. Информатизация термической физики. Золотой век информационной физики.
Принцип максимум информационной энтропии Эдвина Джейнса в статистической механике: Термин информация в теории Шеннона. Принцип максимизации информационной энтропии. Джейнс и обоснование статистической механики. Термодинамическая и информационная энтропия. Метод Джейнса в работе Зубарева.
Rudolf Carnap, Two essays on entropy, Univ of California Press, 1977.
Hannes Leitgeb and André Carus, Rudolf Carnap, The Stanford Encyclopedia of Philosophy, 8. Inductive Logic and the Re-Emergence of the Theoretical Language.
Обсуждение
15.01.2025 Максвелл о теплоте и работе
Цитаты Максвелла.