Ранее: История появления информационной физики
Содержание: Термодинамика
Конец 1940-ых — начало 1950-ых годов были ознаменованы желанием физиков включить информацию в рассмотрение физики — см. раздел «Реконструкция ‘термического двигателя’ бандвагона Шеннона в физике» в предыдущей заметке. Первым физиком, кто довел до конца объединение информационной теории и статистической механики, был Леон Бриллюэн (Lеon Brillouin, 1889-1969). После серии статей в 1956 году вышла его книга ‘Наука и теория информации‘ и таким образом Бриллюэн на год опередил Эдвина Джейнса, статьи которого вышли в 1957 году.
По содержанию книгу можно разделить на три части. В первых восьми главах рассматривается теория информации (информация по Шеннону, избыточность языка, кодирование, пропускная способность, исправляющие ошибки коды) плюс Фурье-анализ сигналов. Далее вводится связь информации и термодинамической энтропии и формулируется негэнтропийный принцип информации (пять глав). После этого Бриллюэн переходит к применению введенного принципа к рассмотрению измерений в физике, проблем связи и вычислений (семь последних глав). Одна из глав называется ‘Письмо, печать и чтение‘, в которой Бриллюэн решается на обобщение принципа далеко за пределами собственно физики.
Наиболее важными являются главы в середине книги, которые можно в свою очередь разделить на рассмотрение негэнтропии и информации (две главы, ниже им будет уделено основное внимание), флуктуационно-диссипационной теоремы (броуновское движение и тепловые шумы, две главы) и демона Максвелла (одна глава).
В начале девятой главе ‘Основы термодинамики‘ кратко рассматривается классическая термодинамика, а энтропии связывается с деградацией энергии. В целом такая интерпретация вполне допустима, но следует уточнить, что количественная связь между возможностью системы совершать работу и значением энтропии системы достаточно сложна. В случае изолированной системы в качестве такой меры можно использовать разность текущего значения энтропии и максимально возможного значения — чем меньше эта разность, тем меньше остается возможность для совершения работы. В случае неизолированных систем связь существенно усложняется.
Бриллюэн однако решил опереться на абсолютное значение энтропии системы, при этом он посчитал, что лучшим выражением деградации энергии будет служить отрицательное значение энтропии, которое он назвал негэнтропией. В качестве обоснования была ссылка на цитату из работы Питера Тэйта (современник Кельвина и Максвелла), а также Шрёдингера (питание отрицательной энтропией). В то же время негэнтропия определяется формально просто как отрицательное значение энтропии:
‘Негэнтропия (N = —S) представляет качество энергии и она должна всегда убывать. В этом состоит смысл кельвинова принципа деградации энергии …’
‘Изолированная система обладает негэнтропией, если она обнаруживает возможность совершения механической или электрической работы: …’
Формулировки выше, к сожалению, достаточно небрежны и это ведет к недоразумениям в последующем изложении Бриллюэна. Во-первых, согласно определению даже при достижении равновесного состояния система обладает негэнтропией, то есть второе утверждение фактически неверно. Оно будет правильным только в случае рассмотрения разности между текущим значением негэнтропии и негэнтропии в равновесном состоянии изолированной системы. Оба утверждения будут неправильными в случае рассмотрения неизолированной системы.
Далее вводится статистическая интерпретация энтропии по Больцману, которая будет играть основную роль в связи энтропии и информации. К сожалению, Бриллюэн не говорит про ограниченность известного уравнения Больцмана. Практически его можно использовать только для идеального газа, а в более сложных системам подсчитать число допустимых микросостояний для данного макросостояния не представляется возможным. Таким образом, Бриллюэн вступает в противоречие с принципом, который он сформулировал во Введении (Бриллюэну нравится философия науки Бриджмена):
‘Экспериментальные науки ввели другой тип определения, часто называемый операционным. Сила, масса, скорость и т.д. определяются кратким описанием эксперимента, необходимым для измерения этих величин. … Как правило, считается целесообразным вводить в научный язык только те величины, которые могут быть определены операционно.’
В этом смысле невозможно ввести практическую метрологию измерения энтропии на основе уравнения Больцмана; тем самым последующее рассмотрение энтропии в книге оказывается полностью оторванным от экспериментальных измерений. Более того, в книге есть такие высказывания (из Введения):
‘Термодинамическая энтропия есть мера недостатка информации о некоторой физической системе.’
Следует ли воспринимать сказанное, что качество энергии системы связано с недостатком информации о системе? По-моему, интерпретация энтропии как деградации энергии невозможно совместить с озвученной субъективностью энтропии. Это одна из проблем книги Бриллюэна — в разных частях книги даются утверждения, противоречащие друг другу.
После двух глав, связанных с рассмотрением флуктуационно-диссипационной теоремы, Бриллюэн в главе 12 ‘Негэнтропийный принцип информации‘ вводит означенный принцип. Логика незамысловатая — посмотрите на выражение для информации в теории Шеннона и сравните с таковым в уравнении Больцмана. Отсюда делаем вывод (уравнение 12.4, негэнтропийный принцип информации):
‘связанная информация = убыванию энтропии S = увеличению негэнтропии N’
Связанная информация у Бриллюэна является информацией в физическом устройстве. Бриллюэн также рассматривает свободную информацию, связанную с человеком: человек (свободная информация) — коммуникация (связанная информация) — другой человек (свободную информацию); но я ограничу свое рассмотрение только связанной информацией (ниже просто информация).
В этой главе появляются утверждения, значение которых я не смог разгадать:
‘энтропия убывает с получением информации, уменьшающей число микросостояний, и эта информация должна доставляться внешним агентом, энтропия которого будет возрастать.’
‘Получение информации о физической системе соответствует понижению энтропии этой системы.’
‘энтропия есть мера недостатка информации о действительной структуре системы.’
В примерах, приведенных в этой главе, Бриллюэн рассматривает самопроизвольное расширение газа в вакуум и смешение двух газов. Приведу описание первого процесса, только опущу уравнения:
‘Предположим, что мы имеем дополнительную информацию о состоянии газа; например, нам удалось узнать, что в некоторый предшествующий момент газ занимал меньший объем V1. Так обстояло бы дело, если бы газ содержалася в сосуде V1, который мы внезапно соединили бы с другим объемом V2. … Начальная энтропия S1 меньше энтропии S после расширения … [информация в уравнении определяется как разница энтропий]. Когда мы впускаем газ в объем V2, между обоими сосудами возникают колебания плотности, и постепенно устанавливается равновесное состояние с плотностью, однородной во всем объеме V. Возрастание энтропии и потеря информации происходит совместно. Мы можем сказать, что газ постепенно «забывает» информацию.’
При смешении газов вывод аналогичный: ‘возрастание энтропии соответствует потере информации’. Однако из этих примеров остается совершенно непонятной связь вывода о забывании информации в рассмотренных примерах с утверждениями выше об уменьшении энтропии системы при измерении. Такие утверждения остались на уровне декларации, реальных примеров в подтверждение сказанного приведено не было.
Как бы то ни было, пример с расширением газа можно использовать, чтобы попытаться понять значения количества информации у Бриллюэна. Возьмем один литр идеального газа при нормальных условиях — это соответствует 1e5*0.001/(8.314*298)=0.044 молю или 0.044*6.022e23=2.65e22 молекул. Рассмотрим процесс расширения до двух литров. Изменение энтропии равно «забытой информации»: 0.044*8.314*log(2)=0.25 Дж/К. Теперь требуется понять, о каком количестве забытой информации говорит это число.
В первой главе при обсуждении единиц информации Бриллюэн говорит, что информацию можно измерять либо в битах, либо в энтропийных единицах. Пересчет от энтропийных единиц к битам согласно уравнению (1.4а) дает 0.25/(1.38e-23*log(2))=2.61e22 бит. Что означает потеря такого числа бит в случае расширения идеального газа от одного до двух литров? Было бы интересно узнать, что Бриллюэн думал по этому поводу, но, к сожалению, ответа в книге на этот вопрос не найти.
Название следующей главы ‘Демон Максвелла и негэнтропийный принцип информации‘ передает ее суть. Интересно отметить, что в самом начале этой главы Бриллюэн кратко обращается к рассмотрению Смолуховского. Поскольку любое устройство, претендующее на роль демона Максвелла, является физическим устройством, то флуктуации не дадут возможности такому устройству работать в продолжительном режиме. Так, Бриллюэн обсуждает вечный источник тока (вечный двигатель второго рода) в виде диода, работающего при использовании тепловых флуктуаций. Тепловые флуктуации вызывают ток, направленный то в одну, то в другую сторону, диод же оставляет ток только в одном направлении. Однако флуктуации в работе диода не дают возможности реализовать этот проект.
Тем не менее, Бриллюэна не устраивает такое решение в общем случае и далее он начинает рассмотрение демона Максвелла как устройства, перерабатывающего информацию; в духе мысленного эксперимента Лео Силарда (в другой транскрипции Сцилард). Я ограничусь только двумя общими комментариями к такому рассмотрению. Во-первых, в этой главе Бриллюэн полностью выходит за рамки экспериментальных измерений, поскольку, как уже упоминалось, у Бриллюэна отсутствует метрология измерения энтропии. Расчет энтропии по уравнению Больцмана в ограниченном числе случаев приводит к значениям энтропии, совпадающем с результатами экспериментов в классической термодинамике. Однако в случаях, далеко выходящих за пределы классической термодинамики, требуются отдельные экспериментальные исследования, в особенности при использовании декларации о субъективности энтропии.
Во-вторых, рассмотрение в этом главе, с моей точки зрения, смешивает два уровня описания устройства. Рассмотрим в качестве примера кабель связи, через который по Бриллюэну протекает связанная информация. С одной стороны, есть техническое задание — устройство должно выполнять определенные действия. На этом уровне при рассмотрении кабеля появляется информация, кодирование, шумы, мешающие передаче информации, и пропускная способность. С другой стороны, есть инженерная реализация этого устройства — структура кабеля. Физическое описание относится к структуре кабеля и к передаче электромагнитного поля через кабель при заданных условиях. В данной ситуации необходимо рассмотрение влияния внешних полей, тепловых потерь, температурного режима и т.д. Однако на этом уровне описания информация в явном виде отсутствует, описанию подлежит только изменение компонентов электромагнитного поля вдоль кабеля при заданных условиях.
Энтропия кабеля как физическая величина также относится исключительно к физическому уровню описания кабеля. В то же время информационная энтропия связана с техническим заданием, с кодированием информации, которая будет передаваться в ходе распространения электромагнитных волн вдоль кабеля. В настоящее время использование сжатия в архивах для сохранения информации позволяет хорошо подчеркнуть принципиальную разницу двух энтропий, термодинамической и информационной. Следует вспомнить, что сжатие связано с увеличением информационной энтропии — сжатый архив приближается к случайной последовательности и тем самым позволяет сохранить больше информации. Таким образом, чем больше информационная энтропия, тем больше информации можно сохранить в сжатом архиве. Это явно противоречит концепции Бриллюэна, который связал информацию с уменьшением энтропии. См. также выразительную цитату по этому поводу в заметке: ‘Рудольф Арнхэйм: Энтропия и искусство‘.
В 1964 году вышла книга Бриллюэна ‘Научная неопределенность и информация‘, в которой он использовал негэнтропийный принцип информации при рассмотрении науки. Я потерял мысль Бриллюэна практически с самого начала, поэтому отмечу только один интересный факт. Книга была переведена на русский язык в 1966 году, всего через два года после выхода на английском языке. В то же время во введении книги содержится такое утверждение:
‘Было провозглашено много метафизических учений, в том числе и так называемый диалектический материализм. Вскоре оказалось, что все эти искусственные сооружения ограничивают свободу мышления.’
В послесловии книги содержится критика взглядов Бриллюэна с точки зрения диалектического материализма, но сам факт остается, по-моему, примечательным. По всей видимости в то время был запрос на книги с рассуждениями об информации и поэтому книга известного физика была так быстро переведена на русский.
Далее: И. Р. Пригожин: Конец определенности
Информация
Леон Бриллюэн, Наука и теория информации, 1960.
Lеon Brillouin, Science and Information Theory, 1956.
Леон Бриллюэн, Научная неопределенность и информация, 1966.
Lеon Brillouin, Scientific Uncertainty and Information, 1964.