Ранее: Излучение черного тела и появление неразличимых частиц
Содержание: Термодинамика
Хавьер Анта в диссертации ‘Исторические и концептуальные основания информационной физики‘ рассматривает процесс проникновения концепции информации в современную физику. Толчком к такому развитию событий явились разногласия в интерпретации энтропии в статистической механике плюс появление теории информации Шеннона. Далее шаг за шагом произошел переход к другим разделам физики — термодинамика черных дыр, физическая природа информации Ландауэра и ‘Оно из бита’ Джона Уиллера.
Рассмотрение истории показывает в том числе каким образом физики дошли до отождествления термодинамической и информационной энтропии. Я столкнулся с этим фактом лет десять назад в ходе обсуждений на everything-list, где для большинства участвующих это представлялось само собой разумеющимся. В то время я ограничился небольшой заметкой по этому поводу (Entropy and Information), в которой обосновал свое недоумение.
Ниже краткая информация по истории становления информационной физики из двух глав диссертации: глава 3 ‘Информатизация термической физики‘ и глава 4 ‘Золотой век информационной физики‘. При изложении истории Анта отталкивается от небольшой заметки Клода Шеннона 1956 года ‘Повальное увлечение (Bandwagon)‘, в которой призывалось к осторожности в применении теории информации в областях, для которых она не предназначалось. Но бандвагон информации было уже невозможно остановить (буду использовать транслитерацию английского слова).
Реконструкция ‘термического двигателя’ бандвагона Шеннона в физике
Норберт Винер: комплементарная связь между информацией и энтропией
В 1948 году во влиятельной книге ‘Кибернетика‘ Винер соединил концепции информации и энтропии. Кибернетический агент использовал полученную информации для предсказания поведения системы, которое в свою очередь связывалось с порядком или беспорядком; предсказание поведения упорядоченной системы было более легким делом. Далее Винер отталкивался от ‘отрицательной энтропии’ Шрёдингера в книге ‘Что такое жизнь‘, а также от рассуждений химика Гильберта Льюиса (Gilbert Lewis); он еще в 1930 году утверждал: ‘Увеличение энтропии всегда означает потерю информации, и ничего больше.’
Таким образом Винер ввел связь между информацией, которой обладает кибернетический агент, и энтропией системы, которой агент управляет:
‘Понятие количества информации очень естественно соотносится с классическим понятием статистической механики — энтропией. Точно так же, как количество информации в системе является мерой ее степени организованности, так и энтропия системы является мерой ее степени дезорганизации; и одно является просто отрицательным значением другого (…) Мы сказали, что количество информации, являющееся отрицательным логарифмом величины, которую мы можем рассматривать как вероятность, по сути, является отрицательной энтропией.’
Джон фон Нейман: Теория информации как натурализованная эпистемология науки
Джон фон Нейман в 1932 году в книге ‘Математические основы квантовой механики‘ обсуждал решение, предложенное Лео Сцилардом при рассмотрении демона Максвелла. Фон Нейман считал, что такое решение позволяет объединить вместе физическое состояние системы и эпистемическое состояние агента. Возможно, что таким путем фон Нейман надеялся прийти к интерпретации измерения в квантовой механики. После появления работ Шеннона и Винера фон Нейман активно пропагандировал возможность сочетания формальной логики и статистической механики путем использования связи между информацией и энтропией. Авторитет фон Неймана в научных кругах способствовал распространению этой идеи.
История о рекомендации фон Нейманом термина энтропии для использования в теории информации Шеннона всплыла в 60-х годах в работах Трайбуса (Tribus). Анта пишет, что никто не знает, правдива ли эта история, но в любом случае она хорошо соответствует отношению фон Неймана к энтропии и информации.
Уоррен Уивер: теория информации Шеннона выходит за рамки Шеннона
Уоррен Уивер (Warren Weaver) работал вместе в Шенноном, но Уивер в отличие от Шеннона поставил задачей популяризацию теории информации Шеннона в виде, доступном для просвещенной публики. На этом пути он распространил техническое значение информации в теории Шеннона до семантической и прагматической, а также связал информационную энтропию с термодинамической. Административные ресурсы Уивера обеспечили успех его предприятию.
Информатизация Леона Бриллюэна
Леон Бриллюэн (Lеon Brillouin, 1889-1969) был первым физиком, кто довел до конца объединение информационной теории и статистической механики в духе рассмотрения демона Максвелла по Сциларду. В 1956 году вышла книга ‘Наука и теория информации‘, а в 1964 году книга ‘Научная неопределенность и информация‘ (обе книги переведены на русский язык). Бриллюэн ввел термин негэнтропия (сокращение от отрицательной энтропии) и приравнял ее информации; Бриллюэн использовал интерпретацию статистической энтропии по Больцману.
В разделе рассказываются об истоках идей Бриллюэна, связанных с английской школой информации. На русском есть реферат статьи Анта:
Думов, А. В. Реф. ст.: Анта Х. Информация, значение и физика: интеллектуальная эволюция английской школы теории информации в 1946-1956 гг. Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 3, Философия: Реферативный журнал 3 (2023): 84-90.
Говорится о популярности идей Бриллюэна, но отмечается, что эти работы не привели к созданию научной школы; скорее следует говорить о традиции интерпретации статистической энтропии и информации по Бриллюэну.
См. Леон Бриллюэн: Наука и теория информации
Информатизация Эдвина Джейнса
Физик Эдвин Томпсон Джейнс (Edwin Thompson Jaynes, 1922-1998) в 1957 году предложил другое решения для связи информации и энтропии. Он соединил эпистемическую интерпретацию вероятности (вероятность как мера незнания агента) с статистической интерпретацией энтропии в методе ансамблей Гиббса (принцип максимума энтропии). На everything-list мне рекомендовали познакомиться с его статьями 1957 года. Я сломался на следующих утверждениях Джейнса:
‘При такой интерпретации выражение «необратимый процесс» представляет собой семантическую путаницу; необратим не физический процесс, а скорее наша способность следовать за ним. Тогда второй закон термодинамики становится просто утверждением о том, что, хотя наша информация о состоянии системы может быть утеряна различными способами, единственный способ ее получения — это проведение дальнейших измерений.’
‘Важно понимать, что тенденция энтропии к увеличению не является следствием законов физики как таковых, … . Увеличение энтропии может происходить неизбежно из-за нашего неполного знания сил, действующих на систему, или же это может быть полностью сознательным действием с нашей стороны.’
Анта пишет, что Джейнс вводил субъективность на уровне человечества, а не на уровне отдельного человека. Для отдельного человека процесс увеличения энтропии в изолированной системе оставался объективным, но эта объективность, насколько я понял, ограничивалась возможностями человечества как вида.
Работы Джейнса были очень популярными и Анта отмечает, что можно говорить о появлении научной школы, поскольку в последующем проводились конференции и симпозиумы, посвященные исключительно принципу максимума энтропии Джейнса.
Критика Карнапа информационного бандвагона
См. Рудольф Карнап: Два эссе об энтропии
Интеллектуальная эволюция информационной теплофизики
В этом разделе рассматриваются основные события 60-х — 80-х годов прошлого века.
Рассмотрена роль инженера по образованию Майрона Трайбуса (Myron Tribus, 1921-2016), который во влиятельной книге ‘Термостатика и термодинамика‘ (переведена на русский язык) и в последующих работах предложил синкретичный синтез идей Бриллюэна и Джейнса. Анта отмечает, что именно работы Трайбуса способствовали принятию в физике идеи о тождественности термодинамической и информационной энтропии.
Другая линия развития была связана с появившейся алгоритмической теорией информации Колмогорова; был предложен математический формализм для рассмотрения сложных систем — энтропия Колмогорова-Синая в теории хаоса. Аналогичная логика была использовано в совместных работах Грегори Хайтина (Gregory Chaitin) и Чарльза Беннетта (Charles Bennett), что привело к появлению концепции алгоритмической энтропии и ее использования в задачах статистической механики.
Важную роль в распространении информационных идей сыграла теория термодинамики черных дыр Джейкоба Бекенштейна (Jacob Bekenstein). Джон Уилер предложил Бекенштейну изучение сингулярностей в общей теории относительности, которые Уилер в 1967 году окрестил черными дырами. Вначале предполагалось, что черная дыра обладает для внешнего наблюдателя только тремя характеристиками (массой, зарядом и моментом). Дальнейшее рассмотрение (демон Уилера) привело к необходимости введения энтропии, что было выполнено Бекенштейном в рамках позиции, основанной на идеях Бриллюэна и Джейнса. Таким образом, информация связывалась с черной дырой, а далее из этого следовало наличие температуры черной дыры.
Бурный рост физики информации в 1990-х годах и информационные онтологии
Большим событием в информационной физике явился симпозиум ‘Сложность энтропия, и физика информации‘ в 1989 году. Сборник статей участников появился в 1990 году под редакцией Войцеха Зурека (Wojciech Zurek ed, Complexity, Entropy, and the Physics of Information). Предисловие Зурека характеризуется в диссертации как манифест информационной физики, поскольку Зурек объединяет все линии развития вместе, в том числе связывая информацию с проблемой измерения в квантовой механике.
В этом разделе диссертации излагаются взгляды Зурека на энтропию под слоганом ‘Физическая энтропия = упущенная информация + известная стохастичность’. Также рассматриваются взгляды Карлтона Кейвса (Carlton M. Caves), который предлагал несколько отличную от Зурека программу объединения информации и энтропии.
После этого Анта рассматривает появившиеся взгляды физиков на онтологию информации.
Джон Уилер — Оно из бита, см. Джон Уилер: Информация, физика, квант — поиск связей
Ландауэр — Информация является физической, см. Рольф Ландауэр: Физическая природа информации
Пол Дэвис — Алгоритмическая информационная структура. Ученые в рамках алгоритмической теории информации ищут регулярности, которые сжимаются законами-алгоритмами.
В завершении упоминаются книги ‘Программируя Вселенную: Квантовый компьютер и будущее науки‘ Сета Ллойда и ‘Расшифровка реальности: Вселенная как квантовая информация‘ Влатко Ведрала (Vlatko Vedral, Decoding Reality: The Universe as Quantum Information) как пример всеохватывающей информационной метафизики.
Далее: Леон Бриллюэн: Наука и теория информации
Информация
Javier Anta Pulido, Historical and Conceptual Foundations of Information Physics. (2021). Chapter III, The Informationalization of Thermal Physics, Chapter IV, The Golden Age of Information Physics.