Ранее: Принцип максимум информационной энтропии Эдвина Джейнса в статистической механике
Содержание: Термодинамика
Хавьер Анта в диссертации ‘Исторические и концептуальные основания информационной физики‘ рассматривает процесс проникновения концепции информации в современную физику. Толчком к такому развитию событий явились разногласия в интерпретации энтропии в статистической механике плюс появление теории информации Шеннона. Далее шаг за шагом произошел переход к другим разделам физики — термодинамика черных дыр, физическая природа информации Ландауэра и ‘Оно из бита’ Джона Уиллера.
Рассмотрение истории показывает в том числе каким образом физики дошли до отождествления термодинамической и информационной энтропии. Я столкнулся с этим фактом лет десять назад в ходе обсуждений на everything-list, где для большинства участвующих это представлялось само собой разумеющимся. В то время я ограничился небольшой заметкой по этому поводу (Entropy and Information), в которой обосновал свое недоумение.
Ниже краткая информация по истории становления информационной физики из двух глав диссертации: глава 3 ‘Информатизация термической физики‘ и глава 4 ‘Золотой век информационной физики‘. При изложении истории Анта отталкивается от небольшой заметки Клода Шеннона 1956 года ‘Повальное увлечение (Bandwagon)‘, в которой призывалось к осторожности в применении теории информации в областях, для которых она не предназначалось. Но бандвагон информации было уже невозможно остановить (буду использовать транслитерацию английского слова).
Реконструкция ‘термического двигателя’ бандвагона Шеннона в физике
Норберт Винер: комплементарная связь между информацией и энтропией
В 1948 году во влиятельной книге ‘Кибернетика‘ Винер соединил концепции информации и энтропии. Кибернетический агент использовал полученную информации для предсказания поведения системы, которое в свою очередь связывалось с порядком или беспорядком; предсказание поведения упорядоченной системы было более легким делом. Далее Винер отталкивался от ‘отрицательной энтропии’ Шрёдингера в книге ‘Что такое жизнь‘, а также от рассуждений химика Гильберта Льюиса (Gilbert Lewis); он еще в 1930 году утверждал: ‘Увеличение энтропии всегда означает потерю информации, и ничего больше.’
Таким образом Винер ввел связь между информацией, которой обладает кибернетический агент, и энтропией системы, которой агент управляет:
‘Понятие количества информации очень естественно соотносится с классическим понятием статистической механики — энтропией. Точно так же, как количество информации в системе является мерой ее степени организованности, так и энтропия системы является мерой ее степени дезорганизации; и одно является просто отрицательным значением другого (…) Мы сказали, что количество информации, являющееся отрицательным логарифмом величины, которую мы можем рассматривать как вероятность, по сути, является отрицательной энтропией.’
Джон фон Нейман: Теория информации как натурализованная эпистемология науки
Джон фон Нейман в 1932 году в книге ‘Математические основы квантовой механики‘ обсуждал решение, предложенное Лео Сцилардом при рассмотрении демона Максвелла. Фон Нейман считал, что такое решение позволяет объединить вместе физическое состояние системы и эпистемическое состояние агента. Возможно, что таким путем фон Нейман надеялся прийти к интерпретации измерения в квантовой механики. После появления работ Шеннона и Винера фон Нейман активно пропагандировал возможность сочетания формальной логики и статистической механики путем использования связи между информацией и энтропией. Авторитет фон Неймана в научных кругах способствовал распространению этой идеи.
История о рекомендации фон Нейманом термина энтропии для использования в теории информации Шеннона всплыла в 60-х годах в работах Трайбуса (Tribus). Анта пишет, что никто не знает, правдива ли эта история, но в любом случае она хорошо соответствует отношению фон Неймана к энтропии и информации.
Уоррен Уивер: теория информации Шеннона выходит за рамки Шеннона
Уоррен Уивер (Warren Weaver) работал вместе в Шенноном, но Уивер в отличие от Шеннона поставил задачей популяризацию теории информации Шеннона в виде, доступном для просвещенной публики. На этом пути он распространил техническое значение информации в теории Шеннона до семантической и прагматической, а также связал информационную энтропию с термодинамической. Административные ресурсы Уивера обеспечили успех его предприятию.
Информатизация Леона Бриллюэна
Леон Бриллюэн (Lеon Brillouin, 1889-1969) был первым физиком, кто довел до конца объединение информационной теории и статистической механики в духе рассмотрения демона Максвелла по Сциларду. В 1956 году вышла книга ‘Наука и теория информации‘, а в 1964 году книга ‘Научная неопределенность и информация‘ (обе книги переведены на русский язык). Бриллюэн ввел термин негэнтропия (сокращение от отрицательной энтропии) и приравнял ее информации; Бриллюэн использовал интерпретацию статистической энтропии по Больцману.
В разделе рассказываются об истоках идей Бриллюэна, связанных с английской школой информации. На русском есть реферат статьи Анта:
Думов, А. В. Реф. ст.: Анта Х. Информация, значение и физика: интеллектуальная эволюция английской школы теории информации в 1946-1956 гг. Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 3, Философия: Реферативный журнал 3 (2023): 84-90.
Говорится о популярности идей Бриллюэна, но отмечается, что эти работы не привели к созданию научной школы; скорее следует говорить о традиции интерпретации статистической энтропии и информации по Бриллюэну.
См. Леон Бриллюэн: Наука и теория информации
Информатизация Эдвина Джейнса
См. Принцип максимум информационной энтропии Эдвина Джейнса в статистической механике
Работы Джейнса были очень популярными и Анта отмечает, что можно говорить о появлении научной школы, поскольку в последующем проводились конференции и симпозиумы, посвященные исключительно принципу максимума энтропии Джейнса.
Критика Карнапа информационного бандвагона
См. Рудольф Карнап: Два эссе об энтропии
Интеллектуальная эволюция информационной теплофизики
В этом разделе рассматриваются основные события 60-х — 80-х годов прошлого века.
Рассмотрена роль инженера по образованию Майрона Трайбуса (Myron Tribus, 1921-2016), который во влиятельной книге ‘Термостатика и термодинамика‘ (переведена на русский язык) и в последующих работах предложил синкретичный синтез идей Бриллюэна и Джейнса. Анта отмечает, что именно работы Трайбуса способствовали принятию в физике идеи о тождественности термодинамической и информационной энтропии.
Другая линия развития была связана с появившейся алгоритмической теорией информации Колмогорова; был предложен математический формализм для рассмотрения сложных систем — энтропия Колмогорова-Синая в теории хаоса. Аналогичная логика была использовано в совместных работах Грегори Хайтина (Gregory Chaitin) и Чарльза Беннетта (Charles Bennett), что привело к появлению концепции алгоритмической энтропии и ее использования в задачах статистической механики.
Важную роль в распространении информационных идей сыграла теория термодинамики черных дыр Джейкоба Бекенштейна (Jacob Bekenstein). Джон Уилер предложил Бекенштейну изучение сингулярностей в общей теории относительности, которые Уилер в 1967 году окрестил черными дырами. Вначале предполагалось, что черная дыра обладает для внешнего наблюдателя только тремя характеристиками (массой, зарядом и моментом). Дальнейшее рассмотрение (демон Уилера) привело к необходимости введения энтропии, что было выполнено Бекенштейном в рамках позиции, основанной на идеях Бриллюэна и Джейнса. Таким образом, информация связывалась с черной дырой, а далее из этого следовало наличие температуры черной дыры.
Бурный рост физики информации в 1990-х годах и информационные онтологии
Большим событием в информационной физике явился симпозиум ‘Сложность энтропия, и физика информации‘ в 1989 году. Сборник статей участников появился в 1990 году под редакцией Войцеха Зурека (Wojciech Zurek ed, Complexity, Entropy, and the Physics of Information). Предисловие Зурека характеризуется в диссертации как манифест информационной физики, поскольку Зурек объединяет все линии развития вместе, в том числе связывая информацию с проблемой измерения в квантовой механике.
В этом разделе диссертации излагаются взгляды Зурека на энтропию под слоганом ‘Физическая энтропия = упущенная информация + известная стохастичность’. Также рассматриваются взгляды Карлтона Кейвса (Carlton M. Caves), который предлагал несколько отличную от Зурека программу объединения информации и энтропии.
После этого Анта рассматривает появившиеся взгляды физиков на онтологию информации.
Джон Уилер — Оно из бита, см. Джон Уилер: Информация, физика, квант — поиск связей
Ландауэр — Информация является физической, см. Рольф Ландауэр: Физическая природа информации
Пол Дэвис — Алгоритмическая информационная структура. Ученые в рамках алгоритмической теории информации ищут регулярности, которые сжимаются законами-алгоритмами.
В завершении упоминаются книги ‘Программируя Вселенную: Квантовый компьютер и будущее науки‘ Сета Ллойда и ‘Расшифровка реальности: Вселенная как квантовая информация‘ Влатко Ведрала (Vlatko Vedral, Decoding Reality: The Universe as Quantum Information) как пример всеохватывающей информационной метафизики.
Информация
Javier Anta Pulido, Historical and Conceptual Foundations of Information Physics. (2021). Chapter III, The Informationalization of Thermal Physics, Chapter IV, The Golden Age of Information Physics.
Леон Бриллюэн, Наука и теория информации, 1960.
Леон Бриллюэн: Наука и теория информации
Rudolf Carnap, Two essays on entropy, Univ of California Press, 1977.
Рудольф Карнап: Два эссе об энтропии
John A. Wheeler. (1990) Information, Physics, Quantum: The Search for Links. In
W. Zurek (ed.), Complexity, Entropy and the Physics of Information. p. 3 — 28.
Джон Уилер: Информация, физика, квант — поиск связей
Landauer R. The physical nature of information. Physics letters A. 1996, 217(4-5):188-93.
Landauer R. Information is a physical entity. Physica A: Statistical Mechanics and its applications. 1999, 263(1-4):63-7.
Рольф Ландауэр: Физическая природа информации
Дополнительная информация
Цифровая физика: Обзор идей, лежащих в основе цифровой физики. Вычисления, связанные со вселенной, ограничиваются таковыми в рамках машины Тьюринга. Ландауэр, Фейнман, Цузе, Фредкин, Вольфрам.
Физические процессы как вычисления: Как найти вычисления среди физических процессов? Ответ понятен, когда человек проводит вычисления, но без человека вопрос остается открытым.
Бруно Маршаль: Метафизика вычислений: Описание идей логика Бруно Маршаля. Он доказывает, что вычислительная теория сознания отвергает материализм и приводит к нейтральному монизму — существуют только вычисления.