Содержание: Термодинамика
Информация из заметки использована в главах 2.5 ‘Демон Максвелла и информация‘ и 3.5 ‘Критика термодинамики информации‘ книги ‘Осмысление энтропии в свете свечи‘
17.06.2025 редакционные изменения.
Leo Szilard правильно произносится как Лео Силард, но я по привычке буду использовать транскрипцию Сцилард; именно так стоит во многих учебниках. Сцилард известен мысленным экспериментом, который сыграл большую роль в попытках физиков во второй половине 20-ого века связать информацию и вычисления с физическими процессами. Выражение для информационной энтропии в теории информации Шеннона оказалось аналогичным для термодинамической энтропии в статистической механике. Мысленный эксперимент Сциларда давал дополнительный повод для утверждения об эквивалентности информационной и термодинамической энтропии; тем самым информация переводилась на уровень физической величины.
Ниже кратко рассмотрены работы Сциларда и последующее рассмотрение его мысленного эксперимента в работах Бриллюэна, Беннета (принцип Ландауэра) и Зурека на уровне квазиклассического приближения без квантовой механики. После этого идет критический анализ. Нельзя не отметить роль идеи Сциларда как источника вдохновения для ряда поколений физиков, но в то же время существует ряд аргументов против таких попыток отождествления информационной и термодинамической энтропии.
- История появления демона Сциларда
- История анализа демона Сциларда
- Критика термодинамики информации
- Что доказывает рассмотрение демона Сциларда?
- Принцип Ландауэра, обратимые вычисления и флуктуации
- Неадекватность мысленного эксперимента Сциларда
- Информация и физическое как уровни организации
- Заключение
История появления демона Сциларда
История появления демона Максвелла и изменение отношения к нему в начале 20-ого века представлена в заметке ‘Демон Максвелла и броуновское движение против второго закона‘. Напомню, что в качестве решения Мариан Смолуховский натурализовал демона Максвелла и указал, что флуктуации в демоне помешают ему успешно использовать флуктуации в системе для получения работы. Таким образом Смолуховский в 1914 году предложил ослабленную версию невозможности вечного двигателя второго рода:
‘Нельзя осуществить никакого автоматического приспособления, которое продолжительное время производило бы полезную работу за счет теплоты более низкой температуры.’
Имелось в виду, что демону удастся случайно завершить один или даже несколько циклов двигателя с получением работы, но на этом все и остановится. Таким образом, принципиальная невозможность вечного двигателя второго рода оставалась в силе.
Статья Сциларда 1925 года была посвящена созданию феноменологической теории флуктуаций — предполагалось, что в теорию классической термодинамики можно включить флуктуации при использовании ряда дополнительных допущений. Целью ставился перенос идеи Смолуховского на язык уравнений. Отмечу, что описание развития этих идей Сциларда можно найти в книге Ю. Г. Рудого, ‘Математическая структура равновесной термодинамики и статистической механики‘ (2013).
Предполагаемые устройства, рассматриваемые в работах Смолуховского и попадающие под действие формализма флуктуаций Сциларда, можно назвать механическими демонами. В них отсутствовала информационная часть и тем самым оставалась неисследованной возможность корреляций между флуктуациями в демоне и в управляемой им системе. По всей видимости, по этой причине Сцилард в 1929 году в статье ‘Об уменьшении энтропии в термодинамической системе в результате вмешательства разумных существ‘ рассмотрел мысленный эксперимент, столь повлиявший на развитие физики во второй половине 20-ого века.
Сцилард уменьшил рассматриваемую систему до одной молекулы и ввел в рассмотрение существо, которое после обнаружения нахождения молекулы в левой или правой части объема использует эту информацию для получения полезной работы при использовании теплоты от одного источника при постоянной температуре. Тем самым обыгрывалась возможность использования информации о флуктуации для дальнейших действий по ее использованию. Механический демон превращался в информационный (ниже демон Сциларда) — измерение, переработка информации, действие. Рассмотрение Сциларда предполагало, что второй закон термодинамики в ходе такого процесса не нарушается за счет увеличения энтропии при получении демоном информации в ходе измерения. Тем самым термодинамическая энтропия связывалась с процессом получения информации.
История анализа демона Сциларда
Джон фон Нейман знал Сциларда и его работы. В книге ‘Математические основы квантовой механики‘ (1932) фон Нейман упоминал необходимые термодинамические издержки при получении знаний по Сциларду; по всей видимости фон Нейман не исключал возможность решения таким образом внутренних проблем квантовой механики. После появления теории информации Шеннона и кибернетики стало возможно трактовать демон Сциларда как кибернетическое устройство. Тем самым появился новый импульс для поиска связи между функционированием кибернетического агента (измерение, переработка информации, действие) и термодинамической энтропией; шли попытки создания термодинамики информации. Следует отметить роль фон Неймана в становлении таких представлений.
Леон Бриллюэн в серии статей с 1951 года провел анализ демона Сциларда с использованием теории информации Шеннона. Анализ Бриллюэна подтвердил роль измерений — уменьшение энтропии управляемой системы в ходе работы демона Сциларда компенсировалось увеличением энтропии в процессе измерения (см. Леон Бриллюэн: Наука и теория информации). Статьи и книга Бриллюэна в ходе последующего обсуждения привели к достижению консенсуса среди физиков — для получения новой информации при проведении измерении необходима диссипация энергии, минимальная величина которой связана с изменением термодинамической энтропией.
Параллельно обсуждались минимальные затраты, связанные с вычислениями. После завершения некоторых логических операций при вычислении было невозможно вернуться в исходное состояние — такие операции назывались необратимыми. Рольф Ландауэр в 1961 году связал логическую необратимость с физической и проанализировал операцию записи одного бита в память. В этом процессе не происходит проверка состояния памяти, поскольку это потребовало бы дополнительных затрат. Тем самым операция записи бита является необратимой, поскольку после нее предыдущее содержание становится неизвестным. В результате Ландауэр предложил принцип, что такая операция обязана сопровождаться выделением минимального количества теплоты, связанного с изменением термодинамической энтропии.
В последующем Чарльз Беннет (Charles Bennett, также транскрипция Беннетт) и другие показали возможность обратимых вычислений при использовании только обратимых логических операций. В обратимых вычислениях запись бита в память осталась единственной логической необратимой операцией. В результате Беннет в начале 1980-х годов предложил новый анализ демона Сциларда; Беннет пришел к выводу, что измерения можно провести без изменения энтропии, а необходимое увеличение энтропии он связал с использованием памяти. Согласно Беннету демон должен был бы записать результат измерения в память, а в конце цикла для возвращения в исходное состояние потребовалось бы инициализация ячейки памяти. Новая интерпретация демона Сциларда победила, хотя потребовалось дополнительное обсуждение вопроса, почему предыдущее поколение физиков во главе с Бриллюэном совершило ошибку.
В конце 1980-х годов Войцех Зурек сделал заключительный аккорд в этой истории. Зурек сказал, что баланс энтропии по Беннету устанавливается только в конце процесса; поэтому Зурек указал на необходимость расширения анализа Беннета путем включения в него алгоритмической энтропии. Предполагалось, что демон Сциларда при выполнении задачи использует определенный алгоритм, основанный на обратимых вычислениях. Включение в анализ алгоритмической энтропии позволило утверждать, что баланс по энтропии поддерживается постоянным в ходе всего процесса.
Критика термодинамики информации
Начну с более точной формулировки рассматриваемой проблемы. В рассмотрении физиков демон Сциларда считается кибернетическим устройством (измерение, переработка информации, действие) на уровне протекания физических процессов. В последующем рассмотрении информация отождествляется с одним из физических процессов и в этом заключается цель термодинамики информации — превратить информацию в физическую величину.
Для простоты будет считаться, что демон Сциларда представляет из себя механическую систему. В качестве примера обратимых вычислений нередко приводят бильярдный компьютер Фредкина-Тоффоли (баллистические обратимые вычисления), поэтому представление о механическом демоне вполне укладывается в стиль рассмотрения обратимых вычислений.
Таким образом, демон Сциларда и управляемую им систему можно рассмотреть на уровне статистической механики в виде единого гамильтониана, динамика которого включает в себя как переработку информации и вычисления внутри демона, так и управляемую демоном систему. Важно отметить, что вся система является изолированной, а целью рассмотрения является доказательство верности второго закона — энтропия изолированной системы не может уменьшаться или вечный двигатель второго рода невозможен.
- Что доказывает рассмотрение демона Сциларда?
- Принцип Ландауэра, обратимые вычисления и флуктуации
- Неадекватность мысленного эксперимента Сциларда
- Информация и физическое как уровни организации
Что доказывает рассмотрение демона Сциларда?
Демон Максвелла возник в 19-ом веке в молекулярно-кинетической теории при обосновании второго закона в рамках симметричных по времени законов механики. Максвелл хотел показать, что такая задача на строгом математическом уровне невозможна. Поэтому ответ связан со статистической интерпретацией второго закона, которая не запрещает существование демона Максвелла. Слабая формулировка невозможности двигателя второго рода Смолуховского отражает статистическую интерпретацию. Таким образом, возникает вопрос, что нового по сравнению с выводом Смолуховского появляется в анализе демона Сциларда в термодинамике информации.
В информационном анализе демона Сциларда второй закон рассматривается как исходный постулат, при этом считается, что второй закон должен выполняться в одном цикле двигателя. Вместо слабой формулировки Смолуховского используется сильная формулировка из классической термодинамики; в противном случае невозможно получить равенство между информационной и термодинамической энтропией. Таким образом, второй закон считается верным априори, а последующий анализ сводится к эвристическому поиску недостающей части в балансе энтропии. Непонятно, можно ли такое рассмотрение назвать доказательством невозможности существования демона Максвелла.
В анализе Бриллюэна внутренняя структура демона игнорируется, а недостающая часть в балансе энтропии связывается с взаимодействием демона и управляемой им системы; это взаимодействие отождествляется с измерением. Далее энтропия разбивается на две части и постулируется, что увеличение в одной части компенсируется уменьшением другой; обоснование сводится к отождествлению уменьшения энтропии с увеличением знания о системе. Такой вывод является следствием априорного использования второго закона в сильной формулировке классической термодинамики.
Введение принципа Ландауэра в целом улучшает структуру анализа, поскольку вводится независимый принцип о необходимости диссипации энергии и тем самым повышения энтропии. Тем не менее, логика рассмотрения остается без изменений. Верность второго закона в сильной формулировке принимается априори, а отличие с рассмотрением Бриллюэна сводится к обсуждению ситуации, когда все процессы в демоне, а также взаимодействие демона с управляемым устройством проходят без диссипации и тем самым без увеличения энтропии. Таким образом, в конце концов необходимое возрастание энтропии связывается только с процессами в ячейке памяти демона.
Возникает дополнительный вопрос. Что на уровне статистической механики определяет динамику подсистемы, связанной с демоном Сциларда? В качестве возможного ответа в рассмотрении Беннета есть две возможности — есть законы физики, а есть вычислительный алгоритм, который должен выполняться в ходе движения частиц демона Сциларда. Вопрос разделения ответственности между ними будет рассмотрен в последующих разделах.
Принцип Ландауэра, обратимые вычисления и флуктуации
При рассмотрении принципа Ландауэра и обратимых вычислений требуется обратить внимание на два разных значения термина обратимый. С одной стороны, под этим понимаются законы механики, которые симметричны во времени. В механических устройствах типа бильярдного компьютера Фредкина-Тоффоли это значение используется при представлении идеального механического механизма без трения. Законы механики без трения содержат время в явном виде, поэтому мысленная модель содержит движение во времени.
С другой стороны, в классической термодинамике вводятся обратимые процессы при рассмотрении цикла Карно. Они предусматривают возможность превращения теплоты в работу без диссипации, то есть, без увеличения энтропии. В обратимых процессах классической термодинамики время в явном виде отсутствует — движение в идеальном цикле Карно осуществляется силой мысли.
Вернемся к рассмотрению в статистической механике совместной системы — демон Сциларда плюс управляемое им устройство. Исходные законы механики симметричны во времени — движение молекул происходит без трения и без диссипации энергии на уровне отдельных частиц. В то же время совместное движение всех частиц приводит к диссипации энергии и тем самым к возрастанию энтропии (статистическая интерпретация энтропии). Поэтому важно проследить в каком значении используется термин обратимый в ходе анализа демона Сциларда.
Обсуждение миниатюризация вычислений, которое привело к принципу Ландауэра, неявно предполагает, что мы выходим на уровень движения частиц, которое подчиняется законам механики, симметричным во времени. Поэтому требуется более точно сказать, каким образом принцип Ландауэра предполагает возникновение диссипации энергии.
Невозможно утверждать, что в принципе Ландауэра частицы перестают подчиняться законам механики. Поэтому следует предположить, что принцип Ландауэра опирается на статистическую трактовку второго закона. В свою очередь переход к статистической трактовке второго закона поднимает вопрос о флуктуациях — именно изучение флуктуаций при рассмотрении броуновского движения было толчком для серьезного рассмотрения демона Максвелла. В то же время при анализе демона Сциларда в рамках обратимых вычислений и принципа Ландауэра флуктуации в самом демоне игнорируются.
Особенно важным вопрос флуктуаций является при использовании принципа Ландауэра. Диссипация энергии в виде теплоты с необходимостью связана со статистическим характером второго закона, но введение в рассмотрение флуктуаций в минимальной ячейке памяти (kT ln 2) приведет к ее неработоспособности.
Неадекватность мысленного эксперимента Сциларда
Целью мысленного эксперимента в физике является выделение определенных особенностей физической системы, которые позволяют сформулировать общие выводы за пределами рассмотренной системы. Например, цикл Карно с обратимыми термодинамическими процессами следует рассматривать как мысленный эксперимент с целью поиска максимального коэффициента полезного действия тепловой машины. Для этого были исключены все потери и в результате остался только идеальный процесс использования теплоты для получения работы (см. От паровой машины Ньюкомена к модели идеальной тепловой машины).
Эта идеализация легла в основу формализма классической термодинамики, который в дальнейшем был обобщен на другие процессы — химические, электромагнитные, электрохимические и т.д. Тем не менее, обратимые термодинамические процессы являются идеализацией и их протекание в реальности невозможно. Отсюда следует вывод, что все реальные процессы необратимы и что они с необходимостью сопровождаются диссипацией энергии; энтропия изолированной системы в самопроизвольном процессе возрастает (см. Неравенство Клаузиуса, второй закон и стрела времени).
Цель демона Сциларда, по всей видимости, заключалась в создании идеализированной модели для изучения информационных процессов. Требовалось продемонстрировать связь между изменением термодинамической энтропии k ln 2 и информационной энтропией, связанной с выбором из двух возможностей log2 2. Другими словами, целью мысленного эксперимента являлось демонстрация связи одного бита информации с изменением термодинамической энтропии; тем самым информация превращалась в физическую величину. Рассмотрим, оправдано ли такое ожидание.
В идеализации Сциларда единственная молекула является аналогом огромной флуктуации в системе, однако возможные флуктуации в корпусе, в поршне и в источнике тепла проигнорированы. Более того, в процесс включены элементы идеализации из обратимого цикла Карно — введение перегородки без совершения работы, движение без трения, рассмотрение процесса расширения после флуктуации как обратимого. Такой уровень анализа управляемой системы позволяет утверждать, что оценка количества полезной работы в представленном варианте мысленного эксперимента является завышенной.
Далее в мысленном эксперименте предполагается, что при рассмотрении демона и процесса взаимодействия между демоном и управляемой системой большинство процессов можно выполнить на уровне обратимых термодинамических процессов без диссипации энергии. После этого выбирается критическая часть (измерение у Бриллюэна или принцип Ландауэра для памяти у Беннета), которой приписывается недостающий баланс энтропии.
Вспомним, что вся совместная система (демон плюс управляемый объект) должна была бы рассматриваться на уровне статистической механики, поскольку связь между информационной и термодинамической энтропией вводится на этом уровне рассмотрения. Однако на уровне статистической механики представить введение обратимых термодинамических процессов в изолированной системе вряд ли возможно. Поэтому непонятно, как такая идеализация согласуется со статистической интерпретацией энтропии, которая лежит в основе всего рассмотрения.
Более реалистичный вариант предложенного мысленного эксперимента был бы связан с уменьшением размеров системы. Это потребовало бы рассмотрения всех компонентов системы (сама система, корпус, поршень) на одном уровне рассмотрения. В ходе такого рассмотрения невозможно пренебречь флуктуациями во всех частях, поскольку сама идея связана с использованием флуктуации для совершения полезной работы. Введение обратимых термодинамических процессов для отдельных частей общей системы в такой ситуации ничем не оправдано.
Информация и физическое как уровни организации
Рассмотрим сказанное выше с более общей точки зрения. Во введении уже отмечалось тривиальность утверждения, что для передачи информации и для выполнения вычислений требуется физическое устройство. В программе термодинамики информации однако предполагается достичь большего, а именно, считается возможным отождествить информацию или логическую операцию с термодинамической энтропией физической системы или с ее изменением.
Посмотрим на динамику общей системы со стороны статистической механики. Общий гамильтониан соответствует законам физики, отсюда следует, что динамика полностью определяется законами физики. Таким образом, информационные процессы связаны с динамикой, но, строго говоря, они не могут рассматриваться как каузальное объяснение наблюдаемой динамики. Для рассмотрения этого обстоятельство следует взглянуть на постулируемую связь между информацией, вычислениями и энтропией с другой стороны.
Так, мы знаем, что эта часть системы представляет собой минимальную ячейку памяти и поэтому сопоставляем диссипацию энергии величиной в kT ln 2 с записью бита в этой ячейку. Другой пример — мы знаем, что движение шаров в бильярдном компьютере представляет собой вычисление. Поэтому конечное положение шаров трактуется как результат вычислений и оно может быть переведено в соответствующее численное значение. Другими словами, мы имеем динамику физической системы, мы знаем, что эта динамика связана с информацией или логическими операциями и это служит основанием для отождествления термодинамической и информационной энтропии.
Теперь представим себе обратную задачу. Начнем с механических демонов Максвелла, рассмотренных в работах Смолуховского. У них есть своя динамика на уровне статистической механики, но при анализе их работы информационные процессы не привлекаются. Это предполагает какое-то отличие в динамике физических процессов при переходе к информационному демону Сциларда. Таким образом, обратная задача формулируется следующим образом. Наблюдается динамика произвольной системы без знания о наличии в ней возможных информационных процессов. Требуется предложить общую процедуру для распознавания процессов с динамикой, в которой есть информационные процессы и/или вычисления.
Однако такой процедуры не существует. В качестве примера рассмотрим бильярдный компьютер. Можно ли узнать из динамики движения шаров, проводится ли в данный момент вычисление? Проводимое вычисление связано с соглашениями, которые не входят в динамику как таковую, и без знания этих соглашений невозможно корректно интерпретировать динамику шаров. В общем случае ситуация становится еще сложнее и в конечном итоге при желании можно при рассмотрении любого физического процесса придумать соглашение, в рамках которых результат будет трактоваться как то или иное вычисление. Более подробное рассмотрение этого вопроса проведено в статье Стэнфордской философской энциклопедии ‘Вычисления в физических системах‘. Также см. заметку ‘Физические процессы как вычисления‘.
Аналогичная проблема происходит при попытке выяснить, есть ли информация в произвольно выбранном состоянии физической системы. Например, можно взять лист чистой бумаги и посмотреть на него через лупу. Будут видны неровности — чем не информация? Таким образом отождествление термодинамической и информационной энтропии связано с дополнительным знанием о физической системе, которое невозможно непосредственно получить из поведения этой системы на уровне законов физики.
Более того, термодинамическая энтропия является свойством вещества, ее значение зависит от внешних параметров, а через производные она связана с другими термодинамическими свойствами. Приведу пример с запоминающим устройством Millipede, которое в свое время разрабатывалось IBM — оно хорошо подходит в случае рассмотрения механической системы в статистической механике. В этом устройстве ячейка памяти соответствует дырочке в полимерной пленке (наличие дырочки — единица, отсутствие — нуль).
Рассмотрим термодинамическую энтропию такой полимерной пленки с нанесенной информацией. Изменение термодинамической энтропии связано с перераспределением вещества в процессе образования дырочки и поверхностной энергией. Если пренебречь изменением термодинамической энтропии в объеме пленки в силу деформации (масса пленки остается постоянной), то изменение термодинамической энтропии будет пропорционально площади поверхности дырочек.
Таким образом в этом случае нельзя сопоставить термодинамическую энтропию с информационной или алгоритмической, поскольку их значение определяется расположением дырочек, которое никак не учитывается при вычислении термодинамической энтропии. Также термодинамическая энтропия является функцией температуры и давления — их изменение ведет к изменению термодинамической энтропии. В то же время при условии, что в интервале изменений дырочки сохраняются, информационная или алгоритмическая энтропия не меняется.
Заключение
В основе программы термодинамики информации лежит слишком упрощенное восприятие термодинамической энтропии в рамках статистической механики. Энтропия представляется единственной странной и непонятной характеристикой вещества, но при этом забывается связь энтропии с другими физическими характеристиками; информационные свойства, приписываемые энтропии, должны были бы распространяться через производные на все остальные термодинамические свойства системы.
С другой стороны, при обсуждении миниатюризации вычислительных устройств упускают из виду важное требование, связанное с надежностью работы устройства. На уровне слогана — требование надежности разделяет физическое и информационное как уровни организации. Надежность не относится к физике как таковой; надежность принадлежит инженерным наукам. Например, минимальная ячейка памяти должна сохранять информацию в течении заданного времени. Это требование в свою очередь предполагает, что в течение этого времени состояние ячейки устойчиво по отношению к флуктуациям; без этого обсуждение минимальной ячейки памяти теряет смысл.
Инженер опирается на законы физики при поиске необходимого решения, но конечное решение представляет собой компромисс, включающий много факторов. Именно это обстоятельство не позволяет рассматривать информацию или логическую операцию в работающем устройстве как физическую величину. В данном случае полезно рассмотреть V-модель (VEE модель) разработки информационных устройств, в которой хорошо видны разные уровни организации. Попытка связи термодинамической и информационной энтропии с этой точки зрения закончится созданием неработающих устройств.
В заключение укажу на последние работы Ландауэра (см. заметку ‘Рольф Ландауэр: Физическая природа информации‘), в которых он от физической природы информации переходил к физической природе математики. Это хороший пример, когда стремление избежать идеализма на одном уровне (информация как физическое) приводит к идеализму на другом (мир как последовательность вычислений).
Это заметка принадлежит к разделу:
История появления информационной физики: Краткая информация по истории становления информационной физики из диссертации Хавьера Анта. Информатизация термической физики. Золотой век информационной физики.
Информация
John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part I. From Maxwell to Szilard. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 29, no. 4 (1998): 435-471.
John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part II. From Szilard to Landauer and Beyond. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 30, no. 1 (1999): 1 — 40.
Owen Maroney, Information processing and thermodynamic entropy, The Stanford Encyclopedia of Philosophy, 2009.
Gualtiero Piccinini and Corey Maley, Computation in Physical Systems, The Stanford Encyclopedia of Philosophy, 2021.