Содержание: Термодинамика
Это заметка принадлежит к разделу:
История появления информационной физики: Краткая информация по истории становления информационной физики из диссертации Хавьера Анта. Информатизация термической физики. Золотой век информационной физики.
Leo Szilard правильно произносится как Лео Силард, но я по привычке буду использовать транскрипцию Сцилард; именно так стоит во многих учебниках. Сцилард известен мысленным экспериментом, который сыграл большую роль в попытках физиков во второй половине 20-ого века связать информацию и вычисления с физическими процессами. Выражение для информационной энтропии в теории информации Шеннона оказалось аналогичным для термодинамической энтропии в статистической механике. Мысленный эксперимент Сциларда давал дополнительный повод для утверждения об эквивалентности информационной и термодинамической энтропии; тем самым информация переводилась на уровень физической величины.
Ниже кратко рассмотрены работы Сциларда и последующее рассмотрение его мысленного эксперимента в работах Бриллюэна, Беннета (принцип Ландауэра) и Зурека на уровне квазиклассического приближения без квантовой механики. После этого идет критический анализ. Нельзя не отметить роль идеи Сциларда как источника вдохновения для ряда поколений физиков, но в то же время существует ряд аргументов против таких попыток отождествления информационной и термодинамической энтропии.
- История появления демона Сциларда
- История анализа демона Сциларда
- Критика термодинамики информации
- Что доказывает рассмотрение демона Сциларда?
- Принцип Ландауэра, обратимые вычисления и флуктуации
- Неадекватность мысленного эксперимента Сциларда
- Информация и физическое как уровни организации
- Заключение
История появления демона Сциларда
История появления демона Максвелла и изменение отношения к нему в начале 20-ого века представлена в заметке ‘Демон Максвелла и броуновское движение против второго закона‘. Напомню, что в качестве решения Мариан Смолуховский натурализовал демона Максвелла и указал, что флуктуации в демоне помешают ему успешно использовать флуктуации в системе для получения работы. Таким образом Смолуховский в 1914 году предложил ослабленную версию невозможности вечного двигателя второго рода:
‘Нельзя осуществить никакого автоматического приспособления, которое продолжительное время производило бы полезную работу за счет теплоты более низкой температуры.’
Имелось в виду, что демону удастся случайно завершить один или даже несколько циклов двигателя с получением работы, но на этом все и остановится. Таким образом, принципиальная невозможность вечного двигателя второго рода оставалась в силе.
Статья Сциларда 1925 года была посвящена созданию феноменологической теории флуктуаций — предполагалось, что в теорию классической термодинамики можно включить флуктуации при использовании ряда дополнительных допущений. Целью ставился перенос идеи Смолуховского на язык уравнений. Отмечу, что описание развития этих идей Сциларда можно найти в книге Ю. Г. Рудого, ‘Математическая структура равновесной термодинамики и статистической механики‘ (2013).
Предполагаемые устройства, рассматриваемые в работах Смолуховского и попадающие под действие формализма флуктуаций Сциларда, можно назвать механическими демонами. В них отсутствовала информационная часть и тем самым оставалась неисследованной возможность корреляций между флуктуациями в демоне и в управляемой им системе. По всей видимости, по этой причине Сцилард в 1929 году в статье ‘Об уменьшении энтропии в термодинамической системе в результате вмешательства разумных существ‘ рассмотрел мысленный эксперимент, столь повлиявший на развитие физики во второй половине 20-ого века.
Сцилард уменьшил рассматриваемую систему до одной молекулы и ввел в рассмотрение существо, которое после обнаружения нахождения молекулы в левой или правой части объема использует эту информацию для получения полезной работы при использовании теплоты от одного источника при постоянной температуре. Тем самым обыгрывалась возможность использования информации о флуктуации для дальнейших действий по ее использованию. Механический демон превращался в информационный (ниже демон Сциларда) — измерение, переработка информации, действие. Рассмотрение Сциларда предполагало, что второй закон термодинамики в ходе такого процесса не нарушается за счет увеличения энтропии при получении демоном информации в ходе измерения. Тем самым термодинамическая энтропия связывалась с процессом получения информации.
История анализа демона Сциларда
Джон фон Нейман знал Сциларда и его работы. В книге ‘Математические основы квантовой механики‘ (1932) фон Нейман упоминал необходимые термодинамические издержки при получении знаний по Сциларду; по всей видимости фон Нейман не исключал возможность решения таким образом внутренних проблем квантовой механики. После появления теории информации Шеннона и кибернетики стало возможно трактовать демон Сциларда как кибернетическое устройство. Тем самым появился новый импульс для поиска связи между функционированием кибернетического агента (измерение, переработка информации, действие) и термодинамической энтропией; шли попытки создания термодинамики информации. Следует отметить роль фон Неймана в становлении таких представлений.
Леон Бриллюэн в серии статей с 1951 года провел анализ демона Сциларда с использованием теории информации Шеннона. Анализ Бриллюэна подтвердил роль измерений — уменьшение энтропии управляемой системы в ходе работы демона Сциларда компенсировалось увеличением энтропии в процессе измерения (см. Леон Бриллюэн: Наука и теория информации). Статьи и книга Бриллюэна в ходе последующего обсуждения привели к достижению консенсуса среди физиков — для получения новой информации при проведении измерении необходима диссипация энергии, минимальная величина которой связана с изменением термодинамической энтропией.
Параллельно обсуждались минимальные затраты, связанные с вычислениями. После завершения некоторых логических операций при вычислении было невозможно вернуться в исходное состояние — такие операции назывались необратимыми. Рольф Ландауэр в 1961 году связал логическую необратимость с физической и проанализировал операцию записи одного бита в память. В этом процессе не происходит проверка состояния памяти, поскольку это потребовало бы дополнительных затрат. Тем самым операция записи бита является необратимой, поскольку после нее предыдущее содержание становится неизвестным. В результате Ландауэр предложил принцип, что такая операция обязана сопровождаться выделением минимального количества теплоты, связанного с изменением термодинамической энтропии.
В последующем Чарльз Беннет (Charles Bennett, также транскрипция Беннетт) и другие показали возможность обратимых вычислений при использовании только обратимых логических операций. В обратимых вычислениях запись бита в память осталась единственной логической необратимой операцией. В результате Беннет в начале 1980-х годов предложил новый анализ демона Сциларда; Беннет пришел к выводу, что измерения можно провести без изменения энтропии, а необходимое увеличение энтропии он связал с использованием памяти. Согласно Беннету демон должен был бы записать результат измерения в память, а в конце цикла для возвращения в исходное состояние потребовалось бы инициализация ячейки памяти. Новая интерпретация демона Сциларда победила, хотя потребовалось дополнительное обсуждение вопроса, почему предыдущее поколение физиков во главе с Бриллюэном совершило ошибку.
В конце 1980-х годов Войцех Зурек сделал заключительный аккорд в этой истории. Зурек сказал, что баланс энтропии по Беннету устанавливается только в конце процесса; поэтому Зурек указал на необходимость расширения анализа Беннета путем включения в него алгоритмической энтропии. Предполагалось, что демон Сциларда при выполнении задачи использует определенный алгоритм, основанный на обратимых вычислениях. Включение в анализ алгоритмической энтропии позволило утверждать, что баланс по энтропии поддерживается постоянным в ходе всего процесса.
Критика термодинамики информации
Начну с более точной формулировки рассматриваемой проблемы. Если у Сциларда устройство демона оставалось открытым вопросом, то в дальнейшем демон считался кибернетическим устройством (измерение, переработка информации, действие), которое рассматривалось как физическое. В этом смысл программы термодинамики информации — сделать информацию физической величиной.
Для простоты будет считаться, что демон Сциларда представляет из себя механическую систему, находящуюся при определенной температуре. В качестве примера обратимых вычислений нередко приводят бильярдный компьютер Фредкина-Тоффоли (баллистические обратимые вычисления), поэтому представление о механическом демоне вполне укладывается в стиль рассмотрения обратимых вычислений.
Таким образом, демона и управляемую им систему можно рассмотреть на уровне статистической механики в виде единого гамильтониана, динамика которого включает в себя как переработку информации и вычисления внутри демона, так и управляемую демоном систему. Важно отметить, что вся система является изолированной, а цель рассмотрения связана со вторым законом — энтропия изолированной системы не может уменьшаться или вечный двигатель второго рода невозможен.
- Что доказывает рассмотрение демона Сциларда?
- Принцип Ландауэра, обратимые вычисления и флуктуации
- Неадекватность мысленного эксперимента Сциларда
- Информация и физическое как уровни организации
Что доказывает рассмотрение демона Сциларда?
Следует вспомнить, что демон Максвелла возник в 19-ом веке в молекулярно-кинетической теории при обосновании второго закона в рамках симметричных по времени законов механики. Целью мысленного эксперимента Максвелл заключалась в демонстрации того, что такая задача на строгом математическом уровне невозможна. Правильный ответ связан со статистической интерпретации второго закона. Состояния ближе к равновесию более вероятны, чем состояния более удаленные от равновесия — поэтому самопроизвольный процесс протекает в направлении к равновесию.
Строго говоря, статистическая интерпретация не запрещает существование демона Максвелла, ответ сводится лишь к крайне малой вероятности такого события. Примером такого подхода служит слабая формулировка невозможности двигателя второго рода Смолуховского. Поэтому возникает вопрос, что нового по сравнению с выводом Смолуховского появляется в анализе демона Сциларда в рамках термодинамики информации.
В информационном анализе демона Сциларда второй закон рассматривается как исходный постулат, при этом считается, что второй закон должен выполняться в одном цикле двигателя. Вместо слабой формулировки Смолуховского используется сильная формулировка из классической термодинамики; в противном случае невозможно получить равенство между информационной и термодинамической энтропией. Таким образом, второй закон считается верным априори, а последующий анализ сводится к эвристическому поиску недостающей части в балансе энтропии. Открытым остается вопрос, можно ли такое рассмотрение назвать доказательством невозможности существования демона Максвелла.
В анализе Бриллюэна внутренняя структура демона игнорируется, а недостающая часть в балансе энтропии связывается с взаимодействием демона и управляемой системы; это взаимодействие отождествляется с проводимым измерением. Далее энтропия разбивается на две части и постулируется, что увеличение в одной части компенсируется уменьшением другой; обоснование сводится к отождествлению уменьшения энтропии с увеличением знания о системе. Еще раз напомню, что такой вывод является следствием априорной веры в правильности второго закона в сильной формулировке классической термодинамики.
Введение принципа Ландауэра в целом улучшает структуру анализа, поскольку как минимум вводится независимый принцип, связанный с необходимостью диссипации энергии и тем самым повышением энтропии. Тем не менее, логика рассмотрения остается без измерений. Верность второго закона в сильной формулировке принимается без обсуждения, а отличие с рассмотрением Бриллюэна сводится к обсуждения возможности ситуации, когда все процессы в демоне, а также взаимодействие демона с управляемым устройством проходят без диссипации (без увеличения энтропии). Таким образом, в конце концов необходимое возрастание энтропии связывается только с процессами в ячейке памяти демона.
Отмечу дополнительный вопрос. Что на уровне статистической механики определяет динамику подсистемы, связанной с демоном Сциларда? В качестве возможного ответа в рассмотрении Беннета возникает альтернатива — есть законы физики, а есть вычислительный алгоритм, который должен выполняться в ходе движения частиц демона Сциларда. Вопрос разделения ответственности между ними будет рассмотрен в последующих разделах.
Принцип Ландауэра, обратимые вычисления и флуктуации
При рассмотрении принципа Ландауэра и обратимых вычислений требуется обратить внимание на два разных значения термина обратимый. С одной стороны, под этим понимаются законы механики, которые симметричны во времени. В механических устройствах типа бильярдного компьютера Фредкина-Тоффоли это значение трактуется в духе возможности создания идеального механизма без трения. С другой стороны, в классической термодинамике вводятся обратимые процессы при рассмотрении цикла Карно. Они предусматривают возможность превращения теплоты в работу без диссипации, то есть, без увеличения энтропии.
Вернемся к рассмотрению совместной системы (демон Сциларда плюс управляемое им устройство) в рамках статистической механики. Исходные законы механики обратимы во времени — движение молекул происходит без трения и без диссипации энергии на уровне отдельных частиц. В то же время совместное движение всех частиц в рамках обратимых во времени законов физики приводит к диссипации энергии и тем самым к возрастанию энтропии (статистическая интерпретация энтропии). Поэтому важно проследить в каком значении используется термин обратимый в ходе анализа демона Сциларда.
Обсуждение миниатюризация вычислений, которое привело к принципу Ландауэра, неявно предполагает, что мы выходим на уровень движения частиц. Однако движение частиц подчиняется законам механики симметричным во времени. Поэтому требуется более точно сказать, каким образом принцип Ландауэра предполагает возникновение диссипации энергии.
Невозможно связать принцип Ландауэра с тем, что частицы перестают подчиняться законам механики. Поэтому следует предположить, что принцип Ландауэра опирается на статистическую трактовку второго закона в рамках статистической механики. В свою очередь переход к статистической трактовке второго закона поднимает вопрос о флуктуациях. Следует вспомнить, что именно изучение флуктуаций при рассмотрении броуновского движения было толчком для рассмотрения демона Максвелла всерьез. В то же время при анализе демона Сциларда в рамках обратимых вычислений и принципа Ландауэра флуктуации в самом демоне по непонятной причине игнорируются.
Особенно интересно вопрос флуктуаций встает при использовании принципа Ландауэра. Диссипация энергии в виде теплоты (можно вспомнить название книги Клаузиуса ‘Движение, которое мы называем теплотой‘) с необходимостью связана со статистическим характером второго закона, но введение в рассмотрение флуктуаций в минимальной ячейке памяти (kT ln 2) приведет к ее неработоспособности.
Неадекватность мысленного эксперимента Сциларда
Целью мысленного эксперимента в физике является выделение определенных особенностей физической системы, который помогают сформулировать общие выводы за пределами рассмотренной системы. Например, цикл Карно с обратимыми термодинамическими процессами можно рассматривать как мысленный эксперимент с целью поиска максимального коэффициента полезного действия тепловой машины. В этих рамках были исключены все потери для того, чтобы в результате осталось только идеальный процесс использования теплоты для получения работы (см. От паровой машины Ньюкомена к модели идеальной тепловой машины).
Эта идеализация легла в основу формализма классической термодинамики, который в дальнейшем был обобщен на другие процессы — химические, электромагнитные, электрохимические и т.д. В то же время обратимые термодинамические процессы являются идеализацией и их протекание в реальности невозможно. Обратной стороной идеализации обратимых процессов в цикле Карно является вывод, что все реальные процессы необратимы и что они с необходимостью сопровождаются диссипацией энергии; энтропия изолированной системы в самопроизвольном процессе возрастает (см. Неравенство Клаузиуса, второй закон и стрела времени).
Целью демона Сциларда было, по всей видимости, идеализированная модель для изучения информационных процессов — демонстрация связи между изменением термодинамической энтропии k ln 2 и информационной энтропией, связанной с выбором из двух возможностей log2 2. Другими словами, связь одного бита с изменением термодинамической энтропии и тем самым перевод информации на уровень физической величины. Рассмотрим, оправдано ли такое ожидание.
В идеализации Сциларда единственная молекула является аналогом огромной флуктуации в системе, но при этом проигнорированы флуктуации в корпусе, в поршне и в источнике тепла. Более того, в процесс включены элементы идеализация из обратимого цикла Карно — введение перегородки без совершения работы и дальнейшее движение без трения. Такой уровень анализа управляемой системы позволяет утверждать, что оценка количества полезной работы в представленной варианте мысленного эксперимента является слишком завышенной.
Далее предполагается, что при рассмотрении демона и процесса взаимодействия между демоном и управляемой системой большинство процессов можно выполнить на уровне обратимых термодинамических процессов без диссипации энергии. После этого выбирается критическая часть (измерение у Бриллюэна или принцип Ландауэра для памяти у Беннета), которой приписывается недостающий баланс энтропии.
Вспомним, что вся совместная система (демон плюс управляемый объект) должна была бы рассматриваться на уровне статистической механики, поскольку связь между информационной и термодинамической энтропии вводится на этом уровне рассмотрения. Однако на уровне статистической механики трудно представить введение обратимых термодинамических процессов в изолированной системе. Непонятно, как можно это согласовать со статистической интерпретацией энтропии, которая лежит в основе всего рассмотрения.
Более реалистичный вариант предложенного мысленного эксперимента был бы связан с уменьшением размеров системы. Это потребовало бы рассмотрения всех компонентов системы (сама система, корпус, поршень) на одном уровне рассмотрения. Точно также невозможно пренебречь флуктуациями, поскольку сама идея связана с использованием флуктуаций для совершения полезной работы за счет теплоты, взятой при температуре окружения. Введение обратимых термодинамических процессов для отдельных частей общей системы в такой ситуации ничем не оправданно.
Информация и физическое как уровни организации
Рассмотрим сказанное выше с более общей точки зрения. Для передачи информации и для выполнения вычислений используется физическое устройство — такое утверждение тривиально. В программе термодинамики информации однако предполагается достичь большего, а именно, считается возможным отождествить информацию или логическую операцию с термодинамической энтропией физической системы или ее изменением.
Посмотрим на динамику общей системы со стороны статистической механики. Общий гамильтониан соответствует законам физики, отсюда следует, что динамика полностью определяется законами физики. Таким образом, информационные процессы связаны с динамикой, но, строго говоря, они не могут рассматриваться как каузальное объяснение наблюдаемой динамики.
Это обстоятельство позволяет по-другому взглянуть на постулируемую связь между информацией, вычислениями и энтропией. Например, мы знаем, что эта часть системы представляет собой минимальную ячейку памяти и поэтому сопоставляем диссипацию энергии величиной в kT ln 2 с записью бита в этой ячейку. Другой пример — мы знаем, что движение шаров в бильярдном компьютере представляет собой вычисление. Поэтому конечное положение шаров трактуются как результат вычислений и оно может быть переведено в соответствующее значение. Другими словами, мы имеем динамику физической системы, мы знаем, что эта динамика связана с информацией или логическими операциями и это служит основанием для отождествления термодинамической и информационной энтропии.
В то же время можно представить себе обратную задачу. Возьмем механических демонов, рассмотренных в работах Смолуховского. У них есть своя динамика на уровне статистической механики, но при анализе их работы информационные процессы не привлекаются. Это предполагает какое-то отличие в динамике физических процессов при переходе к информационному демону Сциларда. Таким образом, обратная задача формулируется следующим образом. Можно ли предложить общую процедуру нахождения информации и вычислений в динамике произвольной системы без знания априори о связи информационных процессов с динамикой системы?
На этот вопрос следует отрицательный ответ. В качестве примера рассмотрим бильярдный компьютер. Можно ли восстановить проводимое вычисление в ходе падения шаров только из динамики системы? Проводимое вычисление связано с соглашениями, которые не входят в динамику как таковую, и без знания этих соглашений невозможно корректно интерпретировать полученный результат. В общем случае ситуация становится еще более сложной и в конечном итоге при желании можно при рассмотрении любого физического процесса придумать соглашения, в рамках которых результат будет трактоваться как то или иное вычисление.
Более подробное рассмотрение этого вопроса см. в заметке ‘Физические процессы как вычисления‘. Аналогичная проблема происходит при попытке выяснить, есть ли информация в произвольно выбранном состоянии физической системы. Например, можно взять лист чистой бумаги и посмотреть на него через лупу. Будут видны неровности — чем не информация?
Таким образом отождествление термодинамической и информационной энтропии связано с дополнительным знанием о физической системе, которое невозможно непосредственно получить из поведения этой системы на уровне законов физики. Более того, отождествление термодинамической и информационной энтропии основано на крайне упрощенной интерпретации уравнения Больцмана (S = k ln W) для термодинамической энтропии. Число допустимых микросостояний для данного макросостояния сравнивается с перемешиванием колоды карт, броском костей и тому подобное, а также в ход идет интерпретация энтропии как хаоса, что вызывает коннотацию с потерей информации.
На этом пути энтропия начинает казаться единственной странной и непонятной характеристикой системы, но при этом забывается связь энтропии с другими физическими характеристиками. Ведь на самом деле величина W является функцией температуры и давления, то есть, через производные энтропия связана со всеми остальными физическими величинами. Поэтому приписывание энтропии связи с информацией или незнанием через термодинамические производные распространяется на все остальные физические свойства системы.
Приведу пример с запоминающим устройством Millipede, которое в свое время разрабатывалось IBM. В этом устройстве ячейка памяти соответствует дырочке в полимерной пленке (наличие дырочки — единица, отсутствие — нуль). Рассмотрим термодинамическую энтропию этой полимерной пленки с нанесенной информацией. В данном случае изменение термодинамической энтропии связано с перераспределением вещества в процессе образования дырочки и поверхностной энергией. Если пренебречь изменением термодинамической энтропии в объеме пленки в силу деформации (масса пленки остается постоянной), то изменение термодинамической энтропии будет пропорционально площади поверхности дырочек.
Таким образом в этом случае нельзя сопоставить термодинамическую энтропию с информационной или алгоритмической, поскольку их значение определяется расположением дырочек, которое никак не учитывается при вычислении термодинамической энтропии. Более того, термодинамическая энтропия является функцией температуры и давления — изменение температуры и давления ведет к изменению термодинамической энтропии. В то же время при условии, что в интервале изменений дырочки сохраняются, информационная или алгоритмическая энтропия не меняются.
Заключение
В основе программы термодинамики информации лежит слишком упрощенное восприятие термодинамической энтропии в рамках статистической механики, когда забывается связь энтропии с другими физическими характеристиками системы. С другой стороны, при обсуждении миниатюризации вычислительных устройств упускают из виду важное требование, связанное с надежностью работы устройства.
На уровне слогана — требования надежности разделяют физическое и информационное как уровни организации. Важно отметить, что надежность не относится к физике как таковой; надежность принадлежит инженерным наукам. Например, минимальная ячейка памяти должна сохранять информация в течении заданного времени. Это требование в свою очередь предполагает, что в течение этого времени состояние ячейки устойчиво по отношению к флуктуациям; без этого обсуждение минимальной ячейки памяти теряет смысл.
Инженер опирается на законы физики при поиске необходимого решения, но конечное решение представляет собой компромисс, включающий много факторов. Именно это обстоятельство не позволяет рассматривать информацию или логическую операцию в работающем устройстве как физическую величину. В данном случае полезно вспомнить про V-модель (VEE модель) разработки информационных устройств, в которой хорошо видны разные уровни организации. Попытки связи термодинамической и информационной энтропии с этой точки зрения закончатся созданием неработающих устройств.
В заключение укажу на последние работы Ландауэра (см. заметку ‘Рольф Ландауэр: Физическая природа информации‘), в которых он от физической природы информации переходил к физической природе математики. Это хороший пример, когда стремление избежать идеализма на одном уровне (информация как физическое) приводит к идеализму на другом (мир как последовательность вычислений).
Информация
John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part I. From Maxwell to Szilard. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 29, no. 4 (1998): 435-471.
John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part II. From Szilard to Landauer and Beyond. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 30, no. 1 (1999): 1 — 40.
Owen Maroney, Information processing and thermodynamic entropy, The Stanford Encyclopedia of Philosophy, 2009.
Gualtiero Piccinini and Corey Maley, Computation in Physical Systems, The Stanford Encyclopedia of Philosophy, 2021.