Энтропия и информация

Обсуждение на trv-science-ru

http://trv-science-ru.livejournal.com/107953.html

Мои комментарии

________________________________

В настоящей момент я веду обсуждение на everything-list (преимущественно с физиками) является ли информация базовой физической величиной или нет

http://groups.google.com/group/everything-list/t/a4b4e1546e0d03df

Как оказалось, многие современные физики полагают, что ответ да в смысле, что информация тождественна энтропии. Например цитата  от проф. Russell Standish

“Evgenii, while you may be right that some physicists (mostly experimentalists) work in thermodynamics without recourse to the notion of information, and chemists even more so, it is also true that the modern theoretical understanding of entropy (and indeed thermodynamics) is information-based.

This trend really became mainstream with Landauer’s work demonstrating thermodynamic limits of information processing in the 1960s, which turned earlier speculations by the likes of Schroedinger and Brillouin into something that couldn’t be ignored, even by experimentalists.

This trend of an information basis to physics has only accelerated in my professional lifetime – I’ve seen people like Hawking discuss information processing of black holes, and we’ve see concepts like the Beckenstein bound linking geometry of space to information capacity. David Deutsch is surely backing a winning horse to point out that algorithmic information theory must be a foundational strand of the “fabric of reality”. ”

Было бы интересно узнать, что говорят на эту тему российские физики.

________________________________

Хорошее разделение. На everything-list как раз больше атрибутивистов. Я сам ближе ко второй точке зрения, однако здесь остается непонятным как кибернетические системы возникают, и что собственно говоря они представляют. Скажем у Jeffrey Gray есть высказываение, что биология по сути дела это физика + законы кибернетики. Однако соотношение между физикой и обратной связью остается непонятным.

В этом отношении есть два модных термина — первое emergence, emergent properties, то есть скажем информация как раз возникает (прадва не очень понятно как). Второй термин идет от философов, но мне кажется, что он близок к emergence: supervenience. Здесь информация вытекает из физических свойств (опять же не очень понятно как).

________________________________

Мне действительно нравится сливной бачок, как пример. В настоящий момент я рассматриваю следующую последовательность

камень — сливной бачок — автоматическая дверь — беспилотный автомобиль — бактерия

Обратите внимание, что разница с камнем не так очевидна, поскольку в определенном смысле его также можно рассматривать как кибернетическую систему, перерабатывающую информацию.

Пока у меня не получается дать четкий ответ, что собственно говоря меняется в этой цепочке.

В определении Корчмарюка меня смущает слово целесообразность, поскольку она предполагает наличие цели. Однако я не уверен, что даже у бактерии есть цель, не говоря уже о сливном бачке.

________________________________

Вы считете, что сливной бачок и бактерия функционируют именно потому, что у них есть цель?

С другой стороны, также можно сказать, что цель камня — это реагирование на окружающие воздействия. Например, когда вы садитесь на камень, то в нем соотвествующим образом возникают напряжения, чтобы результирующая сила оказалась равной нулю. Почему это не подходит как цель?

________________________________

Re: надо бы определение дать что ли сначала…

Это конечно. Логика, которую можно увидеть, у физиков-«атрибутивистов» следующая. Шеннон дал формальное определение информации и ввел понятие информационная энтропия, которая оказалось похожим на выражение для энтропии в статистической термодинамике. Далее некоторые физики посмотрели на все это и сказали, что отсюда следует, что информация и энтропия одно и тоже. Похоже, что это произошло таким образом.

________________________________

«Информация физической сущностью не является, она абстрактна и нематериальна.»

Здесь как раз хотелось бы понять, как в материальном мире образуются абстрактные и нематериальные понятия.

________________________________

Я стараюсь читать умные книги. Вот если говорить про термодинамику, недавно читал Thermodynamics: A Dynamical Systems Approach by Haddad, Chellaboina, Nersesov и даже отзыв написал

http://blog.rudnyi.ru/2010/05/thermodynamics-dynamical-systems.html

Ваш однако выразили вашу точку зрения не очень понятено. Считаете ли вы, что информация тождественна термодинамической энтропии? Если можно, что дайте пожалуйста ответ как физик, и не как философ.

________________________________

Я процитирую два ваших утверждения из первого ответа:

«А на пальцевом уровне, есть несколько независимых определений энтропии. Одно из этих определений — информационное. Можно доказать, что в случае с термодинамикой эти определения взаимозаменяемы.»

«Лично мне кажется, что информация (как субъективное понятие, а не как математический объект) — очень удобный объект для моделирования реальности.»

Про какое из них вы говорите «Как физик я уже его дал.»

Не могли бы вы пожалуйста более четко ответить, можно ли из термодинамической энтропии объекта определить информацию, содержащуюся в объекте (или соотвественно из информации термодинамическую энтропию)? Мне ваша личная точка зрения пока еще остается непонятной.

________________________________

Могу ли я восприять ваш ответ таким образом, что информация и термодинамическая энтропия однозначно связаны между собой? Если да, то меня волнует следующий практический вопрос. Давайте возьмем жесткий диск, или флешку, или DVD. Можно ли определить информационную емкость этих устройств из термодинамической энтропии этих устройств? Или соотвественно, термодинамическую энтропию устройств из информационной емкости? Был бы признателен за помощь в решении такого вопроса от настоящего физика.

________________________________

Я начал эту дискуссию, чтобы лучше понять, что понимают физики под информацией. Я согласен с вами, что следовало бы сказать, что есть как минимум два разных терминима ифнормация: в физике и в информационных технологиях. К слову сказать, я пока еще так и не дошел даже до такого впроде бы естественного утверждения на everything-list. Там пока информации в информатике отказывают право на существование самой по себе, говорится, что это обязательно должно быть связано с информацией из физики.

В целом позицию граждан на everything-list можно понять, поскольку если сказать, что существует два разных термина информация, возникает вопрос, что же тогда обозначает информация в физике и откуда этот термин туда пришел.

Я бы согласился, что термодинамика дает предел на количество записиваемой информации через kT, однако применение даже этого утверждения приводит к проблемам. Например, вы пишите, что информация связана с количеством состояний. Оно больше всего в газе (энтропия газа больше энтропии кристалла). Не уверен однако, что предложение хранить информацию в газе является удачным. С другой стороны вы также упомянули про негоэнтропию — информацию должна расти в противоположную строну. Здесь тогда можно рассмотреть тело при абсолютному нуле. Количество состояний там нуль (или близко к нулю). Откуда же там возьмется информация?

Я недавно читал одну книгу про энтропию от гуманитариев

Arnheim, Entropy and Art: An Essay on Disorder and Order, 1971

Книга на удивление оказалось очень достойной, я приведу одну цитату, которая по-моему неплохо характеризует состояние мысли в области энтропия, хаос и информация:

“The absurd consequences of neglecting structure but using the concept of order just the same are evident if one examines the present terminology of information theory. Here order is described as the carrier of information, because information is defined as the opposite of entropy, and entropy is a measure of disorder. To transmit information means to induce order. This sounds reasonable enough. Next, since entropy grows with the probability of a state of affairs, information does the opposite: it increases with its improbability. The less likely an event is to happen, the more information does its occurrence represent. This again seems reasonable. Now what sort of sequence of events will be least predictable and therefore carry a maximum of information? Obviously a totally disordered one, since when we are confronted with chaos we can never predict what will happen next. The conclusion is that total disorder provides a maximum of information; and since information is measured by order, a maximum of order is conveyed by a maximum of disorder. Obviously, this is a Babylonian muddle. Somebody or something has confounded our language.”

________________________________

Количественное определение информации было дано Шенноном и оно помогло развитию устройств для передачи информации. Без этого наше виртуальное общение было бы вряд ли возможно. Попробуйте убрать из IT термин информация, вряд ли это получится.

В то же время я согласен с вами, что использование термина информация в качестве базовой физической величин не очень удачно, поскольку смысл термина уже невозможно понять.

С другой стороны, ваше предложение: «обмен информацией» слишком широкое. Здесь тогда можно сказать, что камень обменивается информацией с окружающей средой.

Вопрос, который мне непонятен, можно ли дать такое определине информации, чтобы исключить например камень и оставить IT. Решение с помощью emergence: supervenience привлекательно, однако это напоминает мне диалектическую логику.

________________________________

В примере с камнем панпсихизм был не главное. Главное был обмен информацией с окружающей средой.

Обратная связь — это неплохая идея, однако здесь главный вопрос, как всегда, в определении. Если мы например скажем, что для реализации обратной связи необходим цифровой процессор, то тогда, конечно, камень выпадает. Однако тогда выпадают также сливной бачок и другие аналоговые механизми обратной связи. Если же аналоговые механизмы обратной связи оставить, то здесь уже исключить камень не так уж и просто. Например, если кто-то садится на камень, то в нем соотвествующим образом возникают напряжения, чтобы результирующая сила оказалась равной нулю. Чем не обратная связь?

Также есть интересный вопрос, каким образом возникает обратная связь. Скажем у нас есть разные системы, которые в конечном итоге представляют собой совокупность атомов. Обратная связь уже проявляется на этом уровне или путем emergence: supervenience. Если последнее, то что значит обратная связь на уровне атомов.

________________________________

«Можно попытаться определить как сохранение некоторых параметров системы в заданном диапазоне

В этом случае камень отлично попадает в определение. Камень — это совокупность ядер и электронов, между которыми есть сложные взаимодействия, чтобы сохранить параметры камня (межядерные расстояния) в заданном диапазоне. Я уже приводил пример, если кто-то садится на камень, то в нем соотвествующим образом возникают напряжения, чтобы результирующая сила оказалась равной нулю. Однако если взять молот и сильно стукнуть, то камень развалится. Внутренние взаимодействия в этом случае со своей задачей не справятся.

________________________________

«сохранение параметров постоянства структуры и функций«

Не уверен, что слово функция поможет. Можно себе представить такую функцию, как хранить тепло. Для этого мы можем добавить в середину камня вещество, которое имеет фазовый переход близко к желаемой температуре. Тогда например днем тепловая энергия будет сохраняться в этом веществе, а ночью камень будет выполнять свою функцию хранения тепла (по-моему идея одного изобретателя из Швейцарии). Здесь конечно надо быть аккуратным с погодными условиями, поскольку в зависимости от них такое устройство вполне может превратиться в холодильник, но дело не в этом.

Чем не пример?

________________________________

>http://www.trinitas.ru/rus/doc/0232/009a/02321199.htm

Нет, это не интересно, поскольку к термодинамике отношения не имеет. Похоже, что авторы — это математики, которые очень далеки от реального мира.

Вот например, чего только стоит введение

«Благодаря многим новым научным открытиям, основанным на золотом сечении, «золотая пропорция» рассматривается в настоящее время как главная пропорция мироздания, как некий универсальный Код Природы.«

Наверняка можно найти пару чудаков, которые так считают. Однако, приписывать их убеждения всему человечеству достаточно наивно.

Далее

«…наука о золотом сечении только сейчас начинает свои первые шаги как наука. Трудами многих современных исследователей, во-первых, доказывается, что золотое сечение существует не только как эмпирический факт. Во-вторых, масштабы задачи, как оказалось, настолько велики, что официальной науке, вместо ироничного и предвзятого к ней отношения, полезней было бы… ринуться на решение проблем только-только нарождающегося действительно нового видения мира. …Самое главное здесь — это ответить «всего лишь» на один маленький вопрос: ПОЧЕМУ оно существует? Пока однозначного ответа нет»

Вопрос «Почемо оно существует» относится ко всем математическим построениям. Например, почему и где существует число Пи? Я боюсь, что современной науке это не известно.

________________________________

Под реальным миром я понимаю производство реальных товаров. Биржа — это неплохо, но если производительность труда не растет, то в конечном итоге, как показал 2008 год, и на бирже наступают проблемы.

Я не имею ничего против, когда уравнения физики используются при игре на бирже. Вопрос однако, что общего между торгами на бирже и например воздухом, если вы уж упомянули закон Бойля — Мариотта. Разве только, что когда пузырь раздувается до невыносимых размеров, то в конечном итоге он лопается.

По-моему, использование одного и того же уравнения для разных случаев вовсе не означает, что эти случаи одинаковы. Если говорить про исходную статью, то я недавно перечислил проблемы из термодинамики (примеры 1.1-1.5)

http://blog.rudnyi.ru/2012/02/entropy-and-information.html

Было бы интересно узнать, как золотое сечение поможет в их решении.

________________________________

Проблема в том, что большинство терминов имеют несколько значений. Так энтропия в информатике (энтропия Шеннона) вполне возможно подходит для объяснения золотого сечения. Однако энтропия в термодинамике была разработана для тепловых машин. Попробуйте применить золотое сечения для тепловых машин, я сомневаюсь, что получится. С моей точки зрения, энтропия из второго закона ничего не имеет общего с энтропией Шеннона, просто формулы похожи. Хотя, следует отметить, что многие люди отождествляют их.

_____

К теме из другого обсуждения

1) В термодинамических таблицах можно например увидеть

S° (298.15 K) Дж/(K моль)

Ag кр 42.55 ± 0.20
Al кр 28.30 ± 0.10

Как вы считаете, можно ли сказать, что в серебре энергия обесценена больше, чем в алюминии?


Comments are closed.