Что такое энтропия в термодинамике?

Что такое энтропия

Впервые это понятие ввёл в 1865 г. немецкий физик Рудольф Клаузиус. Энтропией он назвал функцию состояния термодинамической системы, определяющую меру необратимого рассеивания энергии.

Что же такое энтропия?

Прежде чем ответить на этот вопрос, познакомимся с понятием «приведенной теплоты». Любой термодинамический процесс, проходящий в системе, состоит из какого-то количества переходов системы из одного состояния в другое. Приведенной теплотой называют отношение количества теплоты в изотермическом процессе к температуре, при которой происходит передача этой теплоты.

Q’ = Q/T.

Для любого незамкнутого термодинамического процесса существует такая функция системы, изменение которой при переходе из одного состояния в другое равно сумме приведенных теплот. Этой функции Клаузиус дал название «энтропия» и обозначил её буквой S, а отношение общего количества теплоты ∆Q к величине абсолютной температуры Т назвал изменением энтропии.

Обратим внимание на то, что формула Клаузиуса определяет не само значение энтропии, а только её изменение.

Что же представляет собой «необратимое рассевание энергии» в термодинамике?

Одна из формулировок второго закона термодинамики выглядит следующим образом: «Невозможен процесс, единственным результатом которого является превращение в работу всего количества теплоты, полученного системой». То есть часть теплоты превращается в работу, а какая-то её часть рассеивается. Этот процесс необратим. В дальнейшем рассеиваемая энергия уже не может совершать работу. Например, в реальном тепловом двигателе рабочему телу передаётся не вся теплота. Часть её рассеивается во внешнюю среду, нагревая её.

В идеальной тепловой машине, работающей по циклу Карно, сумма всех приведенных теплот равна нулю. Это утверждение справедливо и для любого квазистатического (обратимого) цикла. И неважно, из какого количества переходов из одного состояния в другое состоит такой процесс.

Если разбить произвольный термодинамический процесс на участки бесконечно малой величины, то приведенная теплота на каждом таком участке будет равна δQ/T. Полный дифференциал энтропии dS = δQ/T.

Энтропию называют мерой способности теплоты необратимо рассеиваться. Её изменение показывает, какое количество энергии беспорядочно рассеивается в окружающую среду в виде теплоты.

В замкнутой изолированной системе, не обменивающейся теплом с окружающей средой, при обратимых процессах энтропия не изменяется. Это означает, что дифференциал dS = 0. В реальных и необратимых процессах передача тепла происходит от тёплого тела к холодному. В таких процессах энтропия всегда увеличивается (dS ˃ 0). Следовательно, она указывает направление протекания термодинамического процесса.

Формула Клаузиуса, записанная в виде dS = δQ/T, справедлива лишь для квазистатических процессов. Это идеализированные процессы, являющиеся чередой состояний равновесия, следующих непрерывно друг за другом. Их ввели в термодинамику для того, чтобы упростить исследования реальных термодинамических процессов. Считается, что в любой момент времени квазистатическая система находится в состоянии термодинамического равновесия. Такой процесс называют также квазиравновесным.

Конечно, в природе таких процессов не существует. Ведь любое изменение в системе нарушает её равновесное состояние. В ней начинают происходить различные переходные процессы и процессы релаксации, стремящиеся вернуть систему в состояние равновесия. Но термодинамические процессы, протекающие достаточно медленно, вполне могут рассматриваться как квазистатические.

На практике существует множество термодинамических задач, для решения которых требуется создание сложной аппаратуры, создание давления в несколько сот тысяч атмосфер, поддержание очень высокой температуры в течение длительного времени. А квазистатические процессы позволяют рассчитать энтропию для таких реальных процессов, предсказать, как может проходить тот или иной процесс, реализовать который на практике очень сложно.

Закон неубывания энтропии

Второй закон термодинамики на основании понятия энтропии формулируется так: «В изолированной системе энтропия не уменьшается». Этот закон называют также законом неубывания энтропии.

Если в какой-то момент времени энтропия замкнутой системы отличается от максимальной, то в дальнейшем она может только увеличиваться, пока не достигнет максимального значения. Система придёт в состояние равновесия.

Клаузиус был уверен, что Вселенная представляет собой замкнутую систему. А раз так, то её энтропия стремится достичь максимального значения. Это означает, что когда-нибудь все макроскопические процессы в ней прекратятся, и наступит «тепловая смерть». Но американский астроном Эдвин Пауэлл Хаблл доказал, что Вселенную нельзя назвать изолированной термодинамической системой, так как она расширяется. Советский физик академик Ландау считал, что закон неубывания энтропии к Вселенной применять нельзя, так как она находится в переменном гравитационном поле. Современная наука пока не в состоянии дать ответ на вопрос, замкнутой ли системой является наша Вселенная или нет.

Принцип Больцмана

Людвиг Больцман

Любая замкнутая термодинамическая система стремится к состоянию равновесия. Все самопроизволные процессы, происходящие в ней, сопровождаются ростом энтропии.

В 1877 г. австрийский физик-теоретик Людвиг Больцман связал энтропию термодинамического состояния с количеством микросостояний системы. Считается, что саму формулу расчёта значения энтропии позднее вывел немецкий физик-теоретик Макс Планк.

S = k · lnW,

где k = 1,38·10−23 Дж/К — постоянная Больцмана; W — количество микросостояний системы, которые реализуют данное макростатическое состояние, или число способов, которыми это состояние может быть реализовано.

Мы видим, что энтропия зависит только от состояния системы и не зависит от того, каким способом система перешла в это состояние.

Физики считают энтропию величиной, характеризующей степень беспорядка термодинамической системы. Любая термодинамическая система всегда стремится уравновесить свои параметры с окружающей средой. К такому состоянию она приходит самопроизвольно. И когда состояние равновесия достигнуто, система уже не может совершать работу. Можно считать, что она находится в беспорядке.

Энтропия характеризует направление протекания термодинамического процесса обмена теплом между системой и внешней средой. В замкнутой термодинамической системе она определяет, в каком направлении протекают самопроизвольные процессы.

Все процессы, протекающие в природе, необратимы. Поэтому они протекают в направлении увеличения энтропии.

>Энтропия в термодинамике

Понятие энтропии в термодинамике

Понятие энтропии ввел в XIX веке Р. Клаузиус. Энтропия () – это функция состояния, в обратимом процессе дифференциалом которой является величина :

где – количество теплоты, полученное термодинамической системой в ходе обратимого процесса; – термодинамическая температура системы.

В любом обратимом круговом процессе изменение энтропии равно нулю:

Энтропия системы, которая совершает необратимый цикл, растет:

Выражения (2) и (3) относятся только к замкнутым системам, в том случае, если система обменивается теплотой с внешней средой, то энтропия может вести себя как угодно. Формулы (2) и (3) в единстве представляют собой неравенство Клаузиуса:

которое говорит о том, что в замкнутых системах при обратимых процессах, энтропия остается постоянной, а в необратимых процессах она растет.

В случае равновесного перехода из одного состояния в другое, в соответствии с определением энтропии (1), имеем:

где по первому началу термодинамики. – изменение внутренней энергии термодинамической системы; – работа выполняемая системой. В формуле (5) подынтегральное выражение и пределы интегрирования следует выразить, используя параметры, которые характеризуют процесс, происходящий в термодинамической системе. Выражение (5) определяет энтропию с точностью до аддитивной постоянной. Физический смысл несет изменение энтропии, а не сама энтропия.

Примеры решения задач

ПРИМЕР 1

Задание Найдите изменение энтропии в процессах идеального газа.
Решение В качестве основы для решения задачи используем формулу:

Для идеального газа изменение внутренней энергии:

Работа газа по определению равна:

Или, если учесть, что из уравнения Менделеева – Клайперона:

получаем, что элементарная работа идеального газа равна:

Подставим выражения (1.2) и (1.5) в определение изменения энтропии (1.1), получим:

Изменение энтропии при переходе из одного состояния в другое для идеального газа не зависит от процесса перехода.

Ответ

ПРИМЕР 2

Задание Идеальный газ ( – число степеней свободы молекулы газа) расширили по адиабате (процесс 1-2), причем , после этого изобарно сжали до первоначального объема (рис.1). Каково изменение энтропии газа в результате проведенных процессов?
Решение Так как энтропия является функцией состояния, то ее изменение в процессах перехода от точки 1-2-3 можно заменить на изменение энтропии в переходе 1-3. То есть:

В качестве основы для решения задачи воспользуемся формулой, которую мы получили в примере 1:

Для изохорного процесса выражение (2.2) принимает вид:

Так как процесс 3-1 изохорный, то для него справедлив закон Шарля:

Воспользуемся уравнением адиабаты для процесса 1-2, и учтем, что процесс 2-3 изобарный, запишем:

Подставим правую часть выражения (2.5) вместо отношения в формулу (2.3), примем во внимание, что имеем:

Ответ

Энтропия — это сокращение доступной энергии вещества в результате передачи энергии.
Что такое Энтропия и почему она растет, мы рассмотрим на простых бытовых примерах. Допустим вы мужчина. Так получилось что вы женились на дуре, или стерве. Нет, пойдем проще, без экстремизма и сексизма. Вы женились, или живете с бревном. Ну слышали наверное, так иногда говорят про некоторых нерадивых женщин. Вот значит вы нормальный, живой, в меру горячий мужчина. Понимаете, что есть звездное небо над головой и высокие моральные принципы внутри вас. У вас холодная голова и горячее сердце. Руки соответственно тоже весьма теплые, и не только руки, но и другие члены… Но не забывайте вы живете с бревном. Оно как правило деревянное и прохладное, если не жарить его на солнце или костре. Так как оно обитает предположительно большей частью дома, то значит прохладное. Так как вы семейная пара то вы делитесь друг с другом практически всем, включая естественно интимную близость. Вы теплый, ваше бревно прохладное. В процессе близости вы отдаете свое тепло, вашему прохладному партнеру. При этом свое тепло (возможно даже любовь) вы не избежно теряете раз за разом при близости с объектом вашей страсти. Бревну же ваше тепло по барабану. Конечно оно сублимирует его и трансформирует во что то по своему (в еще большую бездность и хаос), но вам и миру от этого ни горячо-ни жарко, а хаотично и неуправляемо. Через некоторый промежуток времени таких занятий, вы начнете замечать, что стали чаще мерзнуть без видимых причин, и ваши отношения с окружающими становяться все более прохладными. С вашим бревном же вы теперь находитесь в состоянии холодной войны, причем явно понимаете что проигрываете эту войну. Если так будет продолжаться дальше, вы просто превратитесь либо в окоченевший труп, либо делающего вид подающего признаки жизни подкаблучника. Если представить, что такая ситуация будет продолжаться бесконечно долгий отрезок времени, то последствия будут катосторофическими. А именно — вселенная остынет.
Так же можно рассмотреть этом пример с позиции женщины, где муж будет неотесанный чурбан.

Третье начало термодинамики

Третье начало термодинамики – фундаментальный закон, который не вытекает из первых двух начал и также основывается на экспериментальных данных. Его еще называют теоремой Нернста.

О чем говорит этот закон? Он рассматривает поведение энтропии у абсолютного нуля и гласит:

Энтропия правильно образованного кристалла при абсолютном нуле равна нулю.

Или вот еще одна формулировка третьего начала термодинамики: Приращение энтропии при абсолютном нуле температуры стремится к конечному пределу, не зависящему от того, в каком равновесном состоянии находится система.

В чем же смысл третьего начала? В том, что охладить тело до значения абсолютного нуля невозможно! Иначе стал бы возможен вечный двигатель второго рода. А если бы он стал возможен, с нашим миром определенно начало бы твориться неизвестно что. Так что вот и хорошо, что есть третье начало термодинамики!

Абсолютный ноль недостижим

Друзья! Сегодня мы кратко рассмотрели третье начало термодинамики и еще раз освежили в памяти представление об энтропии в контексте основ термодинамики. Если хотите быстро научиться решать задачки по термодинамике, написать реферат или курсовую – добро пожаловать к нашим авторам. Поможем, объясним, решим качественно и быстро!

Энтропия систем

Энтропия — это термодинамическая функция состояния системы, которая отражает вероятность реализации того или иного состояния системы в процессе теплообмена.

Энтропия – это мера неупорядоченности состояния системы; стремление частиц (молекул, ионов, атомов) к хаотическому движению. По изменению энтропии в ходе реакции можно судить о переходе системы от более упорядоченного состояния к менее упорядоченному или наоборот.

Энтропия возрастает (∆Ѕ>0) с увеличением движения частиц при нагревании, испарении, плавлении, расширении газа, при ослаблении или разрыве связей между атомами и т.п.

Процессы, связанные с упорядоченностью системы (конденсация, кристаллизация, сжатие, упрочнение связей, полимеризация), сопровождаются уменьшением энтропии (∆Ѕ < 0). Измеряется энтропия в Дж/(моль×К).

Изменение энтропии системы в результате протекания химической реакции (∆S) (энтропия реакции) равно сумме энтропий продуктов реакции за вычетом суммы энтропий исходных веществ с учетом стехиометрических коэффициентов.Изменение энтропии в результате протекания химической реакции

Энтропия

У этого термина существуют и другие значения, см. Энтропия (значения).

Энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») — широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы. Энтропия определяет меру необратимого рассеивания энергии или бесполезности энергии, ибо не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу. Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия. Термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру неупорядоченности, хаотичности или неопределённости системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией. Формально негэнтропия может быть записана в виде формулы Шеннона, в которой используется логарифм с основанием, меньшим 1.

В термодинамике

Основная статья: Энтропия в классической термодинамике

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например в виде излучения, при этом полная энтропия окружающей среды увеличивается.

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла ( δ Q / T {\displaystyle \delta Q/T} ), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути:

Δ S 1 → 2 = S 2 − S 1 = ∫ 1 → 2 δ Q T {\displaystyle \Delta S_{1\to 2}=S_{2}-S_{1}=\int \limits _{1\to 2}{\frac {\delta Q}{T}}} . (1)

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить S 1 = 0 {\displaystyle S_{1}=0} . Тогда

S = ∫ δ Q T {\displaystyle S=\int {\frac {\delta Q}{T}}} , (2)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции S {\displaystyle S} имеет вид

d S = δ Q T {\displaystyle dS={\frac {\delta Q}{T}}} . (3)

Энтропия устанавливает связь между макро- и микро- состояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

В теории информации

Основная статья: Информационная энтропия

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону.

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана). Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность p {\displaystyle p} , тогда число состояний N = 1 / p {\displaystyle N=1/p} , а log ⁡ N = log ⁡ ( 1 / p ) {\displaystyle \log N=\log(1/p)} .

В случае разных вероятностей состояний p i {\displaystyle p_{i}} рассмотрим средневзвешенную величину log ⁡ N ¯ = ∑ i = 1 N p i log ⁡ ( 1 / p i ) , {\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i}),} где N ¯ {\displaystyle {\overline {N}}} — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

H = log ⁡ N ¯ = − ∑ i = 1 N p i log ⁡ p i . {\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}.}

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром q ≤ 1 {\displaystyle q\leq 1} от величин 1 / p i {\displaystyle 1/p_{i}} .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном.

Аксиоматическое определение энтропии

Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина.

1. Пусть некоторая система может пребывать в каждом из N {\displaystyle N}доступных состояний с вероятностью p i {\displaystyle p_{i}}, где i = 1 , . . . , N {\displaystyle i=1,…,N}. Энтропия H {\displaystyle H}является функцией только вероятностей P = ( p 1 , . . . , p N ) {\displaystyle P=(p_{1},…,p_{N})}: H = H ( P ) {\displaystyle H=H(P)}. 2. Для любой системы P {\displaystyle P}справедливо H ( P ) ≤ H ( P u n i f ) {\displaystyle H(P)\leq H(P_{unif})}, где P u n i f {\displaystyle P_{unif}}— система с равномерным распределением вероятностей: p 1 = p 2 = . . . = p N = 1 / N {\displaystyle p_{1}=p_{2}=…=p_{N}=1/N}. 3. Если добавить в систему состояние p N + 1 = 0 {\displaystyle p_{N+1}=0}, то энтропия системы не изменится. 4. Энтропия совокупности двух систем P {\displaystyle P}и Q {\displaystyle Q}имеет вид H ( P Q ) = H ( P ) + H ( Q / P ) {\displaystyle H(PQ)=H(P)+H(Q/P)}, где H ( Q / P ) {\displaystyle H(Q/P)}— средняя по ансамблю P {\displaystyle P}условная энтропия Q {\displaystyle Q}.

Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.

4′. Энтропия совокупности двух независимых систем P {\displaystyle P}и Q {\displaystyle Q}имеет вид H ( P Q ) = H ( P ) + H ( Q ) {\displaystyle H(PQ)=H(P)+H(Q)}.

Оказывается, система аксиом с пунктом 4′ приводит не только к энтропии Шеннона, но и к энтропии Реньи.

f-энтропия

Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией f ( t ) {\displaystyle f(t)} при t ≥ 0 {\displaystyle t\geq 0} , удовлетворяющей условию f ( 1 ) = 0 {\displaystyle f(1)=0} .

Для заданной функции f ( t ) {\displaystyle f(t)} f-энтропия дискретного распределения P = { p i | i = 1 , . . . , N } {\displaystyle P=\{p_{i}\,|\,i=1,…,N\}} определяется как

H f ( P ) = − ∑ i = 1 N f ( p i ) . {\displaystyle H_{f}(P)=-\sum _{i=1}^{N}f\left(p_{i}\right).}

Наиболее известными частными случаями f-энтропии являются:

  • энтропия Шеннона для f ( t ) = t ln ⁡ t {\displaystyle f(t)=t\ln t} ;
  • энтропия Цаллиса для f ( t ) = t q − t q − 1 {\displaystyle f(t)={t^{q}-t \over q-1}} , если q > 0 {\displaystyle q>0} , q ≠ 1 {\displaystyle q\neq 1} ;
  • альфа-энтропия для f ( t ) = t α − t α ( α − 1 ) {\displaystyle f(t)={t^{\alpha }-t \over \alpha (\alpha -1)}} , если α ≠ 1 {\displaystyle \alpha \neq 1} , α ≠ 0 {\displaystyle \alpha \neq 0} .

Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.

Понятие f-энтропии определяют в общем виде следующим образом. Пусть P {\displaystyle P} — распределение вероятностей и μ {\displaystyle \mu } — любая мера на Ω {\displaystyle \Omega } , для которой существует абсолютно непрерывная относительно μ {\displaystyle \mu } функция p = d P d μ {\displaystyle p={\frac {dP}{d\mu }}} . Тогда

H f ( P ) = − ∫ Ω f ( p ) d μ . {\displaystyle H_{f}(P)=-\int _{\Omega }f(p)\,d\mu .}

Однако непрерывные версии f-энтропий могут не иметь смысла по причине расходимости интеграла.

f-энтропия является вогнутым функционалом от распределения вероятностей.

Нужно заметить, что функция f ( t ) {\displaystyle f(t)} может быть задана с точностью до слагаемого c ( t − 1 ) {\displaystyle c(t-1)} , где c {\displaystyle c} — произвольная константа. Независимо от выбора c {\displaystyle c} функция f ( t ) {\displaystyle f(t)} порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, т.е. выбором константы c {\displaystyle c} можно задать начало отсчёта энтропии. При этом возникает следующий нюанс (более характерный для непрерывной версии f-энтропии): в случае μ ( Ω ) = ∞ {\displaystyle \mu (\Omega )=\infty } константа c {\displaystyle c} должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет расходиться, т.е. c {\displaystyle c} перестаёт быть произвольной. В частности, в дискретной версии энтропии константа c {\displaystyle c} должна фиксироваться при N = ∞ {\displaystyle N=\infty } . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если μ {\displaystyle \mu } — лебегова мера на Ω {\displaystyle \Omega } , тогда p ( x ) {\displaystyle p(x)} — плотность распределения вероятности и

H f ( P ) = − ∫ Ω f ( p ( x ) ) d x + c , {\displaystyle H_{f}(P)=-\int _{\Omega }f(p(x))\,dx+c,}

где c {\displaystyle c} — произвольная константа.

Функция f ( t ) {\displaystyle f(t)} может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.

Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение:

H ( P ) = − D ( P ∥ Q 0 ) + c , {\displaystyle H(P)=-D(P\parallel Q_{0})+c,}

где Q 0 {\displaystyle Q_{0}} — равномерное на Ω {\displaystyle \Omega } распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере μ {\displaystyle \mu } , имеет место формальная запись

H ( p ) = − D ( p ∥ 1 ) + c . {\displaystyle H(p)=-D(p\parallel 1)+c.}

Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.

Примечания

  1. Зубарев Д. Н., Морозов В. Г. Диссипация энергии // Физическая энциклопедия : / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (тт. 1—2); Большая Российская энциклопедия (тт. 3—5), 1988—1999. — ISBN 5-85270-034-7.
  2. Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.
  3. Цыпкин Я. З., 1995, с. 77.
  4. Зубарев Д. Н., Морозов В. Г. Энтропия // Физическая энциклопедия : / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (тт. 1—2); Большая Российская энциклопедия (тт. 3—5), 1988—1999. — ISBN 5-85270-034-7.
  5. Энтропия // Большая советская энциклопедия : / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.
  6. http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
  7. http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
  8. Вентцель Е. С., 1969, с. 468—475.
  9. Зарипов Р. Г., 2005, с. 13—22, 108-125.
  10. Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33—51.
  11. Колмогоров, 1987, с. 29—39.
  12. Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
  13. Plastino A., Plastino A. R. Tsallis Entropy and Jaynes’ Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53.
  14. Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191–213.
  15. Arimoto S. Information-theoretical considerations on estimation problems // Information and Control. — 1971. — Т. 19, вып. 3. — С. 181–194.
  16. Csiszár I. Axiomatic Characterizations of Information Measures. // Entropy. — 2008. — Вып. 10. — С. 261-273.
  17. Cichocki A., Amari S.-I. Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532–1568.

Литература

Энтропия в Викицитатнике

Энтропия на Викискладе

  • Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
  • Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
  • Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
  • Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
  • Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
  • Брюллюэн Л. Наука и теория информации. — М., 1960.
  • Винер Н. Кибернетика и общество. — М., 1958.
  • Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
  • Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
  • Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
  • Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
  • Эшби У. Р. Введение в кибернетику. — М., 1965.
  • Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
  • Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
  • Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
  • Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
Для улучшения этой статьи желательно:

  • Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное.
  • Проставив сноски, внести более точные указания на источники.