Список обозначений

Энтропия условная

conditional entropy

Пусть $\widetilde x$ и $\widetilde y$ — случайные величины с конечными носителями (не обязательно независимые). Обозначим для краткости $\mathop{\mathrm{supp}}\widetilde y$ через $Y$. Для каждого $y\in Y$ определена случайная величина $(\widetilde x\,|\,\widetilde y=y)$, принимающая произвольное значение $x$ с вероятностью $\Pr(\widetilde x=x\,|\,\widetilde y=y)$. Очевидно, что носитель этой случайной величины конечен (так как он содержится в $\mathop{\mathrm{supp}}\widetilde x$), поэтому ее энтропия определена. Энтропия в этой статье всюду обозначается через $H$. Тогда (средней) условной энтропией $H(\widetilde x\,|\,\widetilde y)$ случайной величины $\widetilde x$ относительно $\widetilde y$ называется математическое ожидание случайной величины $y\mapsto H(\widetilde x\,|\,\widetilde y=y)$ ($y\in Y$), взятое по распределению вероятностей случайной величины $\widetilde y$ на $Y$. Другими словами, \[ H(\widetilde x\,|\,\widetilde y)=\sum_{y\in Y}\Pr(\widetilde y=y)H(\widetilde x\,|\,\widetilde y=y). \]

Говоря неформально, $H(\widetilde x\,|\,\widetilde y)$ является количественной мерой неопределенности случайной величины $\widetilde x$ при известном случайном значении случайной величины $\widetilde y$.

Имеют место следующие важнейшие свойства условной энтропии, которые нетрудно получить непосредственно или вывести из свойств обычной энтропии, приведенных в соответствующей статье (см. также [1]).
  • $H(\widetilde x\,|\,\widetilde y)=H(\widetilde x,\widetilde y)-H(\widetilde y)$;
  • $0\leqslant H(\widetilde x\,|\,\widetilde y)\leqslant H(\widetilde x)$;
  • $H(\widetilde x\,|\,\widetilde y)=0$ тогда и только тогда, когда для любого $y\in Y$ случайная величина $\widetilde x$ при условии $\widetilde y=y$ с вероятностью $1$ принимает единственное значение (вообще говоря, зависящее от $y$);
  • $H(\widetilde x\,|\,\widetilde y)=H(\widetilde x)$ тогда и только тогда, когда $\widetilde x$ и $\widetilde y$ независимы.

Литература

  • [1] Shannon, C. E. «A mathematical theory of communication» 1948

Адрес редакции сайта: dialogus@cryptography.ru
© При копировании материалов ссылка на авторов,
© а при их отсутствии — на сайт, обязательна