Entropia warunkowa - Polski Serwis Naukowy

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako $H(Y|X) \,$ i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych X i Y jest większa od entropii samej zmiennej X, czyli ile dodatkowej informacji dostajemy na podstawie zmiennej Y, jeśli znamy zmienną X.

Definicja

Formalnie dla dyskretnych zmiennych losowych X i Y entropia Y warunkowana przez X może być zdefiniowana jako:

Bit (w ang. kawałek, skrót od binary digit, czyli cyfra dwójkowa) – najmniejsza ilość informacji potrzebna do określenia, który z dwóch równie prawdopodobnych stanów przyjął układ. Jednostka logiczna.

Ciągły rozkład prawdopodobieństwa - rozkład prawdopodobieństwa dla którego dystrybuanta jest funkcją ciągłą. Stosowana jest też węższa definicja, przedstawiona poniżej w sekcji bezwzględna ciągłość.

$H(Y|X) = \sum_{x \in X} p(x) H(Y|x)$ ,

gdzie $H(Y|x) = \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}$ .

A zatem: $H(Y|X) = \sum_{x \in X} p(x) \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}$ .

Wzór ten można zapisać również jako: $H(Y|X) = - \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \frac{p(x,y)}{p(x)}$ .

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie: $H(Y|X) = - \int\limits_Y \int\limits_X p(x,y) \log \frac{p(x,y)}{p(x)} \; dx \,dy \!$ ,

gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a p(x) jest gęstością prawdopodobieństwa X.

Alternatywnie tę samą definicję można zapisać jako

Teoria informacji – dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.

$H(Y|X) = H(X,Y) - H(X) \,$ ,

gdzie H(X,Y) oznacza entropię produktową X i Y, a H(X) oznacza entropię X.

Jeśli X i Y są niezależne, poznanie X nie daje żadnych informacji o Y. Wtedy entropia warunkowa jest po prostu równa entropii Y: $H(Y|X) = H(Y) \,$ . Z drugiej strony, jeśli Y jest funkcją X, to poznanie X całkowicie determinuje wartość Y. Wtedy $H(Y|X)=0 \,$ .

Bibliografia

Damian Niwiński, Michał Strojnowski, Marcin Wojnarski: Teoria informacji – materiały Wydziału MIM UW. [dostęp 2010-01-21].