Ilość informacji - Polski Serwis Naukowy

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte o prawdopodobieństwo zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu). Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Intuicyjnie, zdarzenie losowe to pewien zbiór możliwych wyników danego eksperymentu. Może to być zarówno zbiór składający się z pojedynczego wyniku jak i zbiór złożony z większej ilości elementów. Zdarzenia losowe rozważa się w rachunku prawdopodobieństwa.

Semantyka (semantyka logiczna) – obok syntaktyki i pragmatyki jeden z trzech działów semiotyki logicznej (taki podział semiotyki wprowadził Charles W. Morris), zajmujący się funkcjami semantycznymi, tj. relacjami między znakami (w tym zwłaszcza wyrażeniami) a rzeczywistością, do której znaki te się odnoszą. Tak rozumianą semantykę należy odróżnić od semantyki językoznawczej jako nauki o znaczeniu wyrazów (sam termin "semantyka" upowszechnił zresztą językoznawca, Michel Bréal) i semantyki ogólnej, nurtu filozofii języka; terminem "semantyka" określa się też niekiedy semiotykę logiczną jako całość.

Miary ilości informacji

1. Ilość informacji otrzymanej przy zajściu zdarzenia $x_i$ (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928): $I_i = h_i = \log_r \frac{1}{p_i} = - \log_r {p_i}$ gdzie: $I_i$ – ilość informacji otrzymanej przy zajściu zdarzenia $x_i$ , $p_i$ – prawdopodobieństwo zajścia zdarzenia $x_i$ , r – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie r = 2, wówczas jednostką informacji jest bit (szanon). Przy r = e jednostką jest nat (nit), natomiast przy r = 10 – dit (hartley).

Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.

Syntaktyka - jeden z trzech głównych (obok semantyki i pragmatyki) działów semiotyki logicznej. Syntaktyka bada funkcje syntaktyczne - relacje, które zachodzą między wyrażeniami (znakami językowymi) wewnątrz języka i które mają charakter formalny. Podstawowe relacje syntaktyczne to np. wynikanie, reprezentowanie stałych przez zmienne itp.

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru n zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń (Shannon 1948):

Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) - termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej - właściwość pewnych obiektów, relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności).

Ban (czasem także hartley - oznaczenie Hart, określany też jako dit od decimal digit ) – jednostka informacji lub entropii. Konstrukcja tej miary informacji oparta jest o logarytm o podstawie 10 (logarytm dziesiętny). Jednostkę miary informacji opartą o logarytm o podstawie 2 nazywamy bitem. Podobnie jak bit odpowiada cyfrze dwójkowej, ban odpowiada cyfrze dziesiętnej. Decyban jest jedną dziesiątą bana.

$H(X)=\sum_{i=1}^np_i\log_r \frac{1}{p_i}= - \sum_{i=1}^np_i\log_r {p_i}\,\!$ gdzie: H(X) – entropia bezwarunkowa zbioru X, n – liczba zdarzeń w zbiorze, pi – prawdopodobieństwo zajścia zdarzenia xi.

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y):

Zmienna losowa – funkcja przypisująca zdarzeniom elementarnym liczby. Intuicyjnie: odwzorowanie przenoszące badania prawdopodobieństwa z niewygodnej przestrzeni probabilistycznej do dobrze znanej przestrzeni euklidesowej. Zmienne losowe to funkcje mierzalne względem przestrzeni probabilistycznych.

Logarytm (łac. [now.] logarithmus, w sensie stosunek, z gr. λόγ- log-, od λόγος logos , „słowo”, w sensie proporcja, i ἀριθμός árithmós, „liczba”). Logarytm przy podstawie a z liczby b (symbolicznie log ab) oznacza liczbę c, będącą potęgą, do której podstawa a musi być podniesiona, aby dać liczbę b, czyli

$I(X;Y) = H(X) - H(X|Y) \,$ gdzie: I(X;Y) – informacja wzajemna Y o X, H(X) – entropia bezwarunkowa zbioru (zmiennej) X, H(X|Y) – entropia warunkowa X pod warunkiem Y.

Innymi słowy, $I(X:Y)\;$ dotyczy informacji dostarczonej przez zmienną $Y\;$ o zmiennej $X\;$ .

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera ( $H(X|Y) = 0 \,$ ), ilość przekazanej informacji jest równa entropii źródła $I(X;Y) = H(X) \,$ . Także $I(X;X) = H(X) \,$ (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż $H(X|X) = 0 \,$ .

Przypisy

Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 155
szanon – Encyklopedia PWN
Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156
Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159
A. M. Jagłom, I. M. Jagłom Prawdopodobieństwo i informacja 1963 s. 91