Teoria informacji - Polski Serwis Naukowy

Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo, teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.

Kompresja danych (ang. data compression) – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.

Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.

Historia i charakterystyka teorii informacji

Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) - termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej - właściwość pewnych obiektów, relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności).

Entropia – termodynamiczna funkcja stanu, określająca kierunek przebiegu procesów spontanicznych (samorzutnych) w odosobnionym układzie termodynamicznym. Entropia jest miarą stopnia nieuporządkowania układu. Jest wielkością ekstensywną. Zgodnie z drugą zasadą termodynamiki, jeżeli układ termodynamiczny przechodzi od jednego stanu równowagi do drugiego, bez udziału czynników zewnętrznych (a więc spontanicznie), to jego entropia zawsze rośnie. Pojęcie entropii wprowadził niemiecki uczony Rudolf Clausius.

Ważne pojęcia teorii informacji:

bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło.

Zobacz wyższe jednostki informacji.

entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.

Wzór na entropię to: $H(x)=-\sum_{i=1}^np(i)\log_2 p(i)\,\!$

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.

Informatyka (łac. informatio - "wyobrażenie", "wizerunek", "pomysł", ang. computer science, computing science, information technology, informatics) – dziedzina nauki i techniki zajmująca się przetwarzaniem informacji – w tym technologiami przetwarzania informacji oraz technologiami wytwarzania systemów przetwarzających informacje. Pierwotnie część matematyki, została rozwinięta do osobnej dyscypliny nauki, pozostaje jednak nadal w ścisłym związku z matematyką, która dostarcza jej podstaw teoretycznych.

Matematyka dyskretna - zbiorcza nazwa wszystkich działów matematyki, które zajmują się badaniem struktur nieciągłych, to znaczy zawierających zbiory co najwyżej przeliczalne (czyli właśnie dyskretne).

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

Model statystyczny rzędu N

Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków

model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak

model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki

model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.

Zobacz też

Marian Mazur

Złożoność Kołmogorowa

Bibliografia

Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.

Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.

David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.

Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.

Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, ss. 223.

Linki zewnętrzne

Teoria informacji (materiały dydaktyczne MIMUW na studia informatyczne II stopnia)

Paweł Przybyłowicz "Wstęp do teorii Informacji i kodowania"