Sieć neuronowa - Polski Serwis Naukowy

Uproszczony schemat jednokierunkowej sieci neuronowej. Poszczególne "kółka" oznaczają sztuczne neurony.

Sieć neuronowa (sztuczna sieć neuronowa) – ogólna nazwa struktur matematycznych i ich programowych lub sprzętowych modeli, realizujących obliczenia lub przetwarzanie sygnałów poprzez rzędy elementów, zwanych sztucznymi neuronami, wykonujących pewną podstawową operację na swoim wejściu. Oryginalną inspiracją takiej struktury była budowa naturalnych neuronów, łączących je synaps, oraz układów nerwowych, w szczególności mózgu.

Synteza mowy – polega na mechanicznej zamianie tekstu zapisanego w postaci znakowej na wypowiedź (mowę) w postaci dźwiękowej. Maszynę lub program komputerowy zamieniający tekst na mowę określa się mianem syntezatora mowy. W zależności od syntezatora, możemy uzyskać bardzo dokładną wymowę także słów nietypowych, literowanie różnych skrótów, odczytywanie liczb w tym również ułamków oraz odczytywanie dat poprzez dekomponowanie liczb. Syntezatory mowy mają wiele zastosowań. Pozwalają na zautomatyzowanie informowania bądź alarmowania użytkownika, są pomocne przy nauce języków obcych oraz tłumaczeniach, mogą także np. odczytywać dokumenty pisane alfabetem Brailla.
Maszyna wektorów nośnych (ang. Support vector machine, SVM) — klasyfikator, którego nauka ma na celu wyznaczenie hiperpłaszczyzny rozdzielającej z maksymalnym marginesem przykłady należące do dwóch klas.

Czasem nazwą sztuczne sieci neuronowe określa się interdyscyplinarną dziedzinę wiedzy zajmującą się konstrukcją, trenowaniem i badaniem możliwości tego rodzaju sieci.

Typy sieci neuronowych

Cechą wspólną wszystkich sieci neuronowych jest to, że na ich strukturę składają się neurony połączone ze sobą synapsami. Z synapsami związane są wagi, czyli wartości liczbowe, których interpretacja zależy od modelu.

Sieci jednokierunkowe

Sieci jednokierunkowe to sieci neuronowe, w których nie występuje sprzężenie zwrotne, czyli pojedynczy wzorzec lub sygnał przechodzi przez każdy neuron dokładnie raz w swoim cyklu. Najprostszą siecią neuronową jest pojedynczy perceptron progowy, opracowany przez McCullocha i Pittsa w roku 1943.

Graf to – w uproszczeniu – zbiór wierzchołków, które mogą być połączone krawędziami, w taki sposób, że każda krawędź kończy się i zaczyna w którymś z wierzchołków (ilustracja po prawej stronie). Grafy to podstawowy obiekt rozważań teorii grafów. Za pierwszego teoretyka i badacza grafów uważa się Leonarda Eulera, który rozstrzygnął zagadnienie mostów królewieckich.
Sieci radialne są odmianą iteracyjnych sztucznych sieci neuronowych. W radialnych s.s.n. odwzorowanie zbioru wejściowego w wyjściowy jest realizowane przez dopasowanie wielu pojedynczych funkcji aproksymujących do wartości zadanych, ważne jedynie w wąskim obszarze przestrzeni wielowymiarowej.

W bardziej zaawansowanych rozwiązaniach stosuje się funkcje przejścia. Najpopularniejszą klasę funkcji stosowanych w sieciach neuronowych stanowią funkcje sigmoidalne, np. tangens hiperboliczny. Sieć zbudowana z neuronów wyposażonych w nieliniową funkcję przejścia ma zdolność nieliniowej separacji wzorców wejściowych. Jest więc uniwersalnym klasyfikatorem.

Sieć Kohonena jest jednym z najbardziej znanych typów sieci neuronowych uczonej w trybie bez nauczyciela. Jest siecią o bardzo prostej strukturze – posiada tylko dwie warstwy, a przepływ informacji w tej sieci jest ściśle jednokierunkowy. Mimo prostej budowy i nieskomplikowanych metod określających sposób jej funkcjonowania, możliwości aplikacyjne tego typu modelu są olbrzymie.
Neuron – rodzaj komórek występujących w układzie nerwowym. Najwięcej neuronów znajduje się w ośrodkowym układzie nerwowym. Neurony składają się z ciała komórki (perikarion albo soma) oraz wypustek cytoplazmatycznych: dendryty i akson, za pomocą których wytwarzają połączenia z innymi neuronami, bądź komórkami efektorowymi (wykonawczymi). Połączenie między komórkami nerwowymi zwane jest synapsą.

Do uczenia perceptronów wielowarstwowych stosuje się algorytmy spadku gradientowego, między innymi algorytm propagacji wstecznej.

Sieci jednokierunkowe dzielą się na jednowarstwowe, dwuwarstwowe i wielowarstwowe. Sieci jednowarstwowe mogą rozwiązać jedynie wąską klasę problemów. Sieci dwu i wielowarstwowe mogą rozwiązać znacznie szerszą klasę i są pod tym względem równoważne, jednak stosuje się do nich inne algorytmy uczenia (dla wielowarstwowych są one prostsze).

Układ nerwowy (łac. systema nervosum; ang. nervous system) - u organizmów wielokomórkowych jest to wyspecjalizowany zbiór komórek charakteryzujących się zdolnością do generowania specyficznych sygnałów, jakie mogą zostać przekazane innym komórkom nerwowym, bądź komórkom mięśniowym lub gruczołom i jakie mogą wywołać u odbiorcy określone zmiany. Istotnym elementem sygnału komórek nerwowych jest impuls elektrochemiczny. Niektóre komórki cechują się możliwością generowania i przenoszenia sygnałów na skutek oddziaływań mechanicznych, pod wpływem promieniowania elektromagnetycznego, czy też w wyniku kontaktu z określonymi substancjami chemicznymi. Inne zaś potrafią przenosić sygnały do komórek mięśniowych, które na skutek tych sygnałów dokonują skurczu. Tym samym, zbiór komórek nerwowych, będący częścią bardziej złożonego systemu (np. jakiegoś organu, narządu, lub w ogóle organizmu jako całości), zapewnia możliwość reagowania tego systemu na zmiany zachodzące w jego otoczeniu.
Maszyna wektorów nośnych (ang. Support vector machine, SVM) — klasyfikator, którego nauka ma na celu wyznaczenie hiperpłaszczyzny rozdzielającej z maksymalnym marginesem przykłady należące do dwóch klas.

Sieci rekurencyjne

Mianem sieci rekurencyjnej określa się sieć, w której połączenia między neuronami stanowią graf z cyklami. Wśród różnorodności modeli rekurencyjnych sztucznych sieci neuronowych wyróżnić można:

sieć Hopfielda – układ gęsto połączonych ze sobą neuronów (każdy z każdym, ale bez połączeń zwrotnych) realizującą dynamikę gwarantującą zbieżność do preferowanych wzorców

maszyna Boltzmanna – opracowana przez Geoffa Hintona i Terry'ego Sejnowskiego stochastyczna modyfikacja sieci Hopfielda; modyfikacja ta pozwoliła na uczenie neuronów ukrytych i likwidację wzorców pasożytniczych kosztem zwiększenia czasu symulacji.

Sieci Hopfielda i maszyny Boltzmanna stosuje się jako pamięci adresowane kontekstowo, do rozpoznawania obrazów, rozpoznawania mowy, a także do rozwiązywania problemów minimalizacji (np. problemu komiwojażera).

Sieci asocjacyjne - zwane sieciami Hopfielda, to taka klasa sieci rekurencyjnych, które dają możliwość rekonstrukcji i rozpoznawania wcześniej zapamiętanych wzorców na podstawie skojarzeń, bazując na dostępnym fragmencie wzorca lub wzorca podobnego do niego.
Sprzężenie zwrotne (ang. feedback) - oddziaływanie sygnałów stanu końcowego (wyjściowego) procesu (systemu, układu), na jego sygnały referencyjne (wejściowe). Polega na otrzymywaniu przez układ informacji o własnym działaniu (o wartości wyjściowej). Matematycznym, jednoznacznym opisem bloku gałęzi zwrotnej jest transmitancja. Informacja ta może być modyfikowana przez transmitancję bloku gałęzi zwrotnej.

Samoorganizujące się mapy

Osobny artykuł: Sieć Kohonena.

Samoorganizujące się mapy (Self Organizing Maps, SOM), zwane też sieciami Kohonena, to sieci neuronów, z którymi są stowarzyszone współrzędne na prostej, płaszczyźnie lub w dowolnej n-wymiarowej przestrzeni.

Uczenie tego rodzaju sieci polega na zmianach współrzędnych neuronów, tak, by dążyły one do wzorca zgodnego ze strukturą analizowanych danych. Sieci zatem "rozpinają się" wokół zbiorów danych, dopasowując do nich swoją strukturę.

Struktura matematyczna - zbiór obiektów matematycznych połączonych w pewien system. Często można się spotkać z innymi nazwami struktury matematycznej, na przykład: model, system semantyczny, model semantyczny, dziedzina, struktura pierwszego rzędu.
Ropa naftowa (olej skalny, czarne złoto) – ciekła kopalina, złożona z mieszaniny naturalnych węglowodorów gazowych, ciekłych i stałych (bituminów), z niewielkimi domieszkami azotu, tlenu, siarki i zanieczyszczeń. Ma podstawowe znaczenie dla gospodarki światowej jako surowiec przemysłu chemicznego, a przede wszystkim jako jeden z najważniejszych surowców energetycznych.

Sieci te stosowane są do klasyfikacji wzorców, np. głosek mowy ciągłej, tekstu, muzyki. Do najciekawszych zastosowań należy rozpinanie siatki wokół komputerowego modelu skanowanego obiektu.

Inne

Popularnymi modelami są również maszyny wektorów wspierających (SVM), sieci oparte na radialnych funkcjach bazowych (sieci radialne, RBF) i sieci przesyłające żetony (ang. counter-propagation neural networks). Stosunkowo nowym modelem są sieci oparte na neuronach impulsujących.

Propagacja wsteczna - podstawowy algorytm uczenia z nauczycielem wielowarstwowych jednokierunkowych sieci neuronowych. Podaje on przepis na zmianę wag dowolnych połączeń elementów przetwarzających rozmieszczonych w sąsiednich warstwach sieci. Oparty jest on na minimalizacji sumy kwadratów błędów uczenia z wykorzystaniem optymalizacyjnej metody największego spadku. Dzięki zastosowaniu specyficznego sposobu propagowania błędów uczenia sieci powstałych na jej wyjściu, tj. przesyłania ich od warstwy wyjściowej do wejściowej, algorytm propagacji wstecznej stał się jednym z najskuteczniejszych algorytmów uczenia sieci.
Synapsa – miejsce komunikacji błony kończącej akson z błoną komórkową drugiej komórki — nerwowej lub komórki efektorowej (wykonawczej) np. mięśniowej lub gruczołowej.

czytaj dalej: [2], [3]

w oparciu o Wikipedię (licencja GFDL, CC-BY-SA 3.0, autorzy, historia, edycja)