Hurtownia danych - Polski Serwis Naukowy

Hurtownia danych (ang. data warehouse) – rodzaj bazy danych, która jest zorganizowana i zoptymalizowana pod kątem pewnego wycinka rzeczywistości.

Hurtownia danych jest wyższym szczeblem abstrakcji niż zwykła relacyjna baza danych (choć do jej tworzenia używane są także podobne technologie). W skład hurtowni wchodzą zbiory danych zorientowanych tematycznie (np. hurtownia danych klientów). Dane te często pochodzą z wielu źródeł, są one zintegrowane i przeznaczone wyłącznie do odczytu.

Ralph Kimball jest uważany za jednego z pierwszych twórców hurtowni danych, znany z przekonania, że hurtownie danych powinny być projektowane w sposób szybki i zrozumiały. Jego metodologia, zwana modelowaniem przestrzennym (metodologia Kimballa) stała się standardem w dziedzinie wspomagania decyzji. Do tej pory Ralph jest autorem ponad 100 artykułów i kolumn dla Intelligent Enterprise, zdobywając nagrodę Readers Choice pięć lat z rzędu. Jest również autorem wielu książek o narzędziach i cyklach życia hurtowni danych, które stały się bestsellerami w tej tematyce.
Tabela w bazach danych jest wydzielonym logicznie zbiorem danych, zorganizowanych w formie tabeli składającej się z wierszy dzielonych na kolumny. Jest to obiekt teoretyczny i nie należy go mylić z jej graficzną reprezentacją, czy miejscem zajmowanym w pamięci komputera. W zależności od typu bazy danych wewnętrzna organizacja podziału danych na kolumny i wiersze jest różna i często umowna.

W praktyce hurtownie są bazami danych integrującymi dane z wszystkich pozostałych systemów bazodanowych w przedsiębiorstwie. Ta integracja polega na cyklicznym zasilaniu hurtowni danymi systemów produkcyjnych (może być tych baz lub systemów dużo i mogą być rozproszone).

Architektura bazy hurtowni jest zorientowana na optymalizację szybkości wyszukiwania i jak najefektywniejszą analizę zawartości. Stąd bywa, że hurtownie danych nie są realizowane za pomocą relacyjnych baz danych, gdyż takie bazy ustępują szybkością innym rozwiązaniom.

OLAP (ang. OnLine Analytical Processing) – oprogramowanie wspierające podejmowanie decyzji, które pozwala użytkownikowi analizować szybko informacje zawarte w wielowymiarowych widokach i hierarchiach. Narzędzia OLAP są często używane do wykonywania analiz trendów sprzedaży, czy też analiz finansowych (hurtownia danych). Są też przydatne do wstępnego przeglądania zbioru danych przez analityka we wstępnej fazie analiz statystycznych.
OSI (ang. Open System Interconnection) lub Model OSI (pełna nazwa ISO OSI RM, ang. ISO OSI Reference Model – model odniesienia łączenia systemów otwartych) – standard zdefiniowany przez ISO oraz ITU-T opisujący strukturę komunikacji sieciowej.

W praktyce w ramach architektury hurtowni wyróżniany jest poziom danych detalicznych oraz warstwa agregatów/kostek tematycznych.

Użytkownicy końcowi hurtowni, czyli najczęściej zarząd firmy, korzystają z danych hurtowni poprzez różne systemy wyszukiwania danych (np. Online Analytical Processing (OLAP)).

Hurtownia danych stanowi zatem rozbudowaną bazę danych, przechowującą olbrzymią ilość danych zbieranych w czasie. Dodatkowo zakłada się, że przeprowadzane na danych operacje mają charakter analityczny (wyszukiwanie i analiza). Nie stosuje się więc typowych transakcji. Ze względu na ilość i tematykę danych przeprowadzane analizy mogą polegać na szukaniu trendów, zależności, wzorców, itp. Stosowana tu eksploracja danych (ang. data mining) wyszukuje ogólne formy wiedzy z olbrzymiej ilości danych. Przeprowadzane na hurtowniach danych wyszukiwania mają najczęściej charakter wielowymiarowy – nie ograniczają się bowiem tylko do jednej tabeli, lecz korzystają z wielu relacji. Przechowywane dane w hurtowni są tematycznie spójne (dotyczą konkretnego problemu, lub instytucji – np. szpitala) oraz zintegrowane, co najczęściej cechuje się centralizacją przechowywania danych (wszelkie dane są przechowywane w jednym miejscu). Istnieją również zawężone tematycznie hurtownie danych (np. do jednego oddziału szpitala, lub kliniki) nazywane minihurtowniami danych (z ang. data mart). Minihurtownie mogą istnieć jako oddzielne jednostki lub stanowić element hurtowni danych.

ERP (ang. Enterprise Resource Planning), Planowanie Zasobów Przedsiębiorstwa (chętniej tłumaczone przez producentów jako Zaawansowane Zarządzanie Zasobami) – określenie klasy systemów informatycznych służących wspomaganiu zarządzania przedsiębiorstwem lub współdziałania grupy współpracujących ze sobą przedsiębiorstw, poprzez gromadzenie danych oraz umożliwienie wykonywania operacji na zebranych danych.
Planowanie zapotrzebowania materiałowego (ang. Material Requirements Planning (MRP)) - jest to zbiór procesów do wyznaczania zapotrzebowań na zasoby materiałowe (surowce, materiały, komponenty, itp.). Miały one za zadanie obliczyć dokładną ilość materiałów i terminarz dostaw w taki sposób, by sprostać ciągle zmieniającemu się popytowi na poszczególne produkty. Techniki te często wspomagane są odpowiednimi systemami informatycznymi.

Historia

Koncepcja hurtowni danych sięga końca lat 1980, kiedy dwóch naukowców IBM Barry Devlin i Paul Murphy stworzyło "hurtownię danych biznesowych".

Pomysł powstania hurtowni danych był skierowany do środowisk wspierających podejmowanie decyzji, które do tej pory funkcjonowały samodzielnie.

Koncepcja ta miała na celu dostarczyć model architektury przepływu dużych ilości danych oraz rozwiązać związane z tym problemy: wysokie koszty przetwarzania i brak możliwości wyciągania wniosków.

Transakcja - zbiór operacji na bazie danych, które stanowią w istocie pewną całość i jako takie powinny być wykonane wszystkie lub żadna z nich. Warunki jakie powinny spełniać transakcje bardziej szczegółowo opisują zasady ACID (Atomicity, Consistency, Isolation, Durability - Atomowość, Spójność, Izolacja, Trwałość).
Model relacyjny – model organizacji danych bazujący na matematycznej teorii mnogości, w szczególności na pojęciu relacji. Na modelu relacyjnym oparta jest relacyjna baza danych (RDBMS ang. Relational Database Management Systems) – baza danych, w której dane są przedstawione w postaci relacyjnej.

Miały ułatwić ten proces, maksymalnie go zoptymalizować i uprościć działania na danych historycznych a jednocześnie uczynić go przyjaznym dla użytkownika.

Kluczowe wydarzenia w początkowych latach wprowadzenia hurtowni danych to:

1960 – General Mills i Dartmouth College, w ramach wspólnego projektu badań, wprowadzają i zaczynają rozwijać terminy: wymiary i fakty.

1970 – ACNielsen i IRI przystosowują data marty dla sprzedawców detalicznych.

1970 – Bill Inmon wprowadza i zaczyna omawiać termin: hurtownie danych.

1983 – Teradata wprowadza system zarządzania bazami danych, zaprojektowany specjalnie dla wsparcia procesu decyzyjnego.

1988 – Barry Devlin i Paul Murphy publikują artykuł Architektura dla biznesu i systemów informatycznych w IBM Systems Journal; wprowadzają termin "hurtownia danych biznesowych".

1990 – Daniel Linstedt zaczyna prace nad stworzeniem modelu danych i metodologii Vault dla hurtowni danych.

1990 – Red Brick Systems wprowadza Red Brick Warehouse – unikatowy system zarządzania bazą danych dla hurtowni danych.

1991 – Prism Solutions wprowadza Prism Warehouse Manager, oprogramowanie do tworzenia hurtowni danych.

1991 – Bill Inmon publikuje książkę „Building the Data Warehouse”.

1995 – założony zostaje The Data Warehousing Institute - organizacja komercyjna promująca hurtownie danych.

1995 – Daniel Linstedt dodaje SEI/CMMI i Six Sigma do methodologii Data Vault zarządzania projektami hurtowni danych.

1996 – Ralph Kimbal publikuje książkę „Data Warehouse Toolkit”.

2000 – Daniel Linstedt wydaje „Data Vault”, umożliwiając kontrolowanie hurtowni danych w czasie rzeczywistym.

Cele hurtowni

Hurtownia danych

przetwarzanie analityczne (OLAP)

wspomaganie decyzji (DSS)

archiwizacja danych

analiza efektywności

wsparcie dla systemów CRM (np. poprzez precyzyjne dobieranie strategii marketingowych na podstawie danych o klientach i sprzedaży)

Microsoft SQL Server (MS SQL) to system zarządzania bazą danych, wspierany i rozpowszechniany przez korporację Microsoft. Jest to główny produkt bazodanowy tej firmy, który charakteryzuje się tym, iż jako język zapytań używany jest przede wszystkim Transact-SQL, który stanowi rozwinięcie standardu ANSI/ISO.
Model bazy danych to zbiór zasad (specyfikacji), opisujących strukturę danych w bazie danych. Określane są również dozwolone operacje. Definiuje się strukturę danych poprzez specyfikację reprezentacji dozwolonych w modelu obiektów (encji) oraz ich związków. W informatyce głównymi modelami baz danych są:

czytaj dalej: [2], [3]

w oparciu o Wikipedię (licencja GFDL, CC-BY-SA 3.0, autorzy, historia, edycja)