Data Warehousing
Ein Data Warehouse ist eine themenorientierte, nicht-volatile, integrierte und zeitvariante Sammlung von Daten zur Unterstützung von Managemententscheidungen
(Inmon, W. H., 2005: Building the Data Warehouse. Indianapolis, Ind.: Wiley).
Data Warehousing bietet die Infrastruktur, die für eine effektive Nutzung von Business Intelligence erforderlich ist. Sein Zweck ist es, Daten aus verschiedenen Quellsystemen zu integrieren und eine historisierte Datenbank bereitzustellen. Durch ein DWH lässt sich ein konsistentes und zuverlässiges Reporting sicherstellen. Eine standardisierte Sicht auf die Daten verhindert Interpretationsfehler, verbessert die Datenqualität und führt zu fundierteren Entscheidungen. Darüber hinaus bietet die Historisierung von Daten zusätzliche Analysemöglichkeiten und garantiert vollständige Revisionssicherheit.
Data Warehousing – Warum wir es brauchen
In diesem Webinar wird näher darauf eingegangen, wie ein Data Warehouse Daten aus verschiedenen Quellen integriert, um Business Intelligence durch eine zentrale, historisierte Datenbank zu unterstützen. Diese Integration gewährleistet ein konsistentes sowie zuverlässiges Reporting, erhöht die Datenqualität und erleichtert die Entscheidungsfindung. Zudem ermöglicht die Speicherung historischer Daten umfassende Analysen und eine lückenlose Revisionssicherheit.
Warum brauchen wir Data Warehousing?
„Warum brauchen wir Data Warehousing für das Reporting? Wir haben doch Excel-Tabellen!“
Excel ist unbestreitbar ein hervorragendes Werkzeug, allerdings führt seine unkontrollierte Nutzung häufig dazu, dass Sie den Überblick über Ihre Daten und Berichte verlieren.
Sie können Berichte zwar direkt aus einer einzelnen Datenquelle erstellen, sind dabei jedoch in Funktionsumfang und Governance stark eingeschränkt. Zudem lassen sich Berichte so nur aus einem einzigen Quellsystem generieren, ohne dass eine delta-getriebene Historisierung der Daten stattfindet. Wenn Sie Berichte direkt im Quellsystem erstellen und lokal auf einem PC speichern, lässt sich nicht mehr nachvollziehen, welcher Benutzer zu welchem Zeitpunkt welche Daten extrahiert hat. Dadurch verlieren die Berichte ihre Verlässlichkeit. Genau hier setzt Data Warehousing an.
Stellen Sie sich vor, Ihr Ziel ist es, ein Dashboard für Umsatzerlöse auf der Grundlage von Zeitverläufen, Kundengruppen, Produkten und Regionen zu erstellen. Ohne ein DWH müssen Sie sämtliche Daten manuell aus allen erforderlichen Quellsystemen zusammentragen. Bei diesen Daten handelt es sich meist um eine Mischung aus strukturierten, unstrukturierten und semistrukturierten Formaten. Die Herausforderung besteht anschließend darin, die Daten aufzubereiten, zu visualisieren und einen dauerhaft reproduzierbaren Prozess zu etablieren. Das ist äußerst zeitintensiv und kostspielig.
Bis alle Daten gesammelt und aufbereitet sind, können sie bereits veraltet sein – und der Prozess beginnt von vorn.
Ein DWH führt sämtliche Daten an einem zentralen Ort zusammen. Die Daten werden fachlich ausgerichtet (integriert und themenorientiert) und mit standardisierten Definitionen versehen (z. B. für KPIs), sodass jeder Bericht die Informationen auf dieselbe Weise interpretiert. Der Zugriff auf das DWH erfolgt rein lesend (nicht-volatil): Einmal geladene Daten können nicht mehr manuell verändert werden, was die Revisionssicherheit garantiert. Dies ermöglicht eine vollständige Historisierung (zeitvariant). Da alle Daten geordnet bereitstehen, lassen sich die Anforderungen der Anwender gezielt erfüllen (strukturierte, nach Fachbegriffen integrierte Daten). Für Fachanwender eröffnet dies zudem die Möglichkeit, Self-Service-BI effektiv zu nutzen.
Was ist mit einem Data Lake?
Als der Begriff „Data Lake“ vor einigen Jahren aufkam, wurde vielfach angenommen, er würde das Data Warehouse vollständig ersetzen.
Ein Data Lake ist eine hervorragende Umgebung, wenn er als erste Landing-Zone für Daten in der IT-Infrastruktur dient. Allerdings integriert er Daten nicht in der Weise, wie es ein Data Warehouse tut.
Ein Data Lake kann genutzt werden, um Daten downstream in ein Data Warehouse sowie in einen Informationsbereitstellungsbereich (Information Delivery Area) weiterzuverarbeiten. An dieser Stelle ist eine klare Struktur essenziell, damit sich Ihr Data Lake nicht in einen unstrukturierten Data Dump verwandelt und benötigte Daten jederzeit mühelos abgefragt werden können.
Dafür ist ein durchdachtes Architekturdesign erforderlich, das genau festlegt, wie Daten aus dem Data Lake in das Data Warehouse überführt werden. Je nach Datenmenge und erforderlicher Performance für die Endnutzer kann dieser Prozess auch vollständig virtualisiert ablaufen.
Für Data Scientists ist ein Data Lake ebenfalls ein idealer Ort, um schnellstmöglich Zugriff auf Rohdaten in ihrem nativen Format zu erhalten. Für Endnutzer hingegen, die strukturierte Daten für Reporting-, Dashboarding- und Analysezwecke benötigen, ist ein strukturiertes, integriertes, leistungsstarkes und leicht zugängliches Data Warehouse unverzichtbar. Sie erwarten aufbereitete Daten in einem Information Mart, etwa in Form eines Star-Schemas oder einer breiten Denormalisierungstabelle.
Fazit: Wenn Sie einen Data Lake nutzen möchten, definieren Sie im Vorfeld, in welcher Form die Daten für die Weiterverarbeitung benötigt werden, um die passende Struktur zu schaffen. Wenn Sie keine integrierten, themenorientierten und zeitvarianten Daten benötigen, kann ein Data Lake allein ausreichen. Benötigen Sie jedoch genau diese Eigenschaften, führt an einem Data Warehouse kein Weg vorbei.
Wie funktioniert Data Warehousing?
Der Prozess beginnt mit dem ETL-Verfahren (Extract, Transform, Load). Dabei werden die Daten aus den Quellsystemen extrahiert und in eine technische Zwischenumgebung der DWH-Infrastruktur geladen, die sogenannte Staging Area. Nach dem Extrahieren werden die Daten in eine themenorientierte Struktur integriert. Das Ergebnis ist ein Enterprise Data Warehouse (EDW), das Daten und Informationen exakt so bereitstellt, wie sie für die Endnutzung benötigt werden.
Für den Aufbau eines Data Warehouse stehen verschiedene Modellierungsansätze zur Verfügung. Die 3NF (dritte Normalform) wurde von Bill Inmon entwickelt und folgt einem Top-down-Ansatz. Das Dimensional Modeling nach Kimball orientiert sich hingegen stärker an den konkreten Geschäftsprozessen (Bottom-up-Ansatz). Data Vault 2.0 ist ein von Dan Linstedt entwickeltes Hybridmodell aus 3NF und dimensionaler Modellierung. Bei Scalefree haben wir uns auf die Data-Vault-2.0-Modellierung spezialisiert.
Data-Warehousing-Referenzarchitektur
Fazit
Wenn Unternehmen ein EDW lediglich für grundlegende Standardberichte nutzen, schöpfen sie das volle Potenzial ihrer Daten nicht aus. Mit einem modernen Data Warehouse lässt sich eine Vielzahl erweiterter Anwendungsfälle realisieren – beispielsweise die Optimierung und Automatisierung operativer Prozesse, prädikative Analysen, das Rückspielen von Daten in operative Systeme oder das Auslösen automatisierter Ereignisse außerhalb des Data Warehouse.
Data-Vault-2.0-Anwendungsfälle
Data Warehousing ist die ideale Lösung, um alle internen und externen Datenquellen zentral zusammenzuführen. Die Standardisierung strukturierter, unstrukturierten und semistrukturierten Daten ermöglicht ein schnelleres und verlässlicheres Reporting. Die Historisierung erlaubt tiefergehende Analysen sowie die exakte Rekonstruktion historischer Berichte. Dank der Flexibilität von Data Vault 2.0 können Unternehmen innovative Funktionen nutzen, die weit über klassisches Reporting und Dashboarding hinausgehen.
Möchten Sie mehr über die Anwendungsfälle von Data Vault 2.0 und moderne Datentechnologien erfahren? In unserem Blog, unserem Newsletter und unseren Webinaren bieten wir Ihnen ein breites Spektrum an kostenfreiem Fachwissen. Melden Sie sich gerne für unsere regelmäßigen Updates an.
