Enterprise Data Warehouses mit Data Vault 2.0
Während Enterprise Data Warehouses (EDWs) traditionell für Reporting und Dashboarding eingesetzt werden, liegt ihr wahres Potenzial in Verbindung mit Data Vault weit jenseits dieser Basisanwendungen. Data Vault 2.0 bietet eine beispiellose Flexibilität und Skalierbarkeit, die es Organisationen ermöglicht, neue Use Cases wie Data Cleansing, die Automatisierung operativer Prozesse und Predictive Analytics erfolgreich umzusetzen. Dieser Artikel untersucht, wie Data Vault 2.0 Unternehmen in die Lage versetzt, zentralisierte Data-Cleansing-Regeln anzuwenden, die Datenqualität direkt an der Quelle zu verbessern und ein Total Quality Management (TQM) zu etablieren. Durch die Nutzung des vollen Potenzials ihrer EDW-Systeme können Organisationen weit über einfache Analysen hinausgehen und nachhaltige, agile sowie wirkungsvolle Datenstrategien entwickeln.
Mit Data Vault 2.0 über das Standard-Reporting hinausgehen
Reporting und Dashboarding sind in der heutigen Geschäftswelt der Standard, um KPIs und andere wichtige Kennzahlen zu ermitteln. Entsprechend wurden Enterprise Data Warehouses primär zur Unterstützung dieser Reporting-Prozesse konzipiert. Angesichts der wachsenden Datenmenge und -vielfalt steigt jedoch der Bedarf an Methoden, die diese Daten so nutzen, dass sie einen echten geschäftlichen Mehrwert generieren. Data Vault 2.0 bietet hierfür ein breites Spektrum an Ansätzen, um fundierte Entscheidungen jenseits des Standard-Reportings zu unterstützen und zukunftsgerichtete, geschäftskritische Erkenntnisse zu liefern. Begleiten Sie uns auf diesem Weg und erfahren Sie, wie Sie das volle Potenzial Ihrer Daten ausschöpfen können.
Flexibilität und Skalierbarkeit
Einfach ausgedrückt führt ein Enterprise Data Warehouse (EDW) Daten aus internen sowie externen Datenquellen zusammen, um sie für Reporting- und Dashboarding-Zwecke bereitzustellen. Häufig werden diese Daten analytischen Transformationen unterzogen, um Berichte und Dashboards aussagekräftiger und wertvoller zu gestalten. Dennoch übersehen viele Organisationen beim Aufbau eines Data Warehouses weitere wertvolle Use Cases. Tatsache ist, dass EDWs ein enormes ungenutztes Potenzial bieten, das weit über das bloße Reporting historischer Daten hinausgeht. Um diese Möglichkeiten agil zu erschließen, bringt Data Vault ein Höchstmaß an Flexibilität und Skalierbarkeit mit.
Data Vault Use Cases
Zu Beginn wird ein Data Warehouse oft nur dazu genutzt, Daten zu sammeln und für Reporting- und Dashboarding-Zwecke aufzubereiten. Wird das EDW jedoch auf diese grundlegenden Use Cases beschränkt, bleibt ein Großteil des eigentlichen Datenwerts ungenutzt.
Dabei lässt sich über ein Data Warehouse eine Vielzahl innovativer Use Cases realisieren. Dazu gehören die Optimierung und Automatisierung operativer Prozesse, vorausschauende Analysen, das Zurückspielen von Daten in operative Systeme oder das Auslösen von Ereignissen außerhalb des Data Warehouses – um nur einige der neuen Möglichkeiten zu nennen.
Data Cleansing (innerhalb eines operativen Systems)
Bei Data Vault wird strikt zwischen Raw Data (Rohdaten) und Business Data (Geschäftsdaten) unterschieden. Entsprechend werden Raw Data im Raw Data Vault und Business Data im Business Vault gespeichert. Im Data Vault 2.0 dient der Raw Data Vault dazu, Daten ungefiltert und im Originalzustand aus dem Quellsystem zu speichern – inklusive aller fehlerhaften oder unvollständigen Datensätze („the good, bad, and ugly data“). Der Business Vault hingegen kann jede gewünschte geschäftliche Logik abbilden, wie beispielsweise die Berechnung des Gewinns auf Basis einer vom Information Subscriber definierten Business Rule.
Für Reporting- und Dashboarding-Zwecke werden typischerweise Data-Cleansing-Regeln angewendet, um Daten für die jeweilige Analyse nutzbar zu machen und so Raw Data in wertvolle Informationen zu transformieren. Diese Business Rules für das Data Cleansing können jedoch auch genutzt werden, um bereinigte Daten direkt in die operativen Systeme zurückzuschreiben. Idealerweise werden diese Business Rules über virtualisierte Tabellen und Views innerhalb des Business Vaults angewendet. Die bereinigten Daten können anschließend in das operative System zurückgespielt werden. Dies ermöglicht die Implementierung eines Total Quality Managements (TQM), bei dem Fehler direkt an der Quelle – also meist im Quellsystem selbst – behoben werden.
Die Nutzung des EDW für das Data Cleansing bietet entscheidende Vorteile. Spezialisierte Data-Cleansing-Tools stoßen beispielsweise oft bei komplexen Skripten an ihre Grenzen, da sie meist nur mit vordefinierten Listen (z. B. für Ländernamen) arbeiten, um ausgewählte Attribute zu bereinigen. Zudem sind diese Tools meist darauf ausgelegt, Daten aus nur einem einzigen operativen Quellsystem zu bereinigen, wodurch Inkonsistenzen zwischen verschiedenen Systemen unberücksichtigt bleiben.
Aus Data-Vault-Perspektive sind Data-Cleansing-Regeln gewöhnliche Business Rules. Das bedeutet, dass sie mithilfe von Business Satellites implementiert werden, oft unter Verwendung von Reference Tables. Die folgende Abbildung zeigt ein Beispiel für Data Cleansing auf Basis einer Data-Vault-2.0-Architektur, wie sie intern bei Scalefree eingesetzt wird.
Das Scalefree-EDW dient als zentrale Bibliothek für Data-Cleansing-Regeln, die sowohl im EDW selbst als auch in verschiedenen operativen Systemen genutzt werden können. Der gezeigte Data-Cleansing-Prozess wird unter anderem zur Bereinigung von Kundendatensätzen sowie zur Standardisierung von Telefonnummern und Adressen verwendet. Neben den Information Marts existiert der Interface Mart „Sales Interface“, der die API des Vertriebs-Quellsystems bedient und Data-Cleansing-Regeln aus dem Business Data Vault anwendet. Ein zeitgesteuertes Skript überträgt die Daten aus dem Interface Mart an die API des Quellsystems. In diesem Fall ist das Skript in Python geschrieben.
Ein wesentlicher Erfolgsfaktor dieses Prozesses ist die ordnungsgemäße Dokumentation der Data-Cleansing-Regeln. Eine interne Wissensdatenbank dient dazu, die Dokumentation jeder einzelnen Data-Cleansing-Regel zentral zu pflegen. So kann jeder beteiligte Mitarbeiter sofort nachvollziehen, welche Regel auf die operativen Daten angewendet wird. Dies bietet auch für Business-Anwender einen echten Mehrwert, da sie nachvollziehen können, warum ihre Daten über Nacht korrigiert wurden.
Fazit
Dank der Flexibilität von Data Vault können Organisationen Potenziale erschließen, die weit über klassisches Reporting und Dashboarding hinausgehen. So lässt sich das Data Warehouse nutzen, um Data Cleansing direkt in den operativen Systemen auf Basis zentralisierter Bereinigungsregeln durchzuführen.
Wenn Sie mehr über Data Vault Use Cases und die neuesten Markttrends erfahren möchten, bietet das World Wide Data Vault Consortium (WWDVC) die ideale Plattform. Hier haben Sie die Möglichkeit, sich mit den führenden Experten der Branche auszutauschen. Dieses Jahr findet die Konferenz vom 9. bis 13. September erstmals in Hannover statt
Dort spricht Ivan Schotsmans über das Thema „Information Quality in the Data Warehouse“. Er zeigt auf, wie sich aktuelle und zukünftige Herausforderungen moderner Data-Warehouse-Architekturen bewältigen lassen, wie der Übergang zu einem agilen Ansatz gelingt und wie die Einbindung der Fachbereiche (Business) gestärkt werden kann. Sichern Sie sich noch heute Ihr Ticket und registrieren Sie sich, um diesen Vortrag sowie weitere spannende Präsentationen von WhereScape, VaultSpeed und vielen anderen führenden Anbietern und Referenten nicht zu verpassen!
