Data Vault 2.0-Implementierung
Es wird oft angenommen, dass Data Vault 2.0 lediglich eine Modellierungstechnik ist. Doch der Ansatz umfasst weit mehr als das: Er ist eine vollständige BI-Lösung, die sich aus agiler Methodik, Architektur, Implementierung und Modellierung zusammensetzt.
Warum also sollten Sie Data Vault nutzen?
- Data Vault 2.0 ermöglicht es Ihnen, automatisierte Ladeprozesse und -muster zu erstellen und Modelle auf einfache Weise zu generieren
- Plattformunabhängigkeit
- Auditierbarkeit (Revisionssicherheit)
- Skalierbarkeit
- Unterstützung von ELT- anstelle von ETL-Prozessen
Nachdem wir das „Warum“ beantwortet haben, fragen Sie sich vielleicht, welche Schritte erforderlich sind, um Data Vault 2.0 in Ihrem Projekt zu implementieren.
Dies hängt von vielen Faktoren ab, wie beispielsweise Ihrem Business Case, der gewünschten Architektur, der Lademethode Ihrer Datenquellen oder dem Sprint-Plan Ihres Projekts.
Schritt-für-Schritt-Anleitung für eine Data Vault 2.0-Implementierung
Für Einsteiger kann es zunächst überwältigend sein, mit der Nutzung von Data Vault 2.0 zu beginnen und zu verstehen, wie und wo die Implementierung ansetzen soll. Dieses Webinar bietet eine grundlegende Anleitung, die die erforderlichen Schritte zeigt, um eine Data Vault 2.0-Implementierung auf Basis einer Geschäftsanforderung von Grund auf zu realisieren. Dies wird anhand eines praktischen Beispiels demonstriert, das von der Erfassung der ersten Anforderungen bis hin zum fertigen, bereitgestellten Produkt reicht.
Feature-by-Feature-Architektur in Data Vault 2.0
Eines ist sicher: Die Architektur sollte vertikal und nicht horizontal aufgebaut werden. Das bedeutet nicht Schicht für Schicht, sondern Feature für Feature.
Ein gängiger Ansatz hierbei ist der Tracer-Bullet-Ansatz. Auf Basis des geschäftlichen Nutzens (Business Value), der durch einen Bericht, ein Dashboard oder einen Information Mart definiert wird, müssen die Quelldaten identifiziert, modelliert und durch alle Schichten der Architektur geladen werden.
Nehmen wir beispielsweise an, die geschäftliche Anforderung bestünde darin, ein Dashboard zur Analyse der Umsätze des Unternehmens zu erstellen:
1. Extract
Zuerst müssen wir die Daten aus den Quellsystemen extrahieren und diese im Originalzustand laden. In diesem Beispiel legen wir sie in einer transienten Staging Area ab, Sie können jedoch ebenso eine persistente Staging Area in einem Data Lake wählen.
2. Transform
Als Nächstes sollten Sie, falls erforderlich, mithilfe eines Transformationstools grundlegende Transformationsregeln (Hard Rules) anwenden. Seien Sie hierbei vorsichtig, da an dieser Stelle noch keine fachlichen Berechnungen (Business Rules) durchgeführt werden sollten. Es gibt viele verschiedene Data-Warehouse-Automatisierungstools, aus denen Sie wählen können: dbt, Coalesce, WhereScape etc.
3. Load
Laden Sie Ihre Daten aus der Staging Area (Raw Stage) in den Raw Vault.
4. Geschäftsanforderungen modellieren
Modellieren Sie die Data Vault-Entitäten, die zur Erfüllung der Geschäftsanforderung benötigt werden. Liegen beispielsweise Verkaufstransaktionen und Kundendaten vor, modellieren wir einen Non-historized Link (auch bekannt als Transactional Link) und einen Customer Hub sowie alle zusätzlichen Satelliten zur Speicherung der beschreibenden Kundendaten, die letztendlich im Sales-Dashboard dargestellt werden sollen.
5. Business Logic anwenden
Als Nächstes müssen einige Berechnungen und Aggregationen durchgeführt werden. Daher erstellen wir die Business Logic auf Basis der Raw-Vault-Entitäten und laden diese in den Business Vault.
6. Einen Information Mart aufbauen
Nun könnten wir die im Raw Vault und Business Vault gespeicherten Daten direkt für Diagramme und Dashboards nutzen. Wir möchten die Daten jedoch so strukturieren, dass sie von den Fachanwendern leicht gelesen und abgerufen werden können. Daher erstellen wir einen Information Mart auf Basis eines Sternschemas (Star Schema) mit einer Faktentabelle (Fact Table) und Dimensionen.
7. Daten visualisieren
Um das Sales-Dashboard in einem BI-Visualisierungstool wie Power BI oder Tableau zu erstellen, rufen wir die Daten direkt aus dem Sternschema im Information Mart ab. Dieser ist über das Data Warehouse angebunden und enthält alle benötigten Informationen.
Data Vault 2.0 bietet einen agilen, skalierbaren und flexiblen Ansatz für die Data-Warehouse-Automatisierung. Wie im Beispiel gezeigt, haben wir nur die Data Vault-Tabellen modelliert, die für die Bewältigung der gestellten Aufgabe – der Erstellung eines Sales-Dashboards – erforderlich waren. Auf diese Weise können Sie Ihre Datenlandschaft bedarfsgerecht skalieren, ohne das gesamte Unternehmen auf einmal abbilden zu müssen
Die Antwort auf die Frage, wie Data Vault 2.0 implementiert werden soll, lässt sich in einer einfachen Phrase zusammenfassen: Fokussieren Sie sich auf den Business Value!
Wenn Sie eine detaillierte Erklärung dieser schrittweisen Implementierung inklusive einer Demonstration mit realen Daten und dbt als Transformationstool sehen möchten, schauen Sie sich gerne unsere Webinar-Aufzeichnung an.
Fazit
Die Implementierung von Data Vault 2.0 folgt einem strukturierten Ansatz, der mit der Extraktion von Daten aus Quellsystemen in eine Staging Area beginnt, gefolgt von den minimal erforderlichen Transformationen und dem Laden in den Raw Vault. Anschließend bestimmen die Geschäftsanforderungen die Modellierung der Data Vault-Entitäten, die Anwendung der Business Logic, den Aufbau von Information Marts und die Datenvisualisierung. Diese Feature-by-Feature-Methodik gewährleistet Skalierbarkeit sowie Flexibilität und ermöglicht es Unternehmen, sich auf die schrittweise Bereitstellung von Business Value zu konzentrieren. Durch die Ausrichtung der Entwicklungsaktivitäten an konkreten geschäftlichen Anforderungen lassen sich Data-Warehouse-Lösungen effizient aufbauen und kontinuierlich erweitern.
