Raw Data Vault
Diese Frage ist vielleicht so alt wie Data Vault selbst: Kann eine künstliche Intelligenz (KI) den Raw Data Vault generieren? Bis vor Kurzem war die vorherrschende Erwartung in der Branche, dass eine KI – sofern sie überhaupt existiert – bestenfalls Datenmodellierer unterstützen könnte, beispielsweise durch das Identifizieren und Vorschlagen von Business Keys oder das Gestalten einzelner Modellbereiche.
Die Frage entsteht aus einer Notwendigkeit: In der Vergangenheit sind Datenvolumen und Datenvielfalt exponentiell gewachsen. Es gibt keine Anzeichen dafür, dass sich dieses Wachstum in Zukunft verlangsamen wird. Aber wer soll all die Daten analysieren, die für heutige Datenplattformen benötigt werden? Es herrscht bereits ein Mangel an qualifizierten Data Engineers. Diese Situation wird sich in Zukunft weiter verschärfen, da die Zahl der Studierenden an den Universitäten nicht im gleichen Maße steigt.
Generierung des Raw Data Vaults mit Flow.BI und dbt
Wir stellen die Integration zwischen datavault4dbt und Flow.BI vor, die zur Generierung des Raw Data Vaults eingesetzt wird. Flow.BI ist eine künstliche Intelligenz, die in der Lage ist, alle Hubs, Links und Satellites für Unternehmensdaten zu definieren. Dies umfasst die Bestimmung der Business Keys und spezieller Entitätstypen wie Effectivity Satellites, Hierarchical Links, Multi-Active Satellites, Non-Historized Links und Reference Tables. Die Arbeitsteilung ist einfach: Die fortschrittliche KI von Flow.BI definiert den Raw Data Vault mit allen erforderlichen Entitäten, und datavault4dbt generiert den Code – einschließlich der CREATE-TABLE- und INSERT-INTO-Statements sowohl für das Modell als auch für die Ladeprozesse des Raw Data Vaults.
In this article:
- Erwartungen übertroffen mit generativer KI
- Meistern Sie dbt für skalierbare Datenplattformen
- Vereinfachte Modellierung mit Flow.BI
- Ein datengetriebener Ansatz
- Raw Data Vault vs. Business-Logik
- Metadaten für fortgeschrittenes Data Warehousing
- Volle Kontrolle der Anwender über die KI-Modellierung
- Integration mit Data Warehouse Automation
- Mehrwert von Flow.BI
Erwartungen übertroffen mit generativer KI
Mit dem Release von Flow.BI wurde die Erwartung übertroffen, dass nur eine unterstützende KI möglich sei. Flow.BI ist eine generative KI, die den Raw Data Vault vollständig definiert, einschließlich:
- Hubs und ihrer Business Keys
- Links, einschließlich Hierarchical Links
- Satellites, einschließlich der Satellite-Splits für Datenschutz, Sicherheit und Rate-of-Change
- Non-Historized Links und ihrer Satellites
- Effectivity Satellites und Multi-Active Satellites
- Reference Hubs und ihrer Satellites
Meistern Sie dbt für skalierbare Datenplattformen
Neben der Modellstruktur legt die fortschrittliche KI von Flow.BI auch die Ladedefinitionen fest, das heißt die Vorgabe, woher der Business Key eines Hubs oder das Attribut eines Satelliten geladen wird. Dies wird später genutzt, um die INSERT-INTO-Statements zu generieren.
Da all dies automatisiert durch die KI erledigt wird, funktioniert der Prozess auch in großem Maßstab und kann schnell Raw-Data-Vault-Modelle mit Tausenden von Entitäten generieren.
Vereinfachte Modellierung mit Flow.BI
Flow.BI vereinfacht den Modellierungsansatz drastisch: Alles, was Sie als Anwender tun müssen, ist, Datenquellen für die Analyse und das Profiling an Flow.BI anzubinden und den Prozess zu starten. Flow.BI definiert daraufhin mindestens ein gültiges Modell. Um dies zu erreichen, identifiziert die Lösung zuerst die Konzepte in den Entitäten der Datenquellen und anschließend die Business Keys für diese Konzepte. Als Nächstes identifiziert sie die Beziehungen und verarbeitet die beschreibenden Datenattribute in Satellites. Für den letzten Feinschliff fügt der integrierte Natural Language Generator die Dokumentation, Attribute und Ladedefinitionen der Entitäten hinzu.
Anwender können das Zielmodell weiter verfeinern, indem sie die identifizierten Konzepte sowie die Regeln für Datenschutz, Sicherheit und Satellite-Splits anpassen.
Ein datengetriebener Ansatz
Das von Flow.BI definierte Modell folgt einem datengetriebenen Ansatz und entspricht damit der Lehre der Data-Vault-Schulungen von Scalefree.
Bei einem datengetriebenen Ansatz bildet das Data-Vault-Modell die Rohdaten so ab, wie der Fachbereich sie nutzt. Das bedeutet: Der Fokus liegt klar auf den Rohdaten, während Business Keys die Daten über mehrere Datenquellen hinweg integrieren.
Die Idee dahinter ist, dass Business Keys häufig gemeinsam genutzte Schlüssel sind, die in mehreren Quellsystemen existieren und sich daher ideal für Integrationszwecke eignen.
Raw Data Vault vs. Business-Logik
Business-Logik wie WHERE-Bedingungen oder bedingte Logik hat in einem datengetriebenen Raw Data Vault keinen Platz. Ziel des Business Vaults ist es, den Raw Data Vault um genau diese Business-Logik zu erweitern.
Daher enthält das definierte Modell keinerlei Business-Logik, da diese erst später im Business Vault ergänzt wird. Dennoch ist das Raw-Data-Vault-Modell ein integriertes Unternehmensdatenmodell, das sich über alle angebundenen Datenquellen erstreckt.
Metadaten für fortgeschrittenes Data Warehousing
Die von Flow.BI erzeugten Metadaten können nicht nur für die Generierung des Raw Data Vaults verwendet werden, sondern auch für die Staging Area – sei es auf einer relationalen Datenbank oder in einem Data Lake.
Flow.BI generiert den Raw Data Vault nicht eigenständig physisch, sondern definiert ihn logisch. Das bedeutet, es gibt an, welche Hubs, Links und Satellites existieren sollten, um die Daten aus den Quellsystemen zu erfassen. Es erzeugt jedoch nicht direkt die CREATE-TABLE- und INSERT-INTO-Statements für das physische Modell. Stattdessen greift es auf Tools wie dbt über das Paket datavault4dbt zurück, um den Code zu generieren. Flow.BI übergibt die Metadaten des definierten Modells, und datavault4dbt erzeugt den eigentlichen Code.
In diesem Sinne agiert Flow.BI wie ein virtuelles Teammitglied, das die Datenquellen analysiert, profiliert, den Raw Data Vault modelliert und die Metadaten direkt in die SQL-Modelle von dbt einspeist.
Volle Kontrolle der Anwender über die KI-Modellierung
Flow.BI ahmt die Arbeitsweise menschlicher Datenmodellierer nach.
Bedeutet dies jedoch, dass Anwender die Kontrolle an die KI abgeben? Nein. Es gibt viele Möglichkeiten, die KI von Flow.BI zu steuern, um ein optimales Zielmodell zu erstellen. Doch zunächst sollte definiert werden, was ein besseres Modell ausmacht: Weniger Entitäten im Zielmodell? Schnellere Abfragen? Schnelleres Laden? Je nach Zielsetzung kann Flow.BI beispielsweise über die Klassifizierung von Konzepten und die Art der Datenbereitstellung gezielt beeinflusst werden.
Integration mit Data Warehouse Automation
Sobald die Metadaten für den Raw Data Vault definiert sind, werden sie an die Data-Warehouse-Automation-Lösung (DWA) übergeben. Eine der beliebtesten Optionen hierfür ist dbt. Scalefree hat das Open-Source-dbt-Paket datavault4dbt entwickelt, das sich in der Branche wachsender Beliebtheit erfreut.
Um SQL-Modelle für das dbt-Paket zu generieren, nutzt die Integration zwischen Flow.BI und datavault4dbt TurboVault, ein weiteres Open-Source-Paket von Scalefree. TurboVault bietet eine grafische Benutzeroberfläche, die die Metadaten für einen mit datavault4dbt zu generierenden Raw Data Vault aufbereitet.
Sobald die Metadaten für den Raw Data Vault definiert sind, werden sie an die Data-Warehouse-Automation-Lösung (DWA) übergeben. Eine der beliebtesten Optionen hierfür ist dbt. Scalefree hat das Open-Source-dbt-Paket datavault4dbt entwickelt, das sich in der Branche wachsender Beliebtheit erfreut.
Um SQL-Modelle für das dbt-Paket zu generieren, nutzt die Integration zwischen Flow.BI und datavault4dbt TurboVault, ein weiteres Open-Source-Paket von Scalefree. TurboVault bietet eine grafische Benutzeroberfläche, die die Metadaten für einen mit datavault4dbt zu generierenden Raw Data Vault aufbereitet.
Die optimale Lösung besteht darin, die Metadaten von Flow.BI in TurboVault einzuspeisen, um dessen Funktionen voll auszuschöpfen. Sobald die Metadaten geladen sind, generiert TurboVault die SQL-Modelle für datavault4dbt, welches wiederum die Data-Vault-Entitäten und die Ladeprozesse erzeugt.
Um die Integration zwischen Flow.BI und TurboVault zu erleichtern, hat Scalefree einen dedizierten Flow.BI-Konnektor veröffentlicht, der die logischen Datenmodelle aus Flow.BI abruft, transformiert und die automatisierte Generierung Ihres Data Vaults ermöglicht.
Mehrwert von Flow.BI
Flow.BI bietet vielschichtige Vorteile: Zunächst den Kostenvorteil. Die Definition des Modells mithilfe von KI ist weitaus kosteneffizienter als das manuelle Erstellen der Metadaten für datavault4dbt. Zudem sind erfahrene Data-Vault-Experten eine seltene und schwer verfügbare Ressource insbesondere wenn hohe Qualität gefordert ist, was bei Unternehmensdaten stets der Fall sein sollte.
Ein weiterer Vorteil von Flow.BI ist die Agilität: Statt den Raw Data Vault über Monate oder Jahre hinweg manuell zu definieren, berechnet die fortschrittliche KI von Flow.BI das Raw-Data-Vault-Modell innerhalb von Minuten oder wenigen Stunden.
Dies reduziert auch das Projektrisiko erheblich: Bei manuellen Ansätzen besteht das Risiko, nach jahrelanger Arbeit und hohen Investitionen ein unzureichendes Modell zu erhalten. Ein kompletter Neuanfang ist dann meist unrealistisch.
Mit Flow.BI liegen die Ergebnisse hingegen nahezu unverzüglich vor. Sollten Anpassungen nötig sein, können diese direkt vorgenommen werden, oder es steht weiterhin die manuelle Feinjustierung zur Verfügung.
Der beste Schritt für den Einstieg ist daher ein gemeinsamer Proof of Concept oder ein Workshop zu Flow.BI. Contactieren Sie uns gerne für nähere Informationen.