Hybride Architektur in Data Vault 2.0
Business-Anwender erwarten von ihren Data-Warehouse-Systemen, dass sie immer mehr Daten hinsichtlich Vielfalt, Volumen und Geschwindigkeit laden und aufbereiten. Auch die Arbeitslast typischer Data-Warehouse-Umgebungen steigt immer weiter an, insbesondere wenn die erste Version des Warehouses bei den ersten Anwendern ein Erfolg war. Skalierbarkeit hat daher mehrere Dimensionen. Letzten Monat haben wir über Satellites gesprochen, die eine wichtige Rolle bei der Skalierbarkeit spielen. Nun erklären wir, wie Sie strukturierte und unstrukturierte Daten mit einer hybriden Architektur kombinieren.
In this article:
Logische Data-Vault-2.0-Architektur
Die Data-Vault-2.0-Architektur basiert auf drei Schichten: der Staging Area, die die Rohdaten aus den Quellsystemen sammelt, der Enterprise-Data-Warehouse-Schicht, die als Data-Vault-2.0-Modell aufgebaut ist, und der Information-Delivery-Schicht mit Information Marts als Star-Schemata und anderen Strukturen. Die Architektur unterstützt sowohl das Batch-Laden aus Quellsystemen als auch das Laden in Echtzeit über den Enterprise Service Bus (ESB) oder jede andere serviceorientierte Architektur (SOA).
Das folgende Diagramm zeigt die grundlegende logische Data-Vault-2.0-Architektur:
In diesem Fall werden strukturierte Daten aus Quellsystemen zuerst in die Staging Area geladen, um die Systembelastung der operativen Quellsysteme zu minimieren. Anschließend werden sie unverändert in den Raw Data Vault geladen, der die Enterprise-Data-Warehouse-Schicht darstellt. Nachdem die Daten in dieses Data-Vault-Modell (bestehend aus Hubs, Links und Satellites) geladen wurden, werden im Business Vault Business-Regeln auf die Daten des Raw Data Vaults angewendet. Sobald die Business-Logik angewendet wurde, werden die Daten aus dem Raw Data Vault und dem Business Vault zusammengeführt und für die Information Delivery in den Information Marts in das Business-Modell umstrukturiert. Der Business-Anwender nutzt Dashboard- oder Reporting-Anwendungen, um auf die Informationen in den Information Marts zuzugreifen
Die Architektur ermöglicht die Implementierung der Business-Regeln im Business Vault durch eine Kombination verschiedener Technologien, wie beispielsweise SQL-basierte Virtualisierung (typischerweise über SQL-Views) und externe Tools wie Business-Rule-Management-Systeme (BRMS).
Es ist jedoch auch möglich, unstrukturierte NoSQL-Datenbanksysteme über eine hybride Architektur zu integrieren. Aufgrund der Plattformunabhängigkeit von Data Vault 2.0 kann NoSQL für jede Data-Warehouse-Schicht verwendet werden – einschließlich der Staging Area, der Enterprise-Data-Warehouse-Schicht und der Information-Delivery-Schicht. Daher kann die NoSQL-Datenbank als Staging Area genutzt werden, um Daten in die relationale Data-Vault-Schicht zu laden. Sie kann jedoch auch in beide Richtungen über einen gehashten Business Key in die Data-Vault-Schicht integriert werden. In diesem Fall handelt es sich um eine hybride Architekturlösung, bei der die Information Marts Daten aus beiden Umgebungen beziehen.
Hybride Architektur
Die Standard-Data-Vault-2.0-Architektur in Abbildung 1 konzentriert sich auf strukturierte Daten. Da immer mehr Unternehmensdaten semistrukturiert oder unstrukturiert vorliegen, ist es Best Practice für ein neues Enterprise Data Warehouse, eine hybride Architektur auf Basis eines Hadoop-Clusters zu verwenden, wie in der folgenden Abbildung dargestellt:
In dieser modifizierten hybriden Architektur wird die relationale Staging Area durch eine HDFS-basierte Staging Area ersetzt, die sowohl unstrukturierte als auch strukturierte Daten erfasst. Auch wenn die Erfassung strukturierter Daten im HDFS auf den ersten Blick wie ein zusätzlicher Overhead erscheint, verringert diese Strategie die Belastung der Quellsysteme, da sie sicherstellt, dass die Quelldaten unabhängig von strukturellen Änderungen stets extrahiert werden können. Die Daten werden dann mit Apache Drill, Hive External oder ähnlichen Technologien extrahiert.
Zudem ist es möglich, den Raw Data Vault und den Business Vault (die strukturierten Daten im Data-Vault-Modell) in Hive Internal zu speichern.
Fazit
Die Integration einer hybriden Architektur in Data Vault 2.0 ermöglicht es Unternehmen, sowohl strukturierte als auch unstrukturierte Daten durch die Nutzung von Plattformen wie Hadoop effektiv zu verwalten. Dieser Ansatz verbessert die Skalierbarkeit sowie Flexibilität und ermöglicht eine effiziente Datenverarbeitung und -speicherung. Indem traditionelle relationale Staging Areas durch HDFS-basierte Systeme ersetzt werden, können Unternehmen die Belastung der Quellsysteme reduzieren und eine nahtlose Datenextraktion gewährleisten.
