Datenqualität als Basis für fundierte Entscheidungsfindung
Bei unternehmerischen Entscheidungen ist die Datenqualität ein wesentlicher Erfolgsfaktor. Ein direkter Zugriff auf Daten sowie die Gewissheit über deren hohe Qualität können die Unternehmensleistung erheblich steigern. Die Realität zeigt jedoch häufig mangelhafte Daten in operativen Systemen. Grund dafür sind menschliche Fehler wie Tippfehler, die Missachtung von Standards, Duplikate oder fehlende Eingabevalidierungen – beispielsweise nicht deklarierte Pflichtfelder oder nicht definierte Referenzen zwischen Entitäten (Primary-Foreign-Key-Constraints).
In this article:
Datenqualität in Data Vault 2.0
In Systemen zur Entscheidungsunterstützung erwarten Fachanwender im weiteren Verlauf der Datenverarbeitung (downstream) stets qualitativ hochwertige Daten. Die Wahrnehmung von Datenqualität kann jedoch subjektiv sein: Was für eine Fachabteilung als fehlerhaft gilt, stellt für eine andere womöglich wertvolle Informationen dar. Aus diesem Grund werden beim Laden eines Data Warehouse grundsätzlich alle Daten erfasst, ohne Daten zu verwerfen („leave nothing behind“). Das Data Warehouse sollte stets sowohl eine „Single Version of Facts“ als auch „Versions of the Truth“ bereitstellen. In Data Vault 2.0 wird dies durch den Raw Data Vault und den Business Vault abgebildet. Um dies zu gewährleisten, muss das Kern-Data-Warehouse – der Raw-Data-Vault-Layer – unverändert bleiben. Der effektivste Ansatz zur Datenbereinigung ist proaktiv und setzt direkt in den operativen Quellsystemen an. So lässt sich der stetige Zufluss fehlerhafter Daten dauerhaft verhindern. Dieser Ansatz wird in der Praxis jedoch oft verworfen, da er aufgrund organisatorischer Abstimmungen oder komplexer Anpassungen im Quellsystem als zu aufwendig gilt.
Datenqualität im Business Vault
Die nächstbeste Lösung ist die Implementierung von Datenqualitätsroutinen durch Soft Business Rules im Data Warehouse. Diese Soft Business Rules werden im Business Vault oder während des Ladeprozesses in die Information Marts angewendet. Alle Datenqualitätsroutinen sollten an diesen Stellen umgesetzt werden. Durch die Ausführung als Soft Business Rules bleiben die eingehenden Rohdaten im Enterprise Data Warehouse unverändert für historische und zukünftige Analysen erhalten. Ändern sich die Qualitätsregeln oder gewinnen Sie neue Erkenntnisse über die Daten, lassen sich die Logiken anpassen, ohne die bereits geladenen Rohdaten erneut laden zu müssen. Dieser Ansatz legt zudem den Grundstein für die erste Methode, indem bereinigte Daten aus den Information Marts wieder in die operativen Systeme zurückgeschrieben werden.
Abbildung 1: Datenbereinigung (Data Cleansing)
Qualitativ hochwertige Daten in das operative System (Quellsystem) zurückschreiben
Ein Praxisbeispiel für Datenqualitätsroutinen bei Scalefree ist die Standardisierung von Telefonnummern im CRM-System Salesforce. Unvollständige oder uneinheitlich formatierte Telefonnummern können von automatisierten Prozessen und Schnittstellen oft nicht korrekt verarbeitet werden. In diesem Szenario werden die Daten aus dem Raw Data Vault gelesen, woraufhin ein Bereinigungsskript die Formatierung vereinheitlicht. Anschließend werden die Daten in einem Information Mart bereitgestellt – in diesem Fall als Interface Mart bezeichnet –, über den die bereinigten Werte direkt in das operative Quellsystem zurückgeschrieben werden. Fachanwender profitieren somit unmittelbar im Quellsystem von korrekten Daten, ohne auf nachgelagerte Analysesysteme ausweichen zu müssen. Beim nächsten Ladezyklus gelangen die Daten bereits in bereinigter Form in den Raw Data Vault.
Fazit
Bereinigen Sie Ihre Daten nach Möglichkeit direkt im Quellsystem, um eine hohe Datenqualität an der Quelle sicherzustellen. Der Raw Data Vault sollte stets ein unverändertes Abbild der gelieferten Quelldaten bleiben. Führen Sie Datenqualitätsroutinen stattdessen im Business Vault aus, wo Transformationen und Validierungen vorgesehen sind. Bei Bedarf können die aufbereiteten und validierten Daten schließlich wieder in die Quellsysteme zurückgeschrieben werden.
