In diesem Blogartikel gehen wir auf die Bedeutung der Datenqualit\u00e4t in einem Enterprise Data Warehouse<\/a> ein und liefern Ihnen praktische Strategien, um pr\u00e4zise, zuverl\u00e4ssige und qualitativ hochwertige Daten mit Data Vault 2.0<\/a> zu gew\u00e4hrleisten.<\/p>\n Vielleicht m\u00f6chten Sie sich auch die Webinar-Aufzeichnung genau zu diesem Thema ansehen. Sehen Sie sie sich hier kostenlos<\/a> an![\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“ el_class=“webinar-box“]\n In der heutigen datengetriebenen Kultur verlassen sich Unternehmen stark auf ihre Data Warehouses, um fundierte Entscheidungen zu treffen. Die Effektivit\u00e4t eines Data Warehouse h\u00e4ngt jedoch von der Qualit\u00e4t der darin enthaltenen Daten ab. In diesem Artikel gehen wir auf die Bedeutung der Datenqualit\u00e4t ein und stellen praktische Strategien vor, um mit Data Vault 2.0 genaue, zuverl\u00e4ssige und hochwertige Daten zu gew\u00e4hrleisten.[\/vc_column_text][divider line_type=“No Line“][nectar_btn size=“jumbo“ open_new_tab=“true“ button_style=“regular“ button_color_2=“Extra-Color-1″ icon_family=“none“ el_class=“ctaBtn“ text=“Watch webinar recording“ url=“https:\/\/us02web.zoom.us\/webinar\/register\/WN_Z41X3kYYScSP922NrzsG_g#\/registration“][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“] In this article:<\/p> In der gezeigten Architektur (Abbildung 1) ist ein Quality Layer in den Business Vault integriert, in dem die Datenbereinigungsroutinen ausgef\u00fchrt werden. Ziel ist es, die bereinigten Daten f\u00fcr nachgelagerte Business-Vault- und Information-Mart-Objekte in hohem Ma\u00dfe wiederverwendbar zu machen. Wenn sich die Datenqualit\u00e4tsregeln \u00e4ndern oder neue Erkenntnisse \u00fcber die Daten gewonnen werden, k\u00f6nnen die Regeln angepasst werden, ohne dass bisherige Rohdaten neu geladen werden m\u00fcssen. <\/p>\n Nun stehen die Daten f\u00fcr die Verwendung in jedem Dashboarding- oder Reporting-Tool bereit. Es ist auch m\u00f6glich, die bereinigten Daten in die Quelle zur\u00fcckzuschreiben. Zu diesem Zweck werden die Daten einem Interface Mart<\/a> bereitgestellt, der wiederum die Daten an das Quellsystem selbst zur\u00fccksendet. Auf diese Weise k\u00f6nnen Fachanwender die qualitativ hochwertigen Daten auch in ihren Quellanwendungen nutzen. Beim n\u00e4chsten Laden der Rohdaten in den Raw Data Vault sind die Daten somit bereits bereinigt.[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“38132″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text text_direction=“default“]Der zweite in Abbildung 1 beschriebene Anwendungsfall ist das Monitoring von schlechten Daten durch einen sogenannten Quality Mart. Der Quality Mart ist Teil des Information Delivery Layer und w\u00e4hlt alle fehlerhaften Daten anstelle der bereinigten Daten aus. Darauf aufbauend k\u00f6nnen Berichte oder grafische Benutzeroberfl\u00e4chen f\u00fcr den Data Steward erstellt werden. Dar\u00fcber hinaus kann der Data Steward Kommentare zu bestimmten Datens\u00e4tzen hinterlassen, die nicht als schlechte Daten eingestuft werden sollten oder Ausnahmen von den Regeln darstellen. Diese Benutzeroberfl\u00e4che speichert alle hinzugef\u00fcgten Daten (Kommentare, Flags etc.) in einer Datenbank, die wiederum als Quelle f\u00fcr den Data Vault dient. Diese Daten k\u00f6nnen genutzt werden, um die Business Rules zu erweitern \u2013 insbesondere, um Ausnahmen von den Datenbereinigungsregeln herauszufiltern. <\/p>\n Ein weiterer Vorteil von Data Vault 2.0 sind die stark musterbasierten und standardisierten Entit\u00e4ten. Dies erm\u00f6glicht eine einfache und automatisierte Entwicklung technischer Tests. Einmal f\u00fcr jede Data-Vault-Entit\u00e4t erstellt, k\u00f6nnen diese Tests sowohl auf die Raw-Data-Vault-Entit\u00e4ten als auch auf die Business-Vault-Entit\u00e4ten angewendet werden. Dies stellt ein konsistentes und auditierbares Data Warehouse sicher. Lesen Sie diesen Blogartikel<\/a>, wenn Sie detailliertere Informationen zu technischen Tests in Data Vault ben\u00f6tigen.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n In diesem Artikel sind wir auf die Ursachen f\u00fcr schlechte Daten eingegangen und haben verschiedene Techniken f\u00fcr den Umgang mit diesen Problemen diskutiert. Genauer gesagt haben wir beschrieben, wie Datenqualit\u00e4tstechniken innerhalb einer Data-Vault-2.0-Architektur implementiert werden k\u00f6nnen. <\/p>\nSicherstellung der Datenqualit\u00e4t in Ihrem Data Warehouse<\/h2>\n
Was sind die Ursachen f\u00fcr schlechte Daten?<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Datenqualit\u00e4t bezieht sich auf die Genauigkeit, Vollst\u00e4ndigkeit, Konsistenz und Zuverl\u00e4ssigkeit von Daten. Im Kontext eines Data Warehouse ist die Aufrechterhaltung einer hohen Datenqualit\u00e4t<\/a> entscheidend, um aussagekr\u00e4ftige Erkenntnisse zu gewinnen und fundierte Entscheidungen zu treffen. Verschiedene Faktoren tragen zum Vorhandensein von schlechten oder fehlerhaften Daten bei. Das Erkennen und Verstehen dieser Ursachen ist essenziell f\u00fcr die Implementierung effektiver Strategien zum Datenqualit\u00e4tsmanagement. Hier sind einige h\u00e4ufige Gr\u00fcnde f\u00fcr schlechte Daten in einem Data Warehouse: <\/p>\n
\n
Techniken zur Sicherstellung der Datenqualit\u00e4t<\/h2>\n[\/vc_column_text][vc_column_text text_direction=“default“]Es gibt eine Vielzahl von Datenqualit\u00e4tstechniken, und es gibt keine universelle Ideall\u00f6sung f\u00fcr alle Probleme. Die Schwierigkeit besteht darin, die aktuelle Situation sowie die St\u00e4rken und Schw\u00e4chen der verf\u00fcgbaren Techniken zu verstehen. Tats\u00e4chlich variiert die Effektivit\u00e4t der Techniken je nach Kontext. Eine bestimmte Technik passt in manchen Situationen gut, in anderen weniger. Scott Ambler hat f\u00fcnf Vergleichsfaktoren entwickelt, mit denen sich die Effektivit\u00e4t einer Datenqualit\u00e4tstechnik beurteilen l\u00e4sst. Diese nachfolgend gezeigten Faktoren sollen Ihnen helfen, die passende DQ-Technik f\u00fcr Ihre jeweilige Situation auszuw\u00e4hlen:[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“41244″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][vc_column_text text_direction=“default“]Quelle: https:\/\/agiledata.org\/essays\/dataqualitytechniquecomparison.html<\/span>[\/vc_column_text][divider line_type=“No Line“][vc_column_text text_direction=“default“]\n
\n
Der Nutzen des Data-Vault-2.0-Ansatzes<\/h3>\n[\/vc_column_text][vc_column_text text_direction=“default“]Wenn schlechte Daten erkannt werden, besteht der erste Schritt in einer Ursachenanalyse. Was aber, wenn die schlechten Daten aus dem Quellsystem stammen? Der beste Ansatz w\u00e4re, die Fehler direkt im Quellsystem<\/a> zu beheben. Diese Methode wird jedoch h\u00e4ufig abgelehnt, da sie als zu kostspielig gilt. Da die Quellsysteme nicht im Verantwortungsbereich des Data-Warehouse-Teams liegen, m\u00fcssen wir einen Weg finden, die fehlerhaften Daten an einer anderen Stelle in unserer Architektur zu bereinigen. In Data Vault 2.0 betrachten wir eine Datenbereinigungsroutine als Business Rule (Soft Rule), wobei diese Regeln im Business Vault<\/a> implementiert werden. <\/p>\n
G\u00e4ngige Datenqualit\u00e4tstechniken<\/h3>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Im letzten Abschnitt haben wir bereits einige Techniken zur Sicherstellung einer hohen Datenqualit\u00e4t in einer Data-Vault-2.0-Architektur<\/a> beschrieben. Selbstverst\u00e4ndlich gibt es eine Reihe weiterer Techniken, die unabh\u00e4ngig davon sind, welcher Modellierungsansatz verwendet wird. Dar\u00fcber hinaus konzentrieren sich einige Techniken nicht in erster Linie auf die Datenqualit\u00e4t, haben aber dennoch einen positiven Einfluss darauf. Schauen wir uns einige davon im Folgenden genauer an: <\/p>\n
\n
<\/li>\n
<\/li>\n
<\/li>\n
<\/li>\n
Die Ausf\u00fchrung automatisierter Tests bei jedem Code-Check-in oder -Merge stellt sicher, dass Konsistenzprobleme oder Bugs fr\u00fchzeitig erkannt und vor dem Go-Live behoben werden.
<\/li>\n
<\/li>\nFazit<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Es steht au\u00dfer Frage, dass eine hohe Datenqualit\u00e4t f\u00fcr ein erfolgreiches Data-Warehousing-Projekt unerl\u00e4sslich ist. Der Weg zu hoher Datenqualit\u00e4t ist keine einmalige Anstrengung, sondern eine kontinuierliche Verpflichtung. Es handelt sich um einen vielschichtigen Prozess, der eine Kombination von Techniken, team\u00fcbergreifende Zusammenarbeit und die F\u00f6rderung einer Kultur der Data Stewardship umfasst. <\/p>\n