Es gibt verschiedene M\u00f6glichkeiten, die Validierung von Beziehungen aus Quellsystemen zu handhaben. Dies h\u00e4ngt davon ab, wie die Daten geliefert werden (Full-Extract oder CDC<\/a>) und wie ein L\u00f6schvorgang vom Quellsystem \u00fcbermittelt wird \u2013 beispielsweise als Soft Delete oder Hard Delete. In Data Vault 2.0<\/a> unterscheiden wir Daten nach Schl\u00fcsseln (Keys), Beziehungen und Beschreibungen. <\/span><\/p>\n Dennoch ist die Handhabung und Validierung von Beziehungen in Data Vault 2.0 ein oft untersch\u00e4tzter Aspekt. In this article:<\/p> <\/p>\n Zuerst betrachten wir die verschiedenen Arten von L\u00f6schungen (Deletes) in Quellsystemen:<\/span><\/p>\n Als N\u00e4chstes untersuchen wir, wie wir diese Daten in der Staging Area identifizieren:<\/span><\/p>\n Um die folgende Erkl\u00e4rung so einfach wie m\u00f6glich zu halten, gehen wir davon aus, dass wir Beziehungen als gel\u00f6scht markieren wollen, sobald wir die L\u00f6schinformationen erhalten \u2013 selbst wenn kein Audit-Trail aus dem Quellsystem vorliegt (Data Aging ist hierbei ein anderes Thema).<\/span><\/p>\n Die Erkennung von L\u00f6schungen<\/a> f\u00fcr Business Keys oder Hubs ist unkompliziert. Soft Deletes werden direkt als beschreibende Attribute im Satelliten behandelt \u2013 unabh\u00e4ngig davon, ob die Daten aus einem Full-Extract oder \u00fcber CDC eingehen. Bei Hard Deletes im Quellsystem m\u00fcssen wir hingegen zwischen Full-Extract und CDC<\/a> unterscheiden. <\/span> Die Erkennung gel\u00f6schter Beziehungen erfordert etwas mehr Aufmerksamkeit und wird oft \u00fcbersehen. Bei einem Full-Extract k\u00f6nnen Sie denselben Ansatz wie bei Business Keys verfolgen: Pr\u00fcfen Sie einfach, ob der Link-Hash-Key<\/a> im aktuellen Staging-Ladevorgang vorhanden ist, und f\u00fcgen Sie bei Bedarf einen neuen Eintrag in den Effectivity-Satelliten ein. <\/span><\/p>\n Heutzutage setzt sich CDC immer mehr durch. Da diese Methode jedoch nur Deltas liefert, besteht die Herausforderung darin, nicht mehr existierende Beziehungen zu identifizieren. Das folgende Beispiel zeigt eine Beziehung zwischen den Business-Objekten Customer und Company. Dies ist eine 1:n-Beziehung: <\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29580″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“75%“ max_width_mobile=“100%“][vc_column_text]\n Abbildung 1:<\/span><\/em> Tabellen Customer und Company<\/span><\/i><\/p>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text]Die Link-Tabelle in Data Vault sieht wie folgt aus:<\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29581″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“75%“ max_width_mobile=“100%“][vc_column_text]\n Tabelle 1: Customer-Link<\/span><\/i><\/p>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Zur besseren Lesbarkeit und Vereinfachung stellen wir die Business Keys anstelle von Hash-Keys dar und verzichten auf die Darstellung von Systemfeldern wie dem Load-Date-Timestamp und der Record-Source.<\/span><\/p>\n So weit, so gut. Was passiert jedoch, wenn ein Kunde f\u00fcr ein anderes Unternehmen t\u00e4tig wird? Dies f\u00fchrt zu einem neuen Datensatz in der Link-Tabelle. Der CDC-Mechanismus liefert die Daten als Update der Customer-Tabelle.<\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29580″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“75%“ max_width_mobile=“100%“][vc_column_text]\n Abbildung 2: Quelltabellen und Link nach Unternehmenswechsel<\/span><\/i><\/p>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Woher stammt die Information, dass Customer 4711 nicht mehr f\u00fcr Company 1234 arbeitet, und wo wird diese gespeichert? Es muss ein Soft Delete f\u00fcr den alten Link-Eintrag im Data Warehouse durchgef\u00fchrt werden, um die Datenkonsistenz zu wahren. Aktuell sieht es so aus, als ob der Kunde f\u00fcr beide Unternehmen t\u00e4tig w\u00e4re, da beide Links aktiv sind. <\/span><\/p>\n Hierf\u00fcr gibt es zwei m\u00f6gliche L\u00f6sungswege:<\/span><\/p>\n Das Ergebnis ist der folgende (logische) Effectivity-Satellit:<\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29579″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“75%“ max_width_mobile=“100%“][vc_column_text]\n Tabelle 2: Effectivity-Satellit auf dem Link<\/span><\/i><\/p>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n
\nIm folgenden Blogartikel erkl\u00e4ren wir, was Sie beachten m\u00fcssen und wie Sie am besten damit umgehen. <\/span><\/p>\nL\u00f6schungen in Data Vault 2.0 <\/span><\/h2>\n
\n
\n
Erkennung von L\u00f6schungen und Validierung von Beziehungen in Data Vault 2.0<\/h2>\n
\n<\/span>Hier f\u00fchren wir den Effectivity-Satelliten<\/a> ein. Dabei gilt: <\/span><\/p>\n\n
\n
\nBedenken Sie dabei auch das Szenario, dass Customer 4711 sp\u00e4ter wieder f\u00fcr Company 1234 t\u00e4tig wird.<\/span><\/span><\/li>\n
\nDer gr\u00f6\u00dfte Nachteil dieser Methode ist der h\u00f6here Scan-Aufwand, was zu einer h\u00f6heren I\/O-Last f\u00fchrt. Bei der Verwendung einer Persistent Staging Area k\u00f6nnen Sie \u00c4nderungen in einer Beziehung mithilfe der Window-Funktion lead() ermitteln. Dabei partitionieren Sie nach der technischen ID (in diesem Fall Customer_ID) und sortieren nach dem Load Date Timestamp.
\nSobald sich der Link-Hash-Key unterscheidet, hat sich die Beziehung ge\u00e4ndert und die vorherige existiert nicht mehr.. <\/span><\/li>\n<\/ol>\nFazit<\/h2>\n