Data Vault 2.0<\/a> f\u00fchrt Hash-Keys ein, um das traditionelle Data-Vault-Modell zu erweitern, was dem Data Warehousing mehrere Vorteile bringt. Hash-Keys beschleunigen nicht nur den Ladeprozess; sie stellen auch sicher, dass sich das Enterprise Data Warehouse \u00fcber mehrere Umgebungen erstrecken kann: On-Premises-Datenbanken, Hadoop-Cluster und Cloud-Speicher. <\/span><\/p>\n Lassen Sie uns zuerst \u00fcber den Performance-Gewinn sprechen: Um die Ladevorg\u00e4nge zu beschleunigen, m\u00fcssen Abh\u00e4ngigkeiten im Ladeprozess minimiert oder sogar eliminiert werden. In Data Vault 1.0 wurden Sequenznummern verwendet, um eine Business-Entity zu identifizieren, was folglich zu Abh\u00e4ngigkeiten w\u00e4hrend des Ladeprozesses f\u00fchrte. <\/p>\n Diese Abh\u00e4ngigkeiten haben den Ladeprozess verlangsamt, was insbesondere bei Echtzeit-Feeds ein Problem darstellt. Hubs mussten zuerst geladen werden, bevor der Ladeprozess von Satellites und Links starten konnte. Das Ziel ist es, diese Abh\u00e4ngigkeiten aufzubrechen, indem Hash-Keys anstelle von Sequenznummern als Prim\u00e4rschl\u00fcssel verwendet werden.<\/p>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“] In this article:<\/p> Vorab: Business-Keys k\u00f6nnen eine von einem einzelnen Quellsystem erstellte Sequenznummer sein, z. B. die Kundennummer.<\/span><\/p>\n Business-Keys k\u00f6nnen jedoch auch ein zusammengesetzter Schl\u00fcssel sein, um eine Business-Entity eindeutig zu identifizieren \u2013 beispielsweise wird ein Flug in der Luftfahrtindustrie durch die Flugnummer und das Datum identifiziert, da die Flugnummer jeden Tag wiederverwendet wird.<\/p>\n Allgemein gilt: Ein Business-Key ist der nat\u00fcrliche Schl\u00fcssel, der vom Fachbereich verwendet wird, um ein Business-Object zu identifizieren.<\/span><\/p>\n Die Verwendung von Business-Keys im Data Vault<\/a> ist zwar eine Option, aber eine langsame, die viel Speicherplatz beansprucht (sogar mehr als Hash-Keys).<\/span><\/p>\n Insbesondere in Links und den davon abh\u00e4ngigen Satellites sind viele zusammengesetzte Business-Keys erforderlich, um die Beziehung oder Transaktion bzw. das Ereignis in einem Link zu identifizieren – und im Satellite zu beschreiben.<\/p>\n Dies w\u00fcrde viel Speicherplatz erfordern und den Ladeprozess verlangsamen, da nicht alle Datenbank-Engines in der Lage sind, effiziente Joins \u00fcber Business-Keys mit variabler L\u00e4nge auszuf\u00fchren.<\/p>\n Andererseits h\u00e4tten wir zu viele Spalten im Link, da jeder Business-Key ein Teil des Links sein muss.<\/p>\n Das Problem dabei ist, dass in den Links auch unterschiedliche Datentypen mit verschiedenen L\u00e4ngen vorliegen. Dieses Problem versch\u00e4rft sich noch, da es auch erforderlich ist, die Business-Keys in die zugeh\u00f6rigen Satellites zu replizieren. <\/p>\n Um eine konsistente Join-Performance zu garantieren, besteht die L\u00f6sung darin, die Business-Keys mithilfe von Hash-Funktionen zu einem einzigen Spaltenwert zu kombinieren, um eine eindeutige Repr\u00e4sentation eines Business-Objects zu berechnen.<\/p>\n Da die Ladeprozesse von Hubs, Links und Satellites voneinander unabh\u00e4ngig sind, k\u00f6nnen diese vollst\u00e4ndig parallel ausgef\u00fchrt werden. <\/span><\/p>\n[\/vc_column_text][divider line_type=“No Line“ custom_height=“30″][image_with_animation image_url=“29717″ image_size=“large“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“ custom_height=“30″][vc_column_text css=““ text_direction=“default“]Die Idee basiert auf der Tatsache, dass ein Hash-Key von einem Business-Key oder einer Kombination von Business-Keys abgeleitet wird, ohne dass eine Abfrage (Lookup) in der \u00fcbergeordneten Tabelle erforderlich ist.<\/span><\/p>\n Anstatt also die Sequenz eines Business-Keys in einem Hub nachzuschlagen, bevor der Business-Key im Satellite beschrieben wird, l\u00e4sst sich einfach der Hash-Key des Business-Keys berechnen.<\/p>\n Die korrekte Implementierung der Hash-Funktion stellt sicher, dass derselbe semantische Business-Key zu exakt demselben Hash-Key f\u00fchrt, unabh\u00e4ngig von der geladenen Ziel-Entity.<\/p>\n Ohne Hashing erfordert das Laden in Hadoop\u00ae oder NoSQL eine Abfrage (Lookup) der Hub- oder Link-Sequenz im relationalen System, bevor die Daten eingef\u00fcgt oder angeh\u00e4ngt werden k\u00f6nnen.<\/span><\/p>\n Hashing anstelle von Sequenzierung bedeutet, dass Ladevorg\u00e4nge in alle Hubs, Links und Satellites in absolut zu 100 % parallelen Operationen erfolgen k\u00f6nnen. Gleichzeitig lassen sich alle Hadoop\u00ae- oder NoSQL-basierten Dokumente parallel anreichern.<\/p>\n Dies erm\u00f6glicht es dann auch, plattform\u00fcbergreifende Joins \u00fcber mehrere heterogene Plattformen hinweg durchzuf\u00fchren \u2013 beispielsweise von einer Teradata-Datenbank zu Apache™ Hadoop\u00ae.<\/p>\n Die Hash-Difference-Spalte<\/a> wird auf die Satellites angewendet. Der Ansatz ist derselbe wie bei den Business-Keys, nur dass hier alle beschreibenden Daten<\/a> gehasht werden. <\/span><\/p>\n Das reduziert den Aufwand w\u00e4hrend eines Ladeprozesses, da nur eine einzige Spalte nachgeschlagen werden muss. Der Satellite-Ladeprozess pr\u00fcft zuerst, ob der Hash-Key bereits im Satellite vorhanden ist, und zweitens, ob es Unterschiede zwischen den Hash-Difference-Werten gibt.[\/vc_column_text][divider line_type=“No Line“ custom_height=“30″][image_with_animation image_url=“29716″ image_size=“large“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_large=“yes“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“ custom_height=“30″][vc_column_text css=““ text_direction=“default“]Die obige Abbildung zeigt den Prozess, wenn das Quellsystem Ihnen eine vollst\u00e4ndige Datenlieferung sendet.<\/span><\/p>\nBusiness-Keys vs. Hash-Keys<\/h2>\n
Massively Parallel Processing (MPP)<\/h2>\n
Hash-Keys zur Verkn\u00fcpfung von Apache™ Hadoop\u00ae-Datens\u00e4tzen<\/h2>\n
Hash-Difference<\/h2>\n