Letztes Jahr hat Scalefree DataVault4dbt<\/a> ver\u00f6ffentlich<\/span>t, ein<\/span> Open-Source-dbt-Paket f\u00fcr Data Vault 2.0,<\/span> das Ladetemplates f\u00fcr die Erstellung und <\/a>Modellierung von Data Vault 2.0-Entit\u00e4ten<\/a> nach aktuellen Standards und Best Practices enth\u00e4lt. Wenn Sie mehr \u00fcber den allgemeinen Inhalt des Pakets und die Motivation dahinter lesen m\u00f6chten, erfahren Sie hier <\/a>mehr dar\u00fcber.<\/p>\n Wir freuen uns, eine Reihe aufschlussreicher Beitr\u00e4ge und Webinare zu starten, die praktische Implementierungen von<\/span> D<\/strong>ataVault4dbt<\/b> vorstellen. Dies versetzt Sie in die Lage, das volle Potenzial des Pakets in Ihren Data-Warehousing-Projekten auszusch\u00f6pfen. Heute beleuchten wir die Anwendung im <\/span>Staging-Layer<\/b>.<\/span>[\/vc_column_text][divider line_type=“No Line“ custom_height=“30″][vc_column_text css=““ text_direction=“default“] In this article:<\/p> Bitte beachten Sie auch, dass Sie f\u00fcr eine optimale Nutzung der Makros einige Voraussetzungen erf\u00fcllen m\u00fcssen:<\/p>\n In unserem Fall haben wir die Daten aus dem in dbt verf\u00fcgbaren Beispielprojekt \u201ejaffle_shop\u201c<\/a> verwendet und angepasst.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Festlegen von Load-Date-Timestamp (ldts<\/strong>) & Record-Source (rsrc<\/strong>):<\/p>\n Beispiel<\/strong>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33469″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]\n Beispiel<\/strong>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33470″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]\n Bei der Einstellung des Parameters<\/span> derived_columns<\/b> enth\u00e4lt jede abgeleitete Spalte (Derived Column):<\/span><\/p>\n Je nachdem, wie Sie die Derived Column und die Quellspalten benennen, k\u00f6nnen Sie zwei Ergebnisse erzielen:<\/span><\/p>\n Beispiel<\/b>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33471″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]\n In bestimmten Szenarien enthalten Ihre Quelldaten m\u00f6glicherweise nicht den Business-Key, bei dem es sich h\u00e4ufig um eine f\u00fcr Menschen lesbare Kennung wie eine E-Mail-Adresse oder einen Benutzernamen handelt. Stattdessen enthalten sie m\u00f6glicherweise einen Technical-Key, bei dem es sich um eine intern generierte Kennung oder einen Code handeln kann. Wenn Sie den f\u00fcr Menschen lesbaren Business-Key in Ihrer Verarbeitung verwenden m\u00fcssen, aber nur den Technical-Key haben, nutzen Sie Prejoining, um Ihre Daten mit einer anderen Tabelle zu kombinieren, die Technical-Keys auf Business-Keys abbildet. <\/p>\n Wie definiert man Prejoins in DataVault4dbt?<\/p>\n Das DataVault4dbt-Paket bietet eine strukturierte M\u00f6glichkeit, diese Prejoins (prejoined_columns<\/strong>) mithilfe von Dictionaries zu definieren.<\/p>\n F\u00fcr jede Spalte, die Sie durch Prejoining hinzuf\u00fcgen, m\u00fcssen Sie einige Parameter angeben:<\/p>\n Beachten Sie, dass sowohl \u201ethis_column_name\u201c als auch \u201eref_column_name\u201c entweder eine einzelne Spalte oder eine Liste von Spalten darstellen k\u00f6nnen, die als Basis f\u00fcr die Erstellung der JOIN-Bedingungen dienen.<\/p>\n Beispiel<\/strong>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33472″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]\n Wenn Ihre Quelldaten keine nat\u00fcrliche Multi-Active-Key-Spalte aufweisen, sollten Sie eine solche mithilfe von Funktionen wie row_number in einer vorherigen Schicht erstellen. F\u00fcgen Sie dann den Namen dieser neu erstellten Spalte dem Parameter multi_active_key hinzu. Es ist von entscheidender Bedeutung, dass die Kombination aus Multi-Active-Keys, dem Haupt-Hashkey und der ldts-Spalte im finalen Satellite-Output eindeutig ist. Wenn Sie diese Einstellung nicht verwenden, wird davon ausgegangen, dass die Stage nur einzelne aktive Datens\u00e4tze enth\u00e4lt. <\/p>\n Beispiel<\/strong>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33473″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]Durch das Festlegen dieses Parameters erhalten wir konsistente Hashdiffs f\u00fcr identische Business-Keys, was sich in nachfolgenden Schichten als vorteilhaft erweist. Wenn Sie wissen m\u00f6chten, warum, k\u00f6nnen Sie<\/span> diesen Beitrag<\/a> lesen.<\/span>[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Beispiel<\/strong>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33474″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]\n W\u00e4hrend wir das Potenzial des Pakets weiter erforschen, laden wir Sie herzlich ein, an unserer monatlichen Experten-Session teilzunehmen, um tiefer in die Materie einzutauchen. Reservieren Sie hier<\/a> Ihren Platz und halten Sie sich im GitHub-Repository des Pakets \u00fcber die neuesten Updates und den Support auf dem Laufenden.<\/p>\n[\/vc_column_text][\/vc_column][\/vc_row]\n","protected":false},"excerpt":{"rendered":" [vc_row type=“in_container“ full_screen_row_position=“middle“ column_margin=“default“ column_direction=“default“ column_direction_tablet=“default“ column_direction_phone=“default“ scene_position=“center“ text_color=“dark“ text_align=“left“ row_border_radius=“none“ row_border_radius_applies=“bg“ overflow=“visible“ overlay_strength=“0.3″ gradient_direction=“left_to_right“ shape_divider_position=“bottom“ bg_image_animation=“none“][vc_column column_padding=“no-extra-padding“ column_padding_tablet=“inherit“ column_padding_phone=“inherit“ column_padding_position=“all“ column_element_direction_desktop=“default“ column_element_spacing=“default“ desktop_text_alignment=“default“ tablet_text_alignment=“default“ phone_text_alignment=“default“ background_color_opacity=“1″ background_hover_color_opacity=“1″ column_backdrop_filter=“none“ column_shadow=“none“…<\/p>\n","protected":false},"author":89,"featured_media":59601,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3944],"tags":[],"class_list":["post-59588","post","type-post","status-publish","format-standard","has-post-thumbnail","category-datenwerkzeuge"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\tBevor wir mit DataVault4dbt starten<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Wir setzen grundlegende Kenntnisse in Data Vault 2.0 und dbt voraus. Zudem verwenden wir f\u00fcr die folgenden Beispiele die dbt-Cloud-IDE<\/strong>, die mit Snowflake<\/strong> verbunden ist. Eine aktuelle Liste der unterst\u00fctzten Plattformen finden Sie im GitHub-Repository des Pakets<\/a>. <\/p>\n
\n
Installation des DataVault4dbt-Pakets in dbt<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Die Installation von DataVault4dbt erfolgt wie bei jedem anderen Paket in Ihrem dbt-Projekt. Sie m\u00fcssen lediglich zwei einfache Schritte<\/a> befolgen:[\/vc_column_text][divider line_type=“No Line“][vc_column_text]1. F\u00fcgen Sie es Ihrer packages.yml-Datei hinzu<\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33464″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text]2. F\u00fchren Sie<\/span> \u201edbt deps\u201c<\/b> aus[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“33465″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ img_link_target=“_blank“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“custom“ max_width_custom=“70%“ max_width_custom_tablet=“90%“ max_width_custom_phone=“100%“][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n
Nutzung des Makros f\u00fcr das Staging der Quelldaten<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Laut der Dokumentation f\u00fcr den Staging-Layer<\/a> von DataVault4dbt konzentriert sich diese Schicht in erster Linie auf das Hashing<\/a>. Sie bietet auch Funktionalit\u00e4ten wie das Erstellen abgeleiteter Spalten (Derived Columns), das Durchf\u00fchren von Prejoins und das Hinzuf\u00fcgen von NULL-Werten f\u00fcr fehlende Spalten. Anstatt tief in die technischen Aspekte jeder Makrokomponente einzutauchen, die in der Dokumentation ausf\u00fchrlich behandelt werden, steigen wir direkt in die Anwendung ein![\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n
A. Grundlegende Quellinformationen<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Identifizierung des Quellmodells (source_model<\/strong>):<\/p>\n
\n
\n
\n
B. Hashing<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]In DataVault4dbt beschreibt der Parameter hashed_columns<\/strong>, wie Hashkeys und Hashdiffs generiert werden. F\u00fcr jede Hash-Spalte gilt: <\/p>\n
\n
\n
C. Derived Columns<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Derived Columns in DataVault4dbt-Stage-Modellen erm\u00f6glichen es Ihnen, spezifische Transformationen direkt auf Daten anzuwenden. Sie fungieren als On-the-fly-Anpassungen, die sofortige \u00c4nderungen an den Daten innerhalb der Spalte selbst erm\u00f6glichen. Wenn Daten nicht im gew\u00fcnschten Format vorliegen, k\u00f6nnen Sie mit DataVault4dbt mithilfe einer definierten Regel eine neue Version direkt in der Spalte ableiten. <\/span><\/p>\n
\n
\n
\n
D. Prejoining<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Warum Prejoin?<\/p>\n
\n
\n
E. Multi-Active-Konfiguration (multi_active_config)<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Der Parameter multi_active_config<\/strong> wird verwendet, wenn Quelldaten verarbeitet werden, die mehrere aktive Datens\u00e4tze f\u00fcr denselben Business-Key enthalten. Im Wesentlichen m\u00fcssen Sie angeben, welche Spalten die Multi-Active-Keys und welche die prim\u00e4re Hashkey-Spalte sind. <\/p>\n
F. Missing Columns<\/h3>\n[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]In DataVault4dbt hilft der Parameter missing_columns<\/strong> bei der Bew\u00e4ltigung von Szenarien, in denen sich das Quellschema \u00e4ndert und einige Spalten nicht mehr existieren. Mithilfe dieses Parameters k\u00f6nnen Sie Platzhalterspalten erstellen, die mit NULL-Werten gef\u00fcllt sind, um die fehlenden Spalten zu ersetzen. Dadurch wird sichergestellt, dass Hashdiff-Berechnungen und Satellite-Payloads weiterhin funktionieren. Im Wesentlichen stellen Sie ein Dictionary bereit, bei dem die Spaltennamen die Keys und ihre jeweiligen SQL-Datentypen die Werte sind. <\/p>\n
\n
Fazit<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Das DataVault4dbt<\/strong>-Paket von Scalefree bietet eine benutzerfreundliche und zugleich leistungsstarke L\u00f6sung f\u00fcr die Datenbankmodellierung. In unserem Fall haben wir das Staging-Layer-Makro<\/strong> kennengelernt, das Best Practices mit der Flexibilit\u00e4t verbindet, auf unterschiedliche Quelldatenanforderungen einzugehen. Vom Hashing bis hin zu On-the-fly-Spalten\u00e4nderungen rationalisiert dieses Open-Source-dbt-Paket f\u00fcr Data Vault 2.0 komplexe Prozesse. <\/p>\n