In diesem Webinar er\u00f6rtern wir die neuen Data-Warehouse-Anforderungen an Daten und gehen auf die Echtzeitverarbeitung (Real-Time Processing) ein. F\u00fcr einen ersten \u00dcberblick behandeln wir verschiedene Architekturen zur Echtzeitverarbeitung. Der zweite Teil konzentriert sich auf die Echtzeit-Datenarchitektur mit Data Vault 2.0 und beinhaltet einen kurzen \u00dcberblick \u00fcber Microsoft Azure. Zudem sehen Sie eine Implementierung der Echtzeitverarbeitung mit Data Vault 2.0<\/a> in Azure. Dieses Webinar richtet sich an alle, f\u00fcr die Echtzeitdaten in Data Vault 2.0 neu sind und die an einem \u00dcberblick sowie der Implementierung in Azure interessiert sind.[\/vc_column_text][divider line_type=“No Line“][nectar_btn size=“jumbo“ open_new_tab=“true“ button_style=“regular“ button_color_2=“Accent-Color“ icon_family=“none“ el_class=“ctaBtn“ text=“Watch Webinar Part 1″ url=“https:\/\/us02web.zoom.us\/webinar\/register\/rec\/WN_GCcXMzbjSo2GkOg__s5W2Q“ margin_right=“30px“][nectar_btn size=“jumbo“ open_new_tab=“true“ button_style=“regular“ button_color_2=“Accent-Color“ icon_family=“none“ el_class=“ctaBtn“ text=“Watch Webinar Part 2″ url=“https:\/\/us02web.zoom.us\/webinar\/register\/WN_2eEc_dGuSbi7O_6qqEW2-w“ margin_right=“30px“][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“] In this article:<\/p> Zudem k\u00f6nnen Sie Kosten sparen, indem Sie sich vom klassischen Batch-Loading verabschieden: Die normalerweise daf\u00fcr ben\u00f6tigte Spitzenrechenleistung wird reduziert und gleichm\u00e4\u00dfiger \u00fcber den Tag verteilt. Dies gilt insbesondere bei der Nutzung von Cloud-Umgebungen, da dort starre beziehungsweise zugesagte Umgebungen ersetzt werden und die ben\u00f6tigte Rechenleistung bedarfsgerecht bereitgestellt werden kann.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Diese Methode f\u00fchrt \u00fcber Nacht zu einer Spitze (Peak) bei der Datenverarbeitung. Unternehmen m\u00fcssen ihre Infrastruktur entsprechend auslegen, um diese erwartete maximale Spitze an ben\u00f6tigter Rechenleistung bew\u00e4ltigen zu k\u00f6nnen.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n M\u00f6gliche Anwendungsf\u00e4lle f\u00fcr Echtzeitdaten sind das Vitaldaten-Monitoring im Gesundheitswesen<\/a>, die Bestandsverfolgung (Inventory Tracking), das Nutzerverhalten in sozialen Medien oder die \u00dcberwachung von Produktionslinien.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n \u201eNear Real-Time Data\u201c (nahezu in Echtzeit) bezieht sich auf Daten, die mindestens alle f\u00fcnfzehn Minuten in Mini-Batches geladen werden, wobei die Daten bis zum Laden in die Datenanalyseplattform<\/a> in einem Cache gespeichert werden. Die akzeptable Verz\u00f6gerung bei der Verarbeitung von Echtzeitdaten wird in der Regel durch die Konsequenzen eines vers\u00e4umten Zeitfensters (Deadline) definiert. Zudem gibt es drei Arten von Echtzeitsystemen: Hard Real-Time, Soft Real-Time und Firm Real-Time.[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“32713″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=“center“ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Auf den ersten Blick \u00e4hnelt die Data Vault 2.0-Architektur der Lambda-Architektur, behandelt jedoch einige Aspekte anders. Aus der Perspektive von Data Vault 2.0 weist die Lambda-Architektur Schwachstellen auf, wie etwa die Implementierung einer einzelnen Schicht in jedem Datenfluss sowie das Fehlen einer definierten Schicht zur Erfassung unver\u00e4nderter Rohdaten f\u00fcr Revisionszwecke (Auditing). <\/p>\n Die Data Vault 2.0-Architektur erweitert die bestehende batch-getriebene Architektur um einen Echtzeit-Teil namens \u201eMessage Streaming\u201c. Dabei werden mehrere Schichten zur Erfassung und Verarbeitung von Echtzeitdaten implementiert, die an mehreren Punkten mit dem batch-getriebenen Fluss integriert werden. Nachrichten werden vom Publisher downstream zum Subscriber gepusht, in den Raw Data Vault geladen und in den Data Lake<\/a> abgezweigt. Der Hauptprozess ist jedoch der Push innerhalb des Message-Streaming-Bereichs. Die Architektur ist in der Lage, Daten aus Batch-Feeds zu integrieren oder die Echtzeitdaten direkt in das Dashboard zu streamen.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Datenquellen liefern Daten entweder in Batches oder in Echtzeit. Diese werden in den Azure Data Lake<\/a> geladen oder vorab vom Event Hub entgegengenommen. Der Raw Data Vault Loader trennt Business Keys, Beziehungen (Relationships) und beschreibende Daten<\/a> (Descriptive Data) mittels Stream Analytics und leitet die Nachricht an den Business Vault Processor weiter. Der Business Vault Processor wendet Transformationen und weitere Gesch\u00e4ftsregeln an, um die Ziel-Nachrichtenstruktur f\u00fcr die Nutzung durch die (Dashboarding-)Anwendung zu erzeugen. Die Ergebnisse k\u00f6nnen in physische Tabellen im Business Vault auf Synapse geladen oder in Echtzeit ohne weitere Materialisierung in der Datenbank bereitgestellt werden. Die Zielnachricht wird generiert und an den Real-Time Information Mart<\/a> Layer gesendet, der durch ein Streaming-Dataset implementiert ist und von Power BI genutzt wird.<\/p>\n Der Cache des Dashboard-Dienstes l\u00e4uft schnell ab, jedoch stehen in der Synapse-Datenbank alle Daten f\u00fcr weitere Verwendungszwecke, einschlie\u00dflich des strategischen, langfristigen Reportings, zur Verf\u00fcgung.[\/vc_column_text][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]\n Wie bereits erw\u00e4hnt, zeigt die letzte Abbildung eine Architektur, die von den Scalefree-Beratern implementiert wurde, um Echtzeitdaten zu nutzen.<\/p>\nWas Sie erwartet<\/h2>\n[\/vc_column_text][vc_column_text]Sie erfahren, wie Ihnen die Echtzeitverarbeitung erm\u00f6glicht, schneller Wert aus Daten zu sch\u00f6pfen, stets die aktuellsten Daten in Ihren Reporting-Tools zur Verf\u00fcgung zu haben und pr\u00e4zisere datenbasierte Entscheidungen zu treffen. Dadurch ist Ihr Unternehmen in der Lage, sich schneller an Marktver\u00e4nderungen anzupassen, indem Entwicklungen anhand neuester Daten sofort sichtbar werden.<\/p>\n
Der traditionelle Weg \u2013 Batch-Loading<\/h2>\n[\/vc_column_text][vc_column_text]Batch-Loading ist eine traditionelle Methode, um Daten in gro\u00dfen Bl\u00f6cken (Batches) \u2013 meist \u00fcber Nacht \u2013 in ein Data-Warehouse-System zu laden. Die Daten aus den Datenquellen werden bis zu einem bestimmten Zeitpunkt in der Nacht geliefert, um anschlie\u00dfend transformiert und in den Core-Data-Warehouse-Layer geladen zu werden. <\/p>\n
Der neue Weg \u2013 Echtzeitdaten<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Echtzeitdaten werden sofort verarbeitet und bereitgestellt, sobald sie entstehen, anstatt \u00fcber Nacht schubweise geladen zu werden. Bei der Nutzung von Echtzeit-Ans\u00e4tzen erweitert sich das Ladefenster auf 24 Stunden. Damit entfallen die n\u00e4chtlichen Lastspitzen und deren Nachteile.
\nBei der Nutzung von Echtzeitdaten werden diese stets als Non-Historized Link<\/a> oder als Satellite modelliert. <\/p>\nVerschiedene Arten von Echtzeitdaten<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Es gibt verschiedene Arten von Echtzeitdaten, basierend auf der Ladefrequenz sowie dem Grad der Dringlichkeit beziehungsweise Unmittelbarkeit der Daten.<\/p>\n
\nEchte Echtzeitdaten (\u201eActual Real-Time Data\u201c), auch Message Streaming genannt, beinhalten das direkte Laden jeder einzelnen Nachricht in die Datenanalyseplattform ohne Cache.
\nDiese Art von Echtzeitdaten ist n\u00fctzlich, wenn Daten sofort nach ihrer Erzeugung f\u00fcr Dashboards oder weiterf\u00fchrende Analysen verf\u00fcgbar sein m\u00fcssen.<\/p>\nImplementierung der Echtzeitverarbeitung<\/h2>\n[\/vc_column_text][vc_column_text text_direction=“default“]Wie implementiert man also Echtzeit-Datenverarbeitung in eine Data-Warehouse-L\u00f6sung? Es gibt hierf\u00fcr viele Architekturen, wir werden uns jedoch auf die Lambda- und die Data Vault 2.0-Architektur<\/a> konzentrieren.[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“32714″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“][vc_column_text css=““ text_direction=“default“]Die Lambda-Architektur unterteilt die Datenverarbeitung in einen Speed Layer und einen Batch Layer. Der Speed Layer verarbeitet Echtzeit-Nachrichten mit Fokus auf Geschwindigkeit und Durchsatz, w\u00e4hrend der Batch Layer durch die Verarbeitung gro\u00dfer Datenmengen in regelm\u00e4\u00dfigen Batches Genauigkeit und Vollst\u00e4ndigkeit gew\u00e4hrleistet. Der Serving Layer integriert die Daten aus beiden Layern f\u00fcr Pr\u00e4sentationszwecke. <\/p>\n
Nutzung von Microsoft Azure f\u00fcr die Echtzeitverarbeitung<\/h2>\n[\/vc_column_text][vc_column_text]Microsoft Azure ist eine Cloud-Computing-Plattform sowie eine Sammlung von Diensten von Microsoft. Die Plattform bietet eine Vielzahl von Services, darunter virtuelle Maschinen, Datenbanken, Analysen, Speicher und Netzwerke. Diese Dienste k\u00f6nnen genutzt werden, um Web- und mobile Anwendungen zu erstellen, hochvolumige Datenverarbeitungsaufgaben auszuf\u00fchren, Daten zu speichern und zu verwalten, Websites zu hosten und vieles mehr.[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“32715″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“][vc_column_text text_direction=“default“]Die Abbildung beschreibt eine typische Echtzeit-Architektur, wie sie von den Beratern von Scalefree verwendet wird und der konzeptionellen Data Vault 2.0-Architektur folgt.<\/p>\n
Fazit<\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Zusammenfassend bietet die Echtzeit-Datenverarbeitung zahlreiche Vorteile gegen\u00fcber traditionellen Batch-Loading-Methoden. Dazu geh\u00f6ren die M\u00f6glichkeit, schneller Wert aus Daten zu generieren, die aktuellsten Informationen in Reporting-Tools bereitzustellen und pr\u00e4zisere Entscheidungen zu treffen. Durch eine schnellere Anpassung an Marktver\u00e4nderungen k\u00f6nnen Unternehmen ihren Wettbewerbsvorsprung sichern. Die Abkehr vom Batch-Loading kann zudem Kosten sparen, da Spitzen bei der ben\u00f6tigten Rechenleistung reduziert werden. <\/p>\n