{"id":60556,"date":"2018-04-16T14:00:29","date_gmt":"2018-04-16T12:00:29","guid":{"rendered":"https:\/\/www.scalefree.com\/blog\/brauchen-wir-noch-ein-data-warehouse\/"},"modified":"2026-09-04T11:18:37","modified_gmt":"2026-09-04T09:18:37","slug":"brauchen-wir-noch-ein-data-warehouse","status":"publish","type":"post","link":"https:\/\/www.scalefree.com\/de\/blog\/data-warehouse\/brauchen-wir-noch-ein-data-warehouse\/","title":{"rendered":"Brauchen wir noch ein Data Warehouse?"},"content":{"rendered":"[vc_row type=“in_container“ full_screen_row_position=“middle“ column_margin=“default“ column_direction=“default“ column_direction_tablet=“default“ column_direction_phone=“default“ scene_position=“center“ text_color=“dark“ text_align=“left“ row_border_radius=“none“ row_border_radius_applies=“bg“ overflow=“visible“ overlay_strength=“0.3″ gradient_direction=“left_to_right“ shape_divider_position=“bottom“ bg_image_animation=“none“][vc_column column_padding=“no-extra-padding“ column_padding_tablet=“inherit“ column_padding_phone=“inherit“ column_padding_position=“all“ column_element_direction_desktop=“default“ column_element_spacing=“default“ desktop_text_alignment=“default“ tablet_text_alignment=“default“ phone_text_alignment=“default“ background_color_opacity=“1″ background_hover_color_opacity=“1″ column_backdrop_filter=“none“ column_shadow=“none“ column_border_radius=“none“ column_link_target=“_self“ column_position=“default“ gradient_direction=“left_to_right“ overlay_strength=“0.3″ width=“1\/1″ tablet_width_inherit=“default“ animation_type=“default“ bg_image_animation=“none“ border_type=“simple“ column_border_width=“none“ column_border_style=“solid“][vc_column_text]\u201eBig Data\u201c, \u201eData Lake\u201c, \u201eData Swamp\u201c, \u201eHybrid Architecture<\/a><\/span>\u201c, \u201eNoSQL\u201c, \u201eHadoop\u201c \u2026 Mit diesen Begriffen werden Sie heutzutage sehr h\u00e4ufig konfrontiert, wenn Sie mit Daten arbeiten. Vor diesem Hintergrund stellt sich die Frage, ob Sie angesichts einer enormen Datenvielfalt und eines stetig wachsenden Datenvolumens tats\u00e4chlich noch ein Data Warehouse ben\u00f6tigen<\/span>. In diesem Beitrag erl\u00e4utern wir, was ein Data Lake ist, ob beim Einsatz von NoSQL-Plattformen wie Hadoop weiterhin ein Data Warehouse erforderlich ist und wie sich dieses optimal mit Data Vault kombinieren l\u00e4sst.<\/span><\/span><\/p>\n[\/vc_column_text][divider line_type=“No Line“ custom_height=“15″][vc_column_text]\n

Was ist ein Data Lake?<\/span><\/span><\/h2>\n[\/vc_column_text][divider line_type=“No Line“ custom_height=“15″][vc_column_text css=““ text_direction=“default“]Tamara Dull (SAS) liefert hierzu eine treffende Definition: \u201eEin Data Lake<\/a> ist ein Repository, das eine riesige Menge an Rohdaten in ihrem nativen Format vorh\u00e4lt \u2013 einschlie\u00dflich <\/span><\/i>strukturierter,<\/i><\/b>, <\/span><\/i>halbstrukturierter<\/i><\/b><\/a>und <\/span><\/i>unstrukturierter <\/i><\/b>Daten. Die Datenstruktur und die Anforderungen werden erst dann definiert, wenn die Daten tats\u00e4chlich ben\u00f6tigt werden.\u201c 1<\/sup><\/span><\/i><\/p>\n

Dass Datenstruktur und Anforderungen erst bei Bedarf festgelegt werden, bedeutet: Die Struktur wird erst dann abgebildet, wenn die Daten aus dem Repository (dem Data Lake<\/a>) abgefragt werden \u2013 ein Prinzip, das als \u201eSchema-on-Read\u201c bekannt ist. Der Unterschied zu traditionellen relationalen Datenbankmanagementsystemen (RDBMS mit \u201eSchema-on-Write\u201c) besteht darin, dass Sie die Struktur der Daten bzw. Dateien vor dem Laden in die NoSQL-Datenbank nicht vorab definieren m\u00fcssen. Dies bedeutet keineswegs, dass Strukturen \u00fcberfl\u00fcssig w\u00e4ren \u2013 ganz im Gegenteil: Struktur ist essenziell, um einen Data Lake produktiv nutzen zu k\u00f6nnen. Sie wird jedoch nicht fest im Data Lake selbst definiert, sondern erst in dem Moment angewendet, in dem der Speicherort der Dateien einem Schema f\u00fcr den Lesevorgang zugeordnet wird. Fehlt eine solche Definition und dient eine NoSQL-Datenbank wie Hadoop \u2013 die im Kern lediglich ein Dateispeicher ist \u2013 rein als unstrukturierte Landing Zone, verwandelt sich der Data Lake rasch in einen Data Swamp. In der Folge m\u00fcssen Data Scientists oder Power User einen unverh\u00e4ltnism\u00e4\u00dfig hohen Aufwand betreiben, um diese Datenhalde zu durchforsten und verwertbare Erkenntnisse zu gewinnen. <\/p>\n

Mit Werkzeugen wie Hive k\u00f6nnen Sie ein solches Abfrageschema definieren \u2013 und zwar unter Nutzung von Massively Parallel Processing (MPP) auf einem HDFS.[\/vc_column_text][divider line_type=“No Line“ custom_height=“15″][\/vc_column][\/vc_row][vc_row type=“in_container“ full_screen_row_position=“middle“ column_margin=“default“ column_direction=“default“ column_direction_tablet=“default“ column_direction_phone=“default“ scene_position=“center“ text_color=“dark“ text_align=“left“ row_border_radius=“none“ row_border_radius_applies=“bg“ overflow=“visible“ overlay_strength=“0.3″ gradient_direction=“left_to_right“ shape_divider_position=“bottom“ bg_image_animation=“none“][vc_column column_padding=“no-extra-padding“ column_padding_tablet=“inherit“ column_padding_phone=“inherit“ column_padding_position=“all“ column_element_direction_desktop=“default“ column_element_spacing=“default“ desktop_text_alignment=“default“ tablet_text_alignment=“default“ phone_text_alignment=“default“ background_color_opacity=“1″ background_hover_color_opacity=“1″ column_backdrop_filter=“none“ column_shadow=“none“ column_border_radius=“none“ column_link_target=“_self“ column_position=“default“ gradient_direction=“left_to_right“ overlay_strength=“0.3″ width=“1\/1″ tablet_width_inherit=“default“ animation_type=“default“ bg_image_animation=“none“ border_type=“simple“ column_border_width=“none“ column_border_style=“solid“][vc_column_text]\n

<\/h2>\n

Brauchen wir noch ein Data Warehouse?<\/span><\/h2>\n

Wenn Sie bereits \u00fcber einen Data Lake mit s\u00e4mtlichen Unternehmensdaten verf\u00fcgen, dr\u00e4ngt sich die Frage auf: Wird \u00fcberhaupt noch ein Data Warehouse gebraucht oder fungiert der Data Lake nicht l\u00e4ngst als solches?<\/span><\/p>\n

Dazu lohnt sich ein direkter Vergleich der beiden Konzepte: Ein Data Warehouse speichert Daten themenorientiert, zeitvariant und \u00fcber einheitliche Business Keys integriert. Ein Data Lake hingegen ist beim Datenladeprozess (Ingestion) weder themenorientiert noch integriert. Zudem kann er Mechanismen wie Change Data Capture (CDC) oder Delta-Verarbeitungen nicht nativ abbilden, da Dateiinhalte nicht direkt aktualisiert, sondern lediglich hinzugef\u00fcgt oder \u00fcberschrieben werden. Aus technischer und funktionaler Sicht bestehen gravierende Unterschiede zwischen dem Einsatz eines traditionellen RDBMS f\u00fcr Data Warehouses und NewSQL- bzw. NoSQL-Plattformen f\u00fcr Data Lakes. <\/span>[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Braucht man also noch ein Data Warehouse? Die kurze Antwort lautet: Es kommt auf den Einsatzzweck an. Wenn Sie bislang kein Data Warehouse nutzen und Ihre Aufgaben ausschlie\u00dflich im Bereich Data Science<\/a> oder in der explorativen Datenanalyse liegen, ist ein Data Warehouse vorerst meist nicht zwingend erforderlich. Ben\u00f6tigen Sie jedoch verl\u00e4ssliche Strukturen, fundierte Business Intelligence, \u00fcber mehrere Quellsysteme hinweg harmonisierte Daten und eine R\u00fcckbindung der Kennzahlen an Ihre operativen Gesch\u00e4ftsprozesse, f\u00fchrt an einem Data Warehouse kein Weg vorbei.<\/span> Kurz gesagt: Wenn Sie belastbare Mehrwerte aus den Rohdaten Ihres Data Lake generieren m\u00f6chten, bleibt ein Data Warehouse das bew\u00e4hrteste Konzept.<\/span><\/p>\n

Ist bereits ein Data Warehouse vorhanden, empfiehlt sich als Best Practice dessen gezielte Erweiterung: Integrieren Sie Ihr bestehendes RDBMS in den Data Lake oder setzen Sie auf eine<\/span> hybride Architektur.<\/a><\/span> Dabei wird die relationale Staging Area durch eine HDFS-basierte Staging Area ersetzt, die sowohl strukturierte als auch unstrukturierte Daten flexibel aufnehmen kann.<\/span><\/p>\n

1 https:\/\/www.kdnuggets.com\/2015\/09\/data-lake-vs-data-warehouse-key-differences.html
\n2 \u00fcbernommen von https:\/\/www.smartdatacollective.com\/big-data-cheat-sheet-what-executives-want-know\/<\/span><\/p>\n[\/vc_column_text][\/vc_column][\/vc_row]\n","protected":false},"excerpt":{"rendered":"

[vc_row type=“in_container“ full_screen_row_position=“middle“ column_margin=“default“ column_direction=“default“ column_direction_tablet=“default“ column_direction_phone=“default“ scene_position=“center“ text_color=“dark“ text_align=“left“ row_border_radius=“none“ row_border_radius_applies=“bg“ overflow=“visible“ overlay_strength=“0.3″ gradient_direction=“left_to_right“ shape_divider_position=“bottom“ bg_image_animation=“none“][vc_column column_padding=“no-extra-padding“ column_padding_tablet=“inherit“ column_padding_phone=“inherit“ column_padding_position=“all“ column_element_direction_desktop=“default“ column_element_spacing=“default“ desktop_text_alignment=“default“ tablet_text_alignment=“default“ phone_text_alignment=“default“ background_color_opacity=“1″ background_hover_color_opacity=“1″ column_backdrop_filter=“none“ column_shadow=“none“…<\/p>\n","protected":false},"author":91,"featured_media":60557,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3949],"tags":[],"class_list":["post-60556","post","type-post","status-publish","format-standard","has-post-thumbnail","category-data-warehouse"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t