Data-Vault-Automatisierung mit DataVault4coalesce
Durch eine Kooperation ist DataVault4coalesce entstanden, ein Open-Source-Erweiterungspaket für coalesce.io. In einem früheren Webinar haben wir coalesce.io bereits näher beleuchtet einen neuen Mitbewerber im stark umkämpften Markt der Data-Warehouse-Automatisierungstools.
Bringen Sie Ihre Data-Vault-Automatisierung auf das nächste Level
Coalesce ist ein modernes, spaltenorientiertes (column-aware) Data-Warehouse-Automatisierungstool. In diesem Webinar erfahren Sie, wie die neueste Veröffentlichung von Scalefree bewährte Best Practices aus der Data-Vault-Welt nahtlos in coalesce.io einbringt. Dies umfasst Datenlademuster, Data-Vault-bezogene Funktionen und vieles mehr – alles eingebettet in einfach zu bedienende UI-Optionen, um die einzigartige, konfigurierbare Benutzeroberfläche von Coalesce optimal zu nutzen. Schalten Sie ein, um DataVault4coalesce in Aktion zu sehen!
Alle, die dieses Webinar gesehen haben, erinnern sich vielleicht daran, dass wir am Ende eine noch engere Partnerschaft zwischen coalesce.io und Scalefree angekündigt haben – verbunden mit dem Versprechen, die Best Practices von Scalefree direkt in coalesce.io zu integrieren.
Falls Sie das Webinar verpasst haben, finden Sie die Aufzeichnung hier.
Zusammenfassung: Was ist Coalesce?
coalesce.io ist eine Datentransformationslösung für Snowflake. Wenn Sie mit Coalesce arbeiten, erstellen Sie gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs), die Knoten (Nodes) enthalten. Ein Knoten repräsentiert dabei jeweils ein physisches Datenbankobjekt, wie etwa Tabellen, Views oder auch Stages und externe Tabellen.
Coalesce basiert auf Metadaten, die Informationen auf Tabellen- und Spaltenebene speichern und die Struktur innerhalb Ihres Data Warehouses beschreiben. Dieses metadatenorientierte Design ermöglicht eine Reihe von Funktionen, die Skalierbarkeit und Verwaltbarkeit stark fördern.
Die zentralen Metadaten ermöglichen es Ihrem Team, vergangene, aktuelle und gewünschte Zustände des Data Warehouses nachzuverfolgen und alle damit verbundenen Workflows tief zu integrieren. Zudem können Anwender standardisierte Muster und Templates auf Spalten- und Tabellenebene definieren.
Wie kommt Data Vault hier ins Spiel?
Die genannten Templates öffnen die Tür für die Implementierung von Data-Vault-2.0-Mustern und Best Practices. Besonders auf Tabellenebene liegt der Gedanke nahe, Vorlagen für Hubs oder Links zu erstellen.
Auf Spaltenebene kann dies eine wiederkehrende Transformation sein, die zentral in einem Makro verwaltet wird. Das macht es sehr einfach, Änderungen mit minimalen oder gar keinen Auswirkung umzusetzen, denken Sie hierbei beispielsweise an Hash-Key-Berechnungen oder virtuelles Load-End-Dating.
Genau das haben wir bei Scalefree seit dem Webinar im vergangenen Jahr getan: Lead-Entwickler von coalesce.io haben sich mit den Data-Vault-Experten von Scalefree zusammengesetzt. Das gemeinsame Ziel: Eine Lösung zu schaffen, die Anwendern hilft, ihre Data-Vault-2.0-Implementierung effizient zu automatisieren.
Wie schnell kann man ein Data Vault aufbauen? Die Antwort lautet: Ja!
Aus dieser Kooperation ist DataVault4coalesce entstanden, ein Open-Source-Erweiterungspaket für coalesce.io, das ab dem 16. März verfügbar ist! Werfen wir einen kurzen Blick auf die Möglichkeiten, die DataVault4coalesce bietet.
Die erste Version von DataVault4coalesce enthält ein grundlegendes Set an Data-Vault-2.0-Entitäten:
- Stages
- Hubs
- Links
- Satellites
- PITs
- Snapshot Control Tables
DataVault4coalesce stellt nicht nur DDL- und DML-Templates für die oben genannten Entitätstypen bereit, sondern nutzt auch die Flexibilität von Coalesce, die Benutzeroberfläche für jeden Knotentyp anzupassen. Für Stages bedeutet dies beispielsweise, dass Anwender entscheiden können, ob DataVault4coalesce Ghost Records automatisch generieren soll.
Diese Data-Vault-spezifische Benutzeroberfläche zieht sich durch alle Knotentypen und ermöglicht es Anwendern, DataVault4coalesce komfortabel an die eigenen Anforderungen anzupassen.
Fazit
Zunächst ein kleiner Dämpfer für die Vorfreude: DataVault4coalesce ist erst ab dem 16. März verfügbar. Es gibt jedoch keinen Grund, so lange zu warten, um tiefer in coalesce.io einzutauchen! Da die Lösung jetzt Teil von Snowflake Partner Connect ist, war es noch nie so einfach, direkt eine neue coalesce.io-Umgebung auszuprobieren.
Melden Sie sich einfach für eine kostenlose Snowflake-Testversion an und richten Sie Ihren Zugang zu coalesce.io innerhalb von Sekunden über das Partner-Connect-Portal ein. Anschließend laden Sie Ihre Daten und können sofort mit dem Aufbau Ihrer Datenpipelines beginnen. Sobald der 16. März da ist, fügen Sie DataVault4coalesce einfach Ihrer coalesce.io-Umgebung hinzu – und bauen Ihr Data Vault schneller auf als je zuvor.
Verpassen Sie außerdem nicht unsere Webinar-Aufzeichnung, in der wir Ihnen DataVault4coalesce in Aktion zeigen. Sehen Sie sich das Video direkt hier an!
