In diesem Artikel gehen wir n\u00e4her auf die praktische Anwendung von Meltano ein \u2013 einer Open-Source-Plattform, die f\u00fcr den Aufbau, die Ausf\u00fchrung und die Orchestrierung von ELT-Pipelines entwickelt wurde. Aufbauend auf unserer vorherigen Diskussion zur Architektur von Meltano f\u00fchrt Sie dieser Beitrag durch den Prozess der Erstellung einer Datenintegrations-Pipeline: von der Initialisierung eines Projekts \u00fcber die Konfiguration von Extractors und Loadern bis hin zur Nutzung der Meltano-Benutzeroberfl\u00e4che (UI) f\u00fcr ein effizientes Management. <\/p>\n
In this article:<\/p>
Zun\u00e4chst erstellen wir ein neues Meltano-Projekt.<\/span> Der Hauptbestandteil Ihres Projekts ist die Projektdatei meltano.yml. Diese Datei definiert Ihre Plugins, Pipelines und Konfigurationen.<\/p>\n Das Projekt und die Datei meltano.yml lassen sich \u00fcber die Meltano CLI verwalten und werden direkt f\u00fcr das Deployment mit Docker\/Kubernetes containerisiert. Bitte beachten Sie jedoch, dass noch keine Plugins oder Pipeline-Zeitpl\u00e4ne (Schedules) definiert wurden. <\/span>Dies erledigen wir im n\u00e4chsten Schritt.<\/span>[\/vc_column_text][divider line_type=“No Line“][vc_column_text]\n Um herauszufinden, ob ein Extractor f\u00fcr Ihre Datenquelle direkt (\u201eout of the box\u201c) unterst\u00fctzt wird, k\u00f6nnen Sie die Extractor-Liste auf MeltanoHub pr\u00fcfen oder den Befehl<\/span> \u201e<\/span>meltano discover\u201c ausf\u00fchren.<\/span><\/p>\n In diesem Beispiel verwenden wir den Tap f\u00fcr GitLab, da wir hierf\u00fcr keine API-Zugangsdaten erstellen m\u00fcssen.<\/span>[\/vc_column_text][image_with_animation image_url=“29494″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][vc_column_text]Meltano \u00fcbernimmt die Einrichtung, Konfiguration und Steuerung der Aufrufe. <\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29493″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][divider line_type=“No Line“][vc_column_text] Wir konfigurieren den Extractor so, dass er die Daten aus dem Repository<\/span> meltano\/meltano <\/span>abruft. Zus\u00e4tzlich definieren wir, dass nur Daten ab dem 1. Januar 2021 extrahiert werden und nur Daten des Streams \u201eTags\u201c enthalten sind.<\/span>[\/vc_column_text][image_with_animation image_url=“29492″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][vc_column_text css=““ text_direction=“default“]Die Datenauswahl ist damit wesentlich einfacher als bei der ausschlie\u00dflichen Nutzung von Singer! <\/span>Der Extractor ist nun eingerichtet. <\/span>Als N\u00e4chstes f\u00fcgen wir einen Loader hinzu, um die Daten in einer CSV-Datei zu speichern, und definieren unseren Zielpfad:<\/span>[\/vc_column_text][image_with_animation image_url=“29491″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][vc_column_text css=““ text_direction=“default“]Bitte beachten Sie, dass das Verzeichnis vorab manuell erstellt werden muss, da es nicht automatisch angelegt wird. <\/span>So sieht unsere meltano.yml aus:<\/span>[\/vc_column_text][divider line_type=“No Line“][image_with_animation image_url=“29490″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][vc_column_text]Anstatt die CLI zu verwenden, k\u00f6nnen Sie \u00c4nderungen auch direkt in der YAML-Datei vornehmen.<\/span><\/p>\n
\n<\/span>F\u00fchren Sie dazu in einem Verzeichnis Ihrer Wahl den Befehl<\/span> \u201e<\/span>meltano init\u201c<\/span> aus. Dadurch wird ein neues Verzeichnis erstellt, das unter anderem Ihre Projektdatei <\/span>\u201emeltano.yml\u201c<\/span> enth\u00e4lt.<\/span>[\/vc_column_text][image_with_animation image_url=“29495″ image_size=“full“ animation_type=“entrance“ animation=“None“ animation_movement_type=“transform_y“ hover_animation=“none“ alignment=““ border_radius=“none“ box_shadow=“none“ image_loading=“lazy-load“ max_width=“100%“ max_width_mobile=“default“][vc_column_text css=““ text_direction=“default“]\nDer Meltano-Projektordner<\/span><\/h2>\n[\/vc_column_text][vc_column_text css=““ text_direction=“default“]Der Projektordner ist die zentrale Anlaufstelle (\u201eSingle Source of Truth\u201c) f\u00fcr alle Ihre Datenanforderungen. Es handelt sich um ein einfaches Verzeichnis, das problemlos versionsverwaltet werden kann.<\/span><\/p>\n
Hinzuf\u00fcgen eines Extractors und eines Loaders <\/span><\/h2>\n[\/vc_column_text][vc_column_text]Initialisieren wir nun die Komponenten der Pipeline. Das erste Plugin, das Sie hinzuf\u00fcgen sollten, ist ein Extractor, der daf\u00fcr zust\u00e4ndig ist, Daten aus Ihrer Datenquelle zu extrahieren.<\/span><\/p>\n