Microbatch ist eine innovative inkrementelle Strategie, die speziell f\u00fcr gro\u00dfe Zeitreihendatens\u00e4tze entwickelt wurde. Eingef\u00fchrt in dbt Core Version 1.9 (derzeit in der Beta-Phase), erg\u00e4nzt sie bestehende inkrementelle Strategien um eine strukturierte und effiziente Methode zur schrittweisen Datenverarbeitung in Batches. <\/p>\n
In this article:<\/p>
Zu den wichtigsten Merkmalen von Microbatch geh\u00f6ren:<\/p>\n
Diese Strategie eignet sich jedoch nicht f\u00fcr Datens\u00e4tze, denen eine verl\u00e4ssliche Zeitspalte fehlt oder die eine besonders feink\u00f6rnige Kontrolle \u00fcber die Verarbeitungslogik erfordern.<\/p>\n
Microbatching funktioniert, indem die Modellverarbeitung auf Basis folgender Parameter in mehrere Abfragen (Batches) aufgeteilt wird:<\/p>\n
Jeder Batch fungiert als unabh\u00e4ngige, atomare Einheit, was Folgendes bedeutet:<\/p>\n
Die Strategien zum Ersetzen von Batches variieren je nach Datenbank-Adapter:<\/p>\n
merge<\/code><\/li>\n- BigQuery und Spark: Verwenden
insert_overwrite<\/code>.<\/li>\n- Databricks: Verwendet
replace_where<\/code>.<\/li>\n- Redshift und Snowflake: Verwenden
delete + insert<\/code>.<\/li>\n<\/ul>\nKonfiguration von Microbatch-Modellen<\/h2>\n
Bei der Einrichtung eines Microbatch-Modells sind folgende Konfigurationen erforderlich:<\/p>\n
\n- event_time: Gibt die Zeitspalte in UTC an.<\/li>\n
- batch_size: Definiert die Batch-Granularit\u00e4t (hour, day, month, year).<\/li>\n
- begin: Legt den Startzeitpunkt f\u00fcr initiale Builds oder vollst\u00e4ndige Aktualisierungen (Full Refreshes) fest.<\/li>\n<\/ul>\n
Zu den optionalen Konfigurationen geh\u00f6ren:<\/p>\n
\n- lookback: Verarbeitet vorherige Batches erneut, um versp\u00e4tet eintreffende Datens\u00e4tze zu erfassen.<\/li>\n
- concurrent_batches: Steuert die parallele Ausf\u00fchrung (wird standardm\u00e4\u00dfig automatisch erkannt).<\/li>\n<\/ul>\n
Parallele Ausf\u00fchrung von Batches<\/h2>\n
Die parallele Ausf\u00fchrung wird basierend auf den Batch-Bedingungen und der Adapter-Unterst\u00fctzung automatisch erkannt. Sie k\u00f6nnen dieses Verhalten jedoch \u00fcber die Einstellung concurrent_batches concurrent_batches<\/code> manuell anpassen. <\/p>\nEine parallele Ausf\u00fchrung ist m\u00f6glich, wenn:<\/p>\n
\n- Der Batch weder der erste noch der letzte in der Reihenfolge ist,<\/li>\n
- Der jeweilige Datenbank-Adapter die parallele Ausf\u00fchrung unterst\u00fctzt,<\/li>\n
- Die Modelllogik nicht von einer festgelegten Ausf\u00fchrungsreihenfolge abh\u00e4ngt.<\/li>\n<\/ul>\n
Wie Sie Daten nachladen (Backfilling)<\/h2>\n
Backfilling erm\u00f6glicht die erneute Verarbeitung historischer Daten innerhalb eines festgelegten Zeitraums \u00fcber folgenden Befehl:<\/p>\n
dbt run --event-time-start \"2025-02-01\" --event-time-end \"2025-02-03\"<\/code><\/pre>\nDadurch wird sichergestellt, dass ausschlie\u00dflich Batches innerhalb des definierten Zeitfensters unabh\u00e4ngig voneinander verarbeitet werden.<\/p>\n
Microbatch im Vergleich zu anderen inkrementellen Strategien<\/h2>\n
Microbatch unterscheidet sich von traditionellen inkrementellen Strategien durch:<\/p>\n
\n- Die Verwendung voneinander unabh\u00e4ngiger Abfragen f\u00fcr zeitbasierte Batches,<\/li>\n
- Den Verzicht auf
is_incremental()<\/code> und komplexe SQL-Logik,<\/li>\n- Die automatische Auswahl der effizientesten Operation (insert, update, replace) f\u00fcr die jeweilige Plattform.<\/li>\n<\/ul>\n
Fazit<\/h2>\n
Microbatch ist ein leistungsstarker neuer Ansatz f\u00fcr die inkrementelle Datenverarbeitung in dbt Core. Indem gro\u00dfe Datenmengen in \u00fcberschaubare, parallelisierbare Einheiten unterteilt werden, vereinfacht dieser Ansatz die Datenmodellierung und steigert gleichzeitig die Effizienz sowie Skalierbarkeit. Vor der Implementierung sollten Sie jedoch genau pr\u00fcfen, ob Microbatch den spezifischen Anforderungen Ihrer Datenpipeline entspricht.<\/p>\n[\/vc_column_text][divider line_type=“No Line“ custom_height=“30″][vc_column_text]\n
Watch the Video<\/h2>\n[\/vc_column_text][vc_video link=“https:\/\/youtu.be\/1Eq5W_f9K9M“ align=“center“ css=““][divider line_type=“No Line“ custom_height=“30″][vc_column_text]\n","protected":false},"excerpt":{"rendered":"
[vc_row type=“in_container“ full_screen_row_position=“middle“ column_margin=“default“ column_direction=“default“ column_direction_tablet=“default“ column_direction_phone=“default“ scene_position=“center“ text_color=“dark“ text_align=“left“ row_border_radius=“none“ row_border_radius_applies=“bg“ overflow=“visible“ overlay_strength=“0.3″ gradient_direction=“left_to_right“ shape_divider_position=“bottom“ bg_image_animation=“none“][vc_column column_padding=“no-extra-padding“ column_padding_tablet=“inherit“ column_padding_phone=“inherit“ column_padding_position=“all“ column_element_direction_desktop=“default“ column_element_spacing=“default“ desktop_text_alignment=“default“ tablet_text_alignment=“default“ phone_text_alignment=“default“ background_color_opacity=“1″ background_hover_color_opacity=“1″ column_backdrop_filter=“none“ column_shadow=“none“…<\/p>\n","protected":false},"author":88,"featured_media":60617,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3993],"tags":[],"class_list":["post-60667","post","type-post","status-publish","format-standard","has-post-thumbnail","category-dbt-talk"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t