ETL oder ELT? Am besten das Beste aus beiden Welten!

Die Buchstabenfolge ETL steht für „Extract – Transform – Load“ oder „Auslesen – Aufbereiten – Laden“ und damit für jene drei Phasen, über die Daten aus internen oder externen Quellen in ein „Data Warehouse“ (DWH) als Zielsystem integriert werden. Relevant ist ETL vor allem dann, wenn es um „Big Data“ und deren gezielte Analyse durch Business-Intelligence-Anwendungen geht. Für eine sinnvolle Nutzung sind diese Daten aus den unterschiedlichsten Systemen zu extrahieren und zusammenzuführen, redundante Daten müssen gelöscht, Korrelationen erkannt und Strukturen vereinheitlicht werden. Denn nur so ist die zur Business-Analyse erforderliche Datenkonsistenz und -qualität erreichbar.

Das geschieht mittels konkreter ETL-Software von Herstellern wie IBM, SAP, Oracle, Microsoft oder eben auch Lobster. Tragen sich Unternehmen mit dem Gedanken, ihr Datenmanagement ETL-gestützt zu optimieren, sollten sie beim Erwerb einer Software folgende Features berücksichtigen: Möglichkeit der Anbindung an viele, unterschiedliche Datenbanksysteme und Cloud-Plattformen, Oberflächen mit intuitiver, weil No-Code-basierter Nutzerführung, zentrales Monitoring, Visualisierung des Prozessfortschritts und zuverlässige Performance selbst bei hohen Datenmengen. 

Von bauch- zu datengetriebenen Entscheidungen

Schließlich ist zu klären, ob als Verfahren ETL oder ELT – oder beide – zielführend sind. Denn wie schon der Buchstabendreher andeutet, werden bei ELT die Daten zunächst ungeordnet (in einen „Data Lake“) geladen und erst bei der Abfrage strukturiert. Die Transformation wird also zum abschließenden Schritt und kann auf einen größeren Bestand aus rohen und transformierten Daten zurückgreifen. Mit allen Vor- und Nachteilen.

„Gelingt eine konsequente und saubere Umsetzung, helfen ETL und ELT, Schwachstellen von Geschäftsabläufen zu erkennen und Prozesse zu optimieren“, sagt Steffen Brehme, „also nicht bauch- sondern datengetriebene Entscheidungen zu fällen.“ Im Interview erklärt er die Unterschiede und die Einsatzfelder.

Herr Brehme, ETL und ELT sind Abkürzungen für Prozesse, die schon seit längerem in Zusammenhang mit Datenintegration genannt werden. Könnten Sie uns dennoch kurz den Unterschied zwischen beiden Ansätzen erklären?

Steffen Brehme: Tatsächlich ist ETL beziehungsweise ELT nichts Neues, gewinnt aber aufgrund performanter Systemarchitekturen wie Hadoop wieder an Bedeutung. Bei beiden Ansätzen geht es um die Verarbeitung von Rohdaten zu Geschäftsdaten – mittels Extrahieren, Transformieren und Laden. 

Der Unterschied liegt im Zeitpunkt der Transformation. Bei ETL erfolgt die Datenformatierung vor dem Laden auf das Zielsystem, dem „Data Warehouse“ (DHW). Bei ELT erst nach dem Laden in die Datensenke, dem „Data Lake“. Bei ETL werden Daten also bereinigt geladen, bei ELT ungeordnet.

Haben Sie ein praktisches Anwendungsbeispiel? 

Brehme: Sicher! Im Kopf Ihrer Rechnungen stehen Informationen wie Rechnungsnummer und -datum, Kunden-ID etc., darunter zum Beispiel 27 Artikel-Positionen und der Rechnungsbetrag in Dollar, da das Ihre Bezahlwährung ist. Jetzt wollen Sie wissen, wie die Durchschnittssumme der Rechnungen für das 3. Quartal in Euro aussieht – und starten Ihren ETL-Prozess: Die Daten werden aus dem Rechnungstopf ausgelesen und nach dem Kriterium „Durchschnittspreis aller Rechnungen aus Q3 in Euro“ transformiert. Eventuell angereichert um den Tageskurs. Die so gewonnenen Daten lassen Sie sich dann über „Business Intelligence“- bzw. BI-Tools anzeigen als Ausgangspunkt für datenbasierte Entscheidungen.

Die Transformation, egal ob vor- oder nachgeschaltet, ist die aufwändigste Phase des Prozesses. Welche Parameter spielen eine Rolle, um sinnvoll aggregierte Daten zu erhalten?

Brehme: Damit heterogene Daten in der Transformation strukturiert aufbereitet werden können und aus diffusen Massendaten geschäftsrelevantes Wissen wird, sind vor allem zwei Aspekte zu beachten – Verwendungszweck und Datengüte. Nutzer müssen sich im Vorfeld fragen: Welche Informationen sind für die Analyse relevant? 

Dahinein spielt als zweiter Parameter die Datengüte. Dubletten und veraltete Daten müssen entfernt, Veränderungen und Erweiterungen des extrahierten Datenbestands vorgenommen werden. Zum Beispiel über SAP als Drittsystem, über Konnektoren-Reports von Amazon Marketplace, über die Ergänzung von Rechnungsadressen durch Geodaten. Dieses BI-gerichtete Aggregieren ist konkret über entsprechende Funktionen oder Filter in ETL-Modulen zu erreichen. 

Können Sie etwas zu den Vor- oder Nachteilen beider Prozesse sagen?

Brehme: Die Extraktion der Daten läuft bei beiden Prozessen in etwa gleich ab, wobei Rohdaten entweder komplett oder leicht vorgefiltert aus Datenbanken, Anwendungen oder virtueller Infrastruktur ausgelesen werden. Allerdings ist vor einer Kaufentscheidung zu prüfen, ob Datenstrukturen wie JSON, CSV oder XML oder auch native Mongo-DB und NO-SQL-Datenbanken für die Extraktion angezogen werden können – und eben nicht nur SQL-basierte Datenquellen.

Bei ETL wird die Transformation bereits im zweiten Schritt vorgenommen. Informationen werden bereinigt, geordnet, angereichert und entsprechend der Analyse normalisiert, z.B. alle Preise währungsbereinigt aufbereitet. Nach dem Laden in das „Data Warehouse“ stehen diese transformierten Daten sofort zur Verfügung. Gewissermaßen ready-to-use, aber eben auch auf den ursprünglichen Zweck begrenzt. Ergibt sich während der Analyse, dass ein nicht im DWH verfügbares Kriterium für die Entscheidung relevant ist, muss der gesamte ETL-Prozess neu gestartet werden. 

Bei ELT hingegen werden Rohdaten oder leicht vorgefilterte Daten direkt auf das Zielsystem übertragen. Sie stehen folglich sehr schnell, historisch komplett und in größerer Menge zur Verfügung. Andererseits sind diese Informationen nicht sofort nutzbar, da sie für eine gezielte Analyse erst noch aufbereitet werden müssen. Verschiebt sich der Fokus während der Analyse, ist allerdings kein ‚Zurück-auf-Los‘ erforderlich, da die Informationen ja vorliegen. Obwohl auch bei ELT das Erstellen eines validen Reports, je nach gespeicherter Datenmenge, einige Zeit in Anspruch nehmen kann. 

Es lässt sich also nicht per se sagen, welcher Ansatz besser ist?

Brehme: Nein, es gibt keine pauschale Lösung. Beim Aufbau einer Datenarchitektur sind immer Aspekte wie Netzwerkarchitektur, verfügbare Cloud- oder BI-Kapazitäten, Budgets, im Unternehmen vorhandenes Know-how etc. zu berücksichtigen. 

Vor einer Entscheidung sollte man sich fragen, ob die Daten in Echtzeit geladen werden müssen. Dann ist ELT der bessere Weg. Ändern sich die Parameter der Datenaufbereitung häufig, da der Analysekontext volatil ist, sollte ebenfalls auf ELT gesetzt werden. 

Angesichts des IT-Fachkräfte-Mangels ist die Frage relevant: Wer nimmt die Auswertung der gewonnenen Daten vor? Denn „Data Scientists“ – wenn man sie überhaupt hat – arbeiten lieber mit Rohdaten, also mit ELT. Business-User oder „Citizen Developer“ hingegen mit normalisierten Daten, also mit ETL. 

Hier kommen die Usability und No-Code ins Spiel: Wegen der geringeren Komplexität von ETL-Tools können damit auch IT-affine Mitarbeiter aus den Fachbereichen oder das bestehende EDI-Team BI-Reports erstellen – mit wenig Schulungsaufwand. In diesem Zusammenhang ist für Mittelständler mit kleineren Budgets ETL auch deshalb die bessere Wahl, weil keine kostspieligen Consultingleistungen wie bei einem „Data Lake“ anfallen.

Und natürlich spielen bei der Antwort auf die Frage „ETL oder ELT?“ auch die Cloud-Technologie oder „Software as a Service“ – und damit die Skalierbarkeit – eine erhebliche Rolle.

Das heißt: Ein eindeutiges Entweder-Oder gibt es nicht. Deshalb bietet das ETL/ELT-Modul von Lobster einen hybriden Ansatz und bringt das Beste aus den beiden oder – in der Zusammenschau mit BI – aus den drei Welten zusammen. Mit einem hybriden Tool können Sie in ein Big-Data-System wie zum Beispiel Hadoop schreiben, zuvor aber schon eine gewisse Bereinigung der Daten vornehmen, somit Map-Reduce-Regeln vereinfachen und das Risiko einer Datenverunreinigung („Data Poisoning“) im „Data Lake“ vermindern beziehungsweise sogar verhindern. 

Bei Lobster sprechen wir zudem von einem zweistufigen System: Profile von Lobster_data arbeiten dokumentenorientiert, das ETL/ELT-Modul eher zeilenorientiert. Daraus ergibt sich eine signifikant verbesserte Performance in der sequentiellen Verarbeitung und eine Optimierung des benötigten Speichervolumens.

Inwiefern verändern die gesunkenen Kosten für cloudbasierte Technologien den Aufbau von Business-Intelligence-Lösungen? 

Brehme: Die Kosten für Cloud Computing sinken, beziehungsweise passen sich über Pay-as-you-go-Modelle der jeweiligen Nutzung an. Somit wird die Rechenleistung virtueller Systeme für die Transformation nach dem Load günstiger – und ELT als Datenintegrationsansatz interessanter. Während ein Aufstocken der Rechen- und Speicherkapazität früher hohe Kosten für Hardware erforderte, können solche Anschubinvestitionen heute entfallen. Setzen Unternehmen auf virtuelle Infrastrukturen oder gehostete Services, umgehen sie zudem das Risiko unzureichender und ungenutzter Leistung. 

Aber Vorsicht: Obwohl die Preise in der Cloud zunächst verlockend niedrig erscheinen, summieren sich die Einzel- und Zusatzleistungen für ständig wachsende Datenmengen gelegentlich zu Beträgen auf, die ein überlegtes Management-Konzept sinnvoll machen können. Denn selbst bei Maschinenkosten von beispielsweise nur 0,12 Euro pro Minute in der Cloud, können sich die Ausgaben am Monatsende schnell auf mehrere Hundert Euro summieren: Kosten für Plattenplatz und Transaktionsvolumen kommen hinzu, ebenso die Multiplikation des Cent-Betrags durch zahlreiche, erneute Abfragen vonseiten der Mitarbeiter. Sinnvoll eingesetzt ist Cloud Computing aber ein wirklicher Mehrwert. Allerdings bestehen im Mittelstand häufig Unsicherheiten bezüglich der konkreten Umsetzung, weshalb sich gerade für diese Betriebsgröße anbietet, ein hybrides Modul zu wählen. 

Gibt es unabhängig von der Nutzung verteilter Systeme weitere Einsparpotenziale durch ETL/ELT?

Brehme: Kosteneinsparungen lassen sich auch durch No-Code-basiertes ETL erreichen. Vorhin hatte ich schon kurz von „Data Scientists“ als ELT-Experten gesprochen. Aber diese Spezialisten muss man erst einmal finden und bezahlen können. No-Code-Module für ETL versetzen Unternehmen deshalb vielfach erst in die Lage, überhaupt „Business Analytics“ zu betreiben – mit bereits geschultem Personal, das das eigene Geschäftsmodell bestens kennt und sich zu einem unabhängigen Ökosystem entwickeln kann. 

Auch ein in den Prozess integriertes zentrales Monitoring bietet erhebliches Einsparpotenzial. Ein ganz wichtiger Punkt. Denn nur über eine engmaschige Kontrolle werden Fehler rechtzeitig erkannt, identifiziert und dann behoben. Für viele unserer Kunden ist das Prozess-Monitoring die „heilige Kuh“, ein absolutes Must-Have, für das sie sogar auf Performance verzichten würden. 

Sollte ETL/ELT also nicht als stand-alone Lösung eingesetzt werden?

Brehme: Um die Relevanz von ETL oder ELT einzuschätzen, ist immer das Gesamtbild zu betrachten. So sollte das entsprechende Modul Bestandteil einer Suite sein. Bei Lobster gibt es beispielsweise Profil plus ETL/ELT-Modul plus Workflow plus „Control Center“ – also Monitoring – plus Cloud-System. Als Stand-alone-Lösung wäre jede ETL-Struktur immer nur eine Art Datenautobahn von der Datenquelle zum Datenziel – also ohne großen Mehrwert. Erst aus dem Gesamtpaket ergeben sich erhebliche Vorteile. 

Stellen wir uns folgendes Szenario vor: Benötigte Daten sind nicht da. Keiner hat’s gemerkt. Wieso? Weil kein Monitoring verfügbar war. Kann man aber über eine REST-API in einem Drittsystem wie Grafana benutzerfreundliche Dashboards aufbauen und dort eine Timeline-Datenbank reinschreiben, lassen sich Vergleiche anstellen: Wieso hat der Prozess XY heute 27 fehlerhafte Datensätze produziert, vor einem Monat nur drei und davor 200! Das kann man dank Monitoring analysieren und kennt am Ende des Tages den Grund, kann also handeln. ETL/ELT verlangt immer nach einer ganzheitlichen Lösung, um erfolgreich zu sein.

Könnten Sie abschließend bitte nochmal kurz zusammenfassen, was es beim Aufbau von ETL/ELT-Prozessen zu berücksichtigen gilt?

Brehme: Wichtigste Aussage: Das Gesamtbild ins Auge fassen und ETL/ELT nicht isoliert behandeln. Ausgehend von einer klaren Definition der Analyse-Anforderungen im ersten Schritt. Gefolgt von Antworten zu konkreten Umsetzungsfragen. Wie sieht es mit meinem Ressourcenmanagement aus: Kann der Prozess auf vorhandenen Instanzen effizient verarbeitet werden, oder wird er besser ausgelagert? Wie schnell und in welchem Umfang sollten Daten verfügbar sein? Integriert meine Lösung ein zentrales Monitoring zur effektiven Überwachung der Prozesse? Habe ich das erforderliche Budget, um Beratungs- und Analyse-Leistung extern einzukaufen, oder setze ich auf „Citizen Developer“ und No-Code und damit auf eine kostengünstige Umsetzung? 

Es gibt einfach keine Pauschallösung. Weshalb es klug ist, einen hybriden Ansatz zu wählen – auch im Sinne einer funktionierenden Data-Fabric-Architektur. 

Herr Brehme, vielen Dank für das Interview!

Bildquelle: Bettina Beierlein