Big-Data-Integration

Die meisten heute üblichen ETL- und ELT-Tools sowie Datenbanken können große Datenmengen nicht effizient transformieren, jedenfalls nicht ohne 

• eine teure Parallelverarbeitungs-Edition 
• Entnahme von Datenbank- oder Systemressourcen von Dritten
• eine komplexe, schwer zu wartende Hadoop- oder Spark-Umgebung
• eine 6- oder gar 7-stellige Investition in Hardware-Appliances oder Server-Upgrades oder
• das Problem auf eine noch teurere Datenbank zu übertragen.

Grund dafür sind die komplexen Sortier-, Joint- und Aggregations-Jobs, die sonst zu lange dauern. Auch nachfolgende Aufgaben, wie etwa das Laden, Analysieren oder BI-Displays, leiden dadurch. Und all diese E-, T- und L-Schritte – kurz für Extraktion-, Transformation- und Laden – werden typischerweise in separaten Schritten und I/O-Durchgängen, mit unterschiedlichen Tools oder auch ständig wechselnden Cloud-Konfigurationen durchgeführt.

Den Turbo einschalten

Wer bereits ETL- oder ELT-Tools verwendet, kann als Turbo für diese Schritte die Extraktions- und Transformationsprogramme von IRI direkt einbinden – wie etwa Fact (Fast Extract) für den parallelen Datenbank-Unload, Cosort für Big Data Sortierung und Manipulation oder die umfassende ETL- und Datenmanagement-Plattform Voracity – die innerhalb anderer ETL-Tools ausgeführt werden können und auf unterschiedlichster Hardware laufen.

Sortier-, Joint- und Aggregations-Transformationen in Tools wie Informatica, Datastage, Talend, Pentaho, ODI und anderen können ebenso optimiert werden. Viele Datentransformation- und Datenintegrations-Aufträge können auch direkt in Hadoop ausgeführt werden und können dann aus anderen Tools auf API- oder Skript-Ebene aufgerufen werden, z.B. aus Kalido, ETI, Natural der Software AG, SAS oder Terastream.

So lassen sich die vorhandenen Metadaten und Workflows einfach weiter nutzen; die IRI-Software wird dabei direkt von einem der bereits vorhandenen Tools aufgerufen, um die Verarbeitungsgeschwindigkeit zu erhöhen und/oder beim Entladen oder bei Datentransformationen Operationen zu nutzen wie Sortierungen, Joins, Aggregate, Lookups, Perl-kompatible reguläre Ausdrücke, Datentyp- und Dateiformatkonvertierungen, Feld-/Spaltenverschlüsselung und Maskierung, Detail-, Delta- (Changed Data Capture, CDC) und Summenberichte, Pivoting von Zeilen und Spalten oder Generierung von Testdaten.

Die IRI-Jobs lassen sich per Kommando an das Betriebssystem als Batch-Job starten – oder auch per ETL-Tool-Befehl über API oder Eclipse GUI aufrufen, um dann die Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen zu lassen. In der GUI-Umgebung der Workbench lassen sich die einzelnen Job-Spezifikationen oder aber auch komplette ELT- und ELT-Workflows erstellen, die dann mit den gewünschten Quellen und Zielen verbunden werden. Dabei unterstützen die IRI-Tools über 150 verschiedene Quellen und Ziele, lokal oder in der Cloud. 

Bildquelle: Gettyimages/iStock