Schnellere Sortierung statt aufwendiger Big-Data-Infrastrukturen

Optimierung des VLDB-Betriebs

Big Data ist in aller Munde, denn mit den Daten lassen sich neue Geschäftsmöglichkeiten generieren, wenn nicht sogar völlig neue Geschäftsmodelle gestalten. Doch das setzt eine adäquate IT-Infrastruktur voraus, deren Einführung aufwendig, kostspielig und durchaus riskant sein kann. Doch das muss nicht sein, meint Amadeus Thomas, Geschäftsführer der Jet-Software GmbH in Babenhausen – und verweist auf seine Software Cosort.

Bildquelle: Thinkstock / iStock

Das Sortierprogramm Cosort stellt „Big Data“ auch auf IBM i für neuartige Anwendungen bereit, u.a. auch für KI-Systeme wie Watson.

Wenn es um die performante Verarbeitung von Big Data geht, kommen schnell Forderungen auf, etwa nach der Einführung neuer NoSQL-Datenbanken wie Hadoop, nach dem Austausch der bewährten Server- und Storage-Systeme durch kostspielige In-Memory-Hardware oder nach der Einführung zusätzlicher ETL-Appliances für das schnelle Extrahieren, Transformieren und Laden (ETL) der benötigten Daten. Alternativ steht meistens auch ein ebenfalls teurer Umstieg auf die aktuellste Servergeneration mit riesigen RAM-Speicher und schnellem Flash-Storage im Raum.

„Doch das ist oft gar nicht notwendig“, warnt Amadeus Thomas vor einem durchaus riskanten oft auch langwierigen und meistens völlig überflüssigen Abschied von den sogenannten Legacy-Systemen wie IBM Power i. In vielen Fällen reiche bereits deren gezielte Modernisierung aus, durch ein performantes Software-Tool für die Sortierung der umfangreichen Datenbestände, der „Very Large Databases“ (VLDB); Thomas verweist an dieser Stelle natürlich auf sein Produkt Cosort des Jet-Software-Partners Innovative Routines International Inc. (IRI) aus Florida, das sich seit über 40 Jahren auf IBM-Mainframes bewährt und seit Anfang 2002 (ab OS/400 V5R1) auch auf der Midrange-Plattform IBM i und ihren Vorläufern einsetzbar ist.

Spart Zeit, Kosten und CPU

„Wir haben kontinuierlich Sortier- und Migrationstechnologien für Plattformen mit offenen Systemen entwickelt, geliefert und verbessert“, erklärt Thomas. Das Ergebnis von mehr als 40 Jahren Entwicklung sei eine schnellere Bereitstellung der Ergebnisse und neuer Metadaten, was auch bei Datentransformation und/oder -migration, Security-Maßnahmen, Prototyping und Reporting helfe.

Der vereinfachte Umgang mit Metadaten und die bessere Ressourcenausnutzung beschleunigen laut Thomas die Gestaltung, Bereitstellung und Ausführung der entsprechenden Batch-Jobs enorm. Daten aus mehr als 150 Datenquellen lassen sich demnach mit Cosort sortieren, verbinden, aggregieren und laden –und zwar „zehnmal schneller als mit SQL, sechsmal schneller als mit ETL-Tools und zwölfmal schneller als BI-Tools“, verspricht Thomas. Unterstützt werden neben IBM i und Mainframes auch Unix/Linux, Windows und die Rehosting-Plattform Unikix. Dort beschleunigt Cosort z.B. Offline-Datenbankreorgs, SAS Proc Sort, die 4GL Natural und ältere Cobol-Programme und wird vor allem dann interessant, wenn hochvolumige Aufträge mehr Sortier- und Datentransformationsgeschwindigkeit erfordern.

Bildquelle: Thinkstock / iStock

©2019Alle Rechte bei MEDIENHAUS Verlag GmbH

Unsere Website verwendet Cookies, um Ihnen den bestmöglichen Service zu bieten. Durch die weitere Nutzung der Seite stimmen Sie der Verwendung zu. Weitere Infos finden Sie in unserer Datenschutzerklärung.

ok