17.04.2023 Cosort mit vier Methoden zur Datenveredelung

Management der Testdaten sorgt für Sicherheit

Von: Berthold Wesseler

Um das Testdatenmanagement sicherer zu gestalten, schlägt Amadeus Thomas, Chef des Iri-Partners Jet-Software GmbH, vier Methoden zur Datenveredelung vor: Datenmaskierung, Datenbank-Subsetting oder Datensynthese oder eine Kombination davon.

Daten, die durch Anwendungsentwicklung, maschinelles Lernen oder Analyse-Pipelines fließen, müssen mehrere Anforderungen erfüllen, die allen Bereichen gemeinsam sind, darunter:

Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln,
Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen,
Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise),
Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit.

Dies ist ein Artikel aus unserer Print-Ausgabe 3-4/2023. Bestellen Sie ein kostenfreies Probe-Abo.

„Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive“, sagt Amadeus Thomas, Chef des Iri-Partners Jet-Software GmbH, Babenhausen. Um diese Anforderungen zu erfüllen, liefere der Partner mit seiner Cosort-Suite ein vielschichtiges Testdatenmanagement-Framework mit. Auslöser für die Entwicklung dieses Frameworks sei die Notwendigkeit gewesen, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs- und Formatierungsaktivitäten zu testen, die im Cosort-Produkt zur Datenveredelung und -synthese unterstützt werden.

Datenmaskierung, Datenbank-Subsetting oder Datensynthese

Via Datenmaskierung, Datenbank-Subsetting oder Datensynthese erzeugt Cosort schnell sichere und gleichzeitig realistische Testdaten in Datenbanken, Flat-Files, semi-strukturierten Dateien und in formatierten Berichtszielen. Dabei können vier Methoden eingesetzt werden:

Produktionsdatenmaskierung/Vertauschung
Datenbank-Subsettin &Maskierung
synthetische Testdatenerstellung (über Zufallsgenerierung/-auswahl)
eine Kombination dieser Techniken.

Unter Verwendung der zentralen Daten-Definitionssprache „SortCL“und des Verarbeitungsprogramms von Cosort wurde die Eingabephase des ETL-Prozesses vom Lesen von Dateien zum Erstellen von Dateien geändert, entweder durch das Generieren von Zufallswerten für bestimmte Datentypen und -bereiche und/oder durch die zufällige Auswahl von Daten aus externen Beständen. Mit dem Spin-Off Rowgen lassen sich einzig und allein auf Basis von DDL-Details vorsortierte, strukturell und referentiell korrekte RDB-Schemata analysieren, synthetisieren und laden.

Bildquelle: Gettyimages/iStock