Zentralisierte Datenhaltung ist out

In einem Beitrag von 2019 prägte Zhamak Dehghani den Begriff des Data Mesh. Laut einer aktuellen PwC-Studie widmen sich seitdem immer mehr Unternehmen diesem Konzept, wobei große Unternehmen die Vorreiterrolle einnehmen: 60 Prozent der Organisationen mit mehr als tausend Mitarbeitern hat bereits eine Data-Mesh-Architektur implementiert.

Grundsätzlich beschreibt Data Mesh eine dezentrale Datenarchitektur, die zentrale Datenarchitekturen wie Data Warehouses und Data Lakes ablösen soll. Dieser Paradigmenwechsel soll unter anderem kritische Daten-Bottlenecks, Point-to-Point-Verbindungen und Komplexität verhindern sowie für hohe Datenqualität und -verfügbarkeit sorgen.

Die vier Prinzipien des Data-Mesh-Konzepts

Die Data-Mesh-Datenarchitektur basiert auf Einflüssen von anderen Konzepten wie Microservices, Data Fabric und Domain-driven Design. Diese Einflüsse lassen sich in vier technologieunabhängige Prinzipien zusammenfassen, nach denen sich Aufbau und Implementierung richten.

1. Domain-driven Ownership

Fließen Daten aus den zahlreichen Quellen in ein klassisches Data Warehouse, obliegen Datenmanagement, Qualitätssicherung und Analytics bei den spezialisierten Data- und Analytics-Teams. Diese kennen in der Regel jedoch weder die Strukturen noch den Zweck und Wert der Datensätze, die in den verschiedenen Unternehmensbereichen entstehen. Der dezentrale Domain-driven-Ansatz eines Data Mesh hingegen spricht die Zuständigkeit und Verantwortung den definierten Domänen zu. Sprich: Jede Domäne kuratiert seine eigenen Datensätze und gewährleistet, dass diese qualitativ hochwertig und unternehmensweit nutzbar sind.

2. Daten sind Produkte, keine Nebenerzeugnisse

Jedes Team, in dessen Domäne Daten generiert werden, muss diese als Produkt verstehen. Dadurch sollen die jeweiligen Teams sicherstellen, dass sich Qualität, Auffindbarkeit und Nutzbarkeit der Daten auf einem Top-Level befinden. Denn die Kollegen in den anderen Teams, mit denen sie diese Daten teilen, nehmen die Rolle ihrer wichtigsten Kunden ein. Und wie bei anderen Dienstleistungen auch, sollen Kunden zufrieden sein und vom Service profitieren. Darüber hinaus soll dieses Prinzip einer weiteren Bildung von Datensilos entgegenwirken.

3. Datenverfügbarkeit in Self-Service-Manier

Auch wenn das Datenmanagement im Data Mesh dezentral erfolgt, müssen die Domänen ihre Daten über eine zentrale Self-Service-Plattform – zum Beispiel in Form von APIs oder eines Wikis – unternehmensweit verfügbar machen. Hierüber können sämtliche Teams sowohl auf historische als auch auf Echtzeit-Daten aus allen anderen Domänen zugreifen, die sie für ihre Arbeit benötigen. Außerdem sollten Teams dieser Plattform eigene Datenprodukte problemlos hinzufügen sowie updaten oder wieder entfernen können – die Grundlage für autonom handelnde Domänen.

4. Standardisierte Governance

Zu guter Letzt müssen Unternehmen globale Standards und Regulierungen definieren, die dafür sorgen, dass Sicherheit und Interoperabilität gewährleistet sind und alle Teams domänenübergreifend zusammenarbeiten können. Diese sind auf sämtliche Datenprodukte anzuwenden und lassen sich sogar über eine entsprechende Plattform automatisieren.

Data Mesh und Daten-Streaming

Sobald Teams ihre Daten unternehmensweit verfügbar machen müssen – vor allem, wenn diese Datenprodukte in separaten Domänen gehalten und kuratiert werden –, braucht es eine Technologie, die sie schnell und zuverlässig transportiert. Eine Möglichkeit, diese Interkonnektivität effizient aufrechtzuerhalten und die Daten von einer Domäne zur nächsten zu bringen, ist Daten-Streaming, wie es etwa Confluent anbietet. Das hat einige Vorteile: Zum einen sind Daten-Streams in hohem Maße skalierbar und ermöglichen die zuverlässige Echtzeit-Kommunikation zwischen verschiedenen Systemen. Zum anderen bildet Daten-Streaming eine Single Source of Truth und hält die Streams immer auf dem aktuellsten Stand.

Eine logische Implementierung

Als dezentrale Alternative zu zentralen Datenplattformen fungiert eine Data-Mesh-Ordnung als eine Art zentrales Nervensystem in Sachen Datenmanagement. Dabei handelt es sich jedoch nicht um eine technologische, sondern um eine logische Implementierung. Ein Data Mesh erlaubt das unternehmensweite Teilen qualitativ hochwertiger Daten in Echtzeit, sodass jedes Team diese effektiv für ihre Zwecke nutzen kann.

Bildquelle: Getty Images / iStock / Getty Images Plus