Verknüpfen von Unternehmensdaten mit Big Data

Immer neue Datenquellen können von Unternehmen erschlossen werden, wie z.B. maschinen-generierte Daten von Internetseiten, Anwendungen, Servern, Netzwerken, Sensoren und mobilen Geräten oder zunehmend auch Daten aus sozialen Netzwerken. Neue Datenbanktechnologien wie z.B. Hadoop machen es überhaupt erst möglich, dass diese große Menge an häufig unstrukturierten Daten relativ kostengünstig gespeichert werden kann.

Dadurch hat sich die Informationsarchitektur gewandelt. Wurden früher Daten ausschliesslich im klassischen Data Warehouse gespeichert, gibt es heute eine hybride Umgebung, in der Daten in den Systemen abgelegt werden, die optimal an ihre Größe und Form angepasst sind. In diesem verteilten Ansatz kommen zu den klassischen Data Warehouses, in denen nach wie vor die strukturierten, relationalen Daten der Unternehmsanwendungen  geladen werden, die neuen Big Data Infrastrukturen wie Hadoop oder NoSQL, die in der Lage sind, auch unstrukturierte Daten effizient zu verwalten.

Diese veränderte Umgebung hat entscheidene Auswirkungen auf die Auswertung der Daten. Der Wert der Daten für die Unternehmen wird nicht allein durch die verfügbare Menge bestimmt, sondern durch die Kombination von verschiedenen Quellen. Erst durch die logische Verknüpfung von Daten aus den operativen Unternehmensanwendungen mit Big Data, ist es möglich, ein aktuelles und möglichst detailliertes Bild des Unternehmens zu erhalten.

Kombination der Quellen

Wurden bisher die Daten per ETL-Prozess ins Data Warehouse geladen bevor sie für die Analyse bereitgestellt wurden, wäre dies in der hybriden Umgebung aufgrund der verschiedenen Datenformen und der Datenmenge nur noch mit extrem hohem Aufwand möglich.

Hinzu kommt, dass die Aktualität der Daten bei der Analyse in Zeiten von Big Data immer wichtiger wird. Während ein wöchentliches oder gar monatliches Laden der Daten ins Data Warehouse bei Unternehmensanwendungen durchaus noch Sinn machen kann, müssen Unternehmen auf Änderungen bespielsweise bei Netzwerkdaten oder sozialen Netzwerken zeitnah reagieren.

Für zeitnahe Analysen ist es erforderlich, dass der Zugriff auf die Daten dort stattfindet, wo sie sich befinden, und zwar direkt an der Quelle. Das logische Verknüpfen verschiedener Quellen, auch “Data Blending” genannt, sollte dabei kontolliert während des Datenintegrationsprozess geschehen und nicht erst in Analysewerkzeugen. Dabei werden die Daten meist über einfache graphische Integrations-Werkzeuge in einer Transformation zusammen gefasst und direkt zur Auswertung  zur Verfügung gestellt.

Das Verknüpfen der Daten aus den unterschiedlichen Quellen bereits während der Datenintegrationsphase und nicht erst durch den Endanwender, hat neben der Gewährleistung der Datenaktualität vor allem den Vorteil, dass die Semantik intakt bleibt und Datenqualität und -Integrität gewährleisten bleiben. Dies ist besonders wichtig bei Firmen, die hohe Anforderungen bzgl. Data Governance haben.

Die drei größten Fehler beim “Data Blending”

1. Nicht mehr aktuelle Daten – insbesondere wenn Big Data Daten erst ins Data-Warehouse geladen werden müssen, bevor sie analysiert werden können.
2. Fehlendes Verständnis der Semantik – führt der End-Anwender selbst die Integration über Analysewerkzeuge durch, muss gewährleistet sein, dass er die Zusammenhänge und Datenstruktur genau kennt, damit falsche Schlussfolgerungen und Fehlentscheidungen vermieden werden.
3. Missachtung von Data Governance – bei der Zusammenführung der Daten direkt durch den Endanwender kann es leicht passieren, dass die Anforderungen der Data Governance nicht berücksichtigt werden. Damit kommt es zu falschen Analyse-Ergebnissen und letzendlich zu Fehlentscheidungen.

Quelle: www.pentaho.de

Bildquelle: Thinkstock / iStock