Klarheit schaffen

Nach wie vor stellt das Enterprise Data Management Unternehmen vor große Herausforderungen. Der offene und kollaborative Open-Source-Ansatz schafft eine vielversprechende Lösung für die effiziente Verwaltung und schnelle Analyse großer Datenmengen – das Data Lakehouse.

Seit Jahrzehnten befassen sich Unternehmen mit den Herausforderungen, die sich aus den ständig wachsenden Datenmengen ergeben. Dabei geht es um die Frage, wie sie diese Daten am besten speichern und die darin verborgenen Trends, Muster und Zusammenhänge gewinnbringend nutzen können. Die Unternehmenstechnologie hat eine Reihe von Entwicklungen durchlaufen, um bessere Antworten auf diese Fragen zu finden – von der ersten relationalen Datenbank im Jahr 1979, über die Data Warehouses der 1990er-Jahre bis hin zu den Data Lakes der vergangenen Jahre.

Hinter dem Data Lakehouse verbirgt sich eine technologische Weiterentwicklung, die auf den Konzepten des Data Warehouse und des Data Lakes aufbaut. Kurz zur Erklärung: Ein Data Warehouse ist eine strukturierte Datenbank, die in Tabellen und Spalten für Abfragen und Reports organisiert ist. Ein Data Lake ist ein Storage-Repository, das die Daten in ihrer rohen, nativen, oft unstrukturierten oder teilstrukturierten Form aufnimmt. Das Data Lakehouse schließt die Lücke zwischen den beiden und kombiniert die strukturierten, abfragefreundlichen Funktionen eines Data Warehouse mit der Flexibilität und Skalierbarkeit eines Data Lakes. Dabei können Daten aus Data Lakes, ob im eigenen Rechenzentrum oder in der Cloud, mit traditionellen Quellen (Oracle, MSSQL, Postgres, MongoDB, usw.) zusammengeführt und analysiert werden – ohne dabei die Daten zusätzlich zu speichern.

Umfangreiche Analysemöglichkeiten

Ursprünglich hat der Streaming-Dienst Netflix das Konzept des Data Lakehouse entwickelt, um Ordnung in die riesigen Datenmengen zu bringen, die durch die Nutzungsgewohnheiten seiner Millionen von Abonnenten entstanden sind. Später stellte Netflix den Code der Open-Source-Community zur Verfügung.

Im Gegensatz zu proprietärer Software, die viele im täglichen Berufsleben verwenden und deren Nutzung von den großen Technologie-Unternehmen der Welt lizenziert wird, ist der Code der Open-Source-Technologie öffentlich zugänglich. Diese offenen Standards ermöglichen es der weltweiten Entwickler-Community, gemeinsam an diesen Technologien zu arbeiten, sie zu verbessern und anzupassen. Gemäß dem Sprichwort „Viele Hände machen der Arbeit bald ein Ende“ führt der kollaborative Ansatz bei der Entwicklung von Open-Source-Software oftmals dazu, dass schnell innovative und kosteneffiziente Lösungen geschaffen werden.

Dies ist ein Artikel aus unserer Print-Ausgabe 11/2023. Bestellen Sie ein kostenfreies Probe-Abo.

Das Konzept von Netflix wurde zum Data-Lakehouse-Tabellenformat von Apache Iceberg, einem hochleistungsfähigen Open-Source-Format, das neue, umfangreiche Analysemöglichkeiten für die unterschiedlichen Datenbestände in den Unternehmen bietet. Seitdem haben viele der innovativsten Unternehmen der Welt, darunter Apple, Salesforce und Linkedin, dazu beigetragen, die Leistungsfähigkeit und die Effektivität des Apache-Iceberg-Formats für groß angelegte, unternehmensweite Datenanalysen weiterzuentwickeln.

Nützliche Erkenntnisse

Zunächst einmal ist das Apache-Iceberg-Tabellenformat ein guter Ausgangspunkt für Unternehmen, die sich mit der Entwicklung von Data-Lakehouse-Funktionalitäten befassen. Da Apache Iceberg quelloffen ist, besteht keine Gefahr, sich an die Lösung eines bestimmten kommerziellen Anbieters binden zu müssen. Unternehmen können aus einer Reihe von Analyse-Engines wählen, die das Open-Source-Tabellenformat unterstützen. Falls ein Unternehmen den Anbieter der Analyselösung wechseln möchte, besteht keine Notwendigkeit, alle bestehenden Daten in einem anderen Format neu klassifizieren zu müssen.

Darüber hinaus ermöglicht es ein Data Lakehouse, riesige, isolierte Datenbestände mithilfe einer einzigen Plattform in wertvolle Informationen zu verwandeln. Zudem können Unternehmen unmittelbar nützliche Erkenntnisse aus allen Daten gewinnen, die sie vorhalten – einschließlich historischer Daten, die in Legacy-Systemen gespeichert sind. Sie müssen sich nicht auf diejenigen Daten beschränken, die sich am schnellsten und einfachsten analysieren lassen. Zu guter Letzt eröffnen Data Lakehouse-Lösungen auch den klassischen, technisch weniger versierten Business-Anwendern Zugang zu diesen wertvollen Informationen, da keine speziellen und tiefgreifenden IT-Fachkenntnisse erforderlich sind, um komplexe Datenabfragen auszuführen.

Bildquelle: Dremio