Hundert Billiarden Byte

Die Verarbeitung von Datenmengen jenseits der Hundert-Terabyte-Grenze war bisher die Domäne von Internetunternehmen wie Facebook. Hierfür haben Akteure wie Facebook, Google, Yahoo oder eBay eine eigene Software-Basis geschaffen: Apache Hadoop.

Es ist ein Open-Source-Framework für verteilt arbeitende Software und erlaubt die Verarbeitung von großen Datenmengen im Petabyte-Bereich. Hadoop läuft auf einem Computercluster, der handelsübliche Standardserver einsetzt. Solche Systeme sind schnell und unkompliziert erweiterbar.

Im Kern ist Hadoop ein hochverfügbares Dateisystem mit einer Implementierung des von Google entwickelten MapReduce-Algorithmus. Er zerlegt Rechenaufgaben in kleine Teile, verteilt sie auf eine gewisse Anzahl von Rechnern ("Map"), verarbeitet sie und führt die Ergebnisse anschließend wieder zusammen ("Reduce").

Rund um diesen Kern ist ein Ökosystem aus Tools und Anwendungen entstanden, die Hadoop inzwischen zu einer Standardanwendung für die Massenverarbeitung von extrem komplexen Daten macht. So gibt es NoSQL-Datenbanksysteme (hBase, Cassandra), ein Data Warehouse (Hive) mit SQL-artiger Abfragesprache, Tools für Analyse (Pig) und Data Mining (Mahout) und nicht zuletzt Administrator-Werkzeuge (ZooKeeper, Avro, Chukwa).

Das US-Marktforschungsunternehmen Ventana Research gibt in seinem Benchmark-Report "Hadoop and Information Management" einen Überblick über die Verwendung von Hadoop in der Praxis. Die Researcher betrachteten 13 Unternehmensaufgaben wie zum Beispiel das Gestalten neuer Produkte und Services, die Datenanalyse oder den Umgang mit Computerressourcen.

Hadoop schneidet im Vergleich zu anderen Datenmanagementsystemen hervorragend ab. Das System wird dabei durchaus beansprucht: Etwa ein Drittel der befragten Hadoop-Anwender verfügt über mindestens 100 Terabyte Rohdaten und gut die Hälfte verarbeitet pro Tag mindestens 100 Gigabyte. Besonders häufig werten Hadoop-Anwender unstrukturierte Daten von Facebook oder anderen Orten im "Social Web" aus.

Bisher hatte Hadoop eher den Status eines experimentellen Systems, das außerhalb der großen Internetunternehmen kaum Anwender hatte. Dies beginnt sich jetzt langsam zu ändern. So setzt der US-Handelsriese Sears Hadoop als Data Warehouse ein.

Hadoop wird das hauptsächliche Mittel für das schnelle Bearbeiten von Daten sein, die bei einer starken Individualisierung von Marketingkampagnen anfallen. Es geht um Gutscheine, Kundenkarte, Rabatte und mobiles Einkaufen. Mit den traditionellen Lösungen am Großrechner brauchte die Datenauswertung bis zu sechs Wochen, jetzt nur noch eine. Dabei muss die Hadoop-Implementation gut zwei Petabyte Daten "crunchen".

Diese Leistungsdaten klingen überzeugend, Big Data eben. Doch auch Hadoop stößt an Grenzen, so unglaublich das klingt. Facebook nutzt einen Hadoop-Cluster mit 100 Petabyte Kapazität, der aber sehr bald nicht mehr ausreichen wird. Dafür soll Hadoop jetzt so erweitert und ergänzt werden, dass es sich auf mehrere Rechenzentren verteilen lässt.

Bildquelle: Uschi Dreiucker / pixelio.de