„Big Bang“ trifft „Big Data“

Der Compact-Muon-Solenoid (CMS) ist einer der beiden Universal-Teilchendetektoren am Large Hadron Collider (LHC). Für seinen Betrieb sorgen mehr als hundert in einem dreischichtigen Modell angeordnete Rechenzentren – schließlich verursacht der Detektor jedes Jahr gigantische Mengen an echten, simulierten und Metadaten. Diese Informationen werden sowohl in relationalen als auch nicht-relationalen Datenquellen gespeichert, darunter dokumentenorientierte Datenbanken, Blogs, Wikis, Dateisysteme und maßgeschneiderte Anwendungen.

Das Auffinden von Informationen spielt angesichts dieser heterogenen, stark verteilten IT-Landschaft bei der erfolgreichen Datenanalyse eine zentrale Rolle. Die Daten entstehen auf vielfältige Art und Weise und liegen in unzähligen digitalen Formaten vor. Gleichwohl müssen die Anwender jederzeit in der Lage sein, verschiedene Services abzurufen und Informationen aus den verschiedenen Datenquellen zu kombinieren. Sie verfügen jedoch nicht über das Fachwissen, um die benötigten Daten aufwendig aus den jeweiligen Informationssystemen zu extrahieren.

Auf der Suche nach mehr Dynamik

Die IT-Verantwortlichen führten deshalb ein Datenaggregationssystem (DAS) ein, das das Suchen und Aggregieren von Daten in der komplexen und weit verteilten Landschaft verschiedenster miteinander gekoppelter Systeme erleichtern soll. „Diverse Gründe sprachen in diesem Zuge gegen eine relationale Datenbank“, erklärt Valentin Kuznetsov, wissenschaftlicher Mitarbeiter der Cornell Universität und tätig am CMS. „Beispielsweise benötigen wir für das DAS keine persistente Speicherung von Daten und Transaktionen und somit kein vorgegebenes Datenbankschema. Ein zentrales Anliegen war hingegen das dynamische Abfragen der gespeicherten Meta-Daten-Objekte.“

Verschiedene Optionen kamen für die Verantwortlichen in Frage, angefangen von dateibasierten und In-Memory-Datenbanken bis hin zu Key-Value-Lösungen. „Letztlich haben wir uns für die dokumentenorientierte Datenbank von MongoDB entschieden, da sie unsere Anforderungen am besten abbildet. Ausschlaggebend war, dass die Lösung sowohl dynamische Abfragen, umfassende Indizierungsmöglichkeiten und verschachtelte Objektstrukturen als auch eingebettete Arrays und automatische Partitionierung unterstützt.“

Entdecken leicht gemacht

Physiker des CMS, Datenoperatoren und Datenmanager nutzen das DAS in den weltweiten Forschungseinrichtungen des Cern rund um die Uhr, sieben Tage in der Woche und 24 Stunden am Tag. Eine durchschnittliche Abfrage umfasst tausende Dokumente, jedes einige Kilobyte groß. Das System ergänzt die existierenden Datenquellen um eine zusätzliche Datenschicht, die es den Forschern erlaubt, Daten mittels einer freitextbasierten Suche abzufragen. Dort lassen sich die Ergebnisse aus diversen Datenquellen aggregieren und in einem einheitlichen Format zur Verfügung stellen, wobei alle Auflagen in puncto Integrität, Sicherheit und Form eingehalten werden.

„Da das zugrundeliegende MongoDB-Backend schemafrei ist, sind wir in der Lage, die Daten des DAS in jeder denkbaren Struktur zu speichern, egal ob es sich um Dictionarys, Listen oder Schlüsselwortpaare handelt“, ergänzt Kuznetsov. Angesichts der Vielzahl von Datenquellen, Datentypen und Ressourcen sei es dabei unentbehrlich, dass das System selbst datenagnostisch ist, sprich die Daten ohne Ansehen des Inhalts speichert. Gleichzeitig erlaubt es, Informationen zu den Meta-Daten individuell abzufragen und zu aggregieren. Die NoSQL-Datenbank ermöglicht so einen Durchsatz von rund 6.000 Dokumenten in der Sekunde.

Keine Experimente bei der Schnelligkeit

MongoDB fungiert darüber hinaus als dynamischer Speicher, der sämtliche Informationen zusammenträgt, die von den Anwendern in ganz unterschiedlichen Formaten und Dateistrukturen eingespeist werden. „Wenn ein Nutzer eine Abfrage tätigt, überprüft das System, ob die Datenbank über die gewünschte Aggregation verfügt, und gibt sie aus. Anderenfalls übernimmt das System das Aggregieren und speichert das Ergebnis in der Datenbank“, erklärt Kuznetsov. „Durch das schnelle und skalierbare Freitextabfragesystem und den sehr dynamischen, skalierbaren und datenagnostischen Cache verfügen wir über einen zweigleisigen Übersetzungsmechanismus von unschätzbarem Wert. Das DAS hilft CMS-Nutzern dabei, schneller die Informationen zu finden, die sie für ihre tägliche Arbeit benötigen, um an großen Entdeckungen forschen zu können. Ohne das DAS würde das Abrufen von Informationen um ein Vielfaches länger dauern.“

Bildquelle: Cern