Energieeffizienter Betrieb

Wasser für die IT

Eine wasserbasierte Kühlung sorgt im Leibniz-Rechenzentrum für den energieeffizienten Betrieb von High-Performance-Computing-Systemen.

Blick ins Rechenzentrum des LRZ

Blick ins Rechenzentrum des LRZ

Die Kühlung eines Rechenzentrums gilt als einer der größten Energiefresser des RZ-Betriebs. Neue Lösungen sollen dem so gut es geht entgegenwirken. Ein Ansatz dafür stellt die wasserbasierte Kühlung dar, wie beispielsweise die technische Umsetzung von Megware und Schäfer IT-Systems. Für die Kühlung am Leibniz-Rechenzentrum verzichtet diese gänzlich auf Luft verzichtet und kühlt auch Netzteile, Netzkomponenten und Switches mit Wasser.

Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) ist das Hochschulrechenzentrum für die Ludwig-Maximilians-Universität (LMU), die Technische Universität München (TUM), die Bayerische Akademie der Wissenschaften sowie sonstige Wissenschaftseinrichtungen des Freistaates Bayern. Es bietet den weit über 100.000 Studierenden, Professoren und Mitarbeitern IT-Dienstleistungen wie E-Mail, Internet, WLAN und VPN. Zusätzlich betreibt das LRZ Hochleistungsrechensysteme für die Hochschulen und einen Höchstleistungsrechner, der zu den leistungsfähigsten Maschinen der Welt zählt und allen öffentlichen deutschen Forschungseinrichtungen zur Verfügung steht.

Diese High-Performance-Computing-Systeme (HPC) bilden den Kern, um reelle Probleme zu simulieren. Dadurch werden Kosten für Laborexperimente vermieden und nicht realisierbare Experimente, etwa im Bereich der Astrophysik, Flugzeugentwicklung oder des Katastrophenschutzes erst ermöglicht. Zu den Anwendungsbereichen gehören Chemie, Material-, Mechanik-, Ingenieurs-, Klima- und Umweltwissenschaften. Bei letzteren werden beispielsweise Regenfälle simuliert, Überschwemmungen berechnet und damit aufgezeigt, welche Maßnahmen diese vermeiden können. Exemplarisch für Ingenieurswissenschaften sind simulierte Windkraft- und Windräderfarmen, deren Verteilung so berechnet werden kann, dass sie sich gegenseitig möglichst wenig beeinflussen.

Performance braucht Kühlung

Aufgrund der eingesetzten Hardware-Plattformen und typischen Workloads in einem HPC-System ist eine effiziente und leistungsfähige Kühlung der IT-Komponenten bedeutend. Standardisierte Architekturen für derartige Anforderungen stoßen hier schnell an ihre technologischen Grenzen. Im besonderen Fall des LRZ wurde zudem eine zusätzliche und neue Rechenkapazität benötigt. Absicht war es, mit der Erneuerung auch ein System zu schaffen, das den Nutzern die Möglichkeit gibt, ihre Anwendungen für künftige Rechnerarchitekturen vorzubereiten. Mit dem Ziel Energie zu sparen, haben die Verantwortlichen des LRZ beschlossen, eine 100-prozentige Wasserkühlung einzusetzen. Der Verzicht auf Luftkühlung steigert die Energieeffizienz: Typische Leistungszahlen (Energy-Efficiency-Ratios) für Luftkühlung liegen unter fünf, für Warmwasserkühlung über 20. Da nur noch ein Kühlkreislauf ohne mechanische Kühlaggregate benötigt wird, werden Komplexität, Installations- und Betriebskosten der Infrastruktur deutlich reduziert.

„Luftkühlung ist für unsere Rechner nicht die beste Lösung. Wir haben bisher schon warmwassergekühlte Systeme eingesetzt. Allerdings waren die besonders hinsichtlich ihrer Effizienz bei der Kühlung der Komponenten verbesserungsfähig, was natürlich auch dem Alter geschuldet war“, sagt Herbert Huber, Abteilungsleiter Hochleistungssysteme des LRZ, und spielt darauf an, dass das LRZ als Pionier bereits 2011 auf direkte Wasserkühlung seiner Systeme baute. Bei den eingesetzten Systemen wurden jedoch noch nicht alle Komponenten mit Wasser gekühlt, hauptsächlich waren das Netzteile, Netzkomponenten und Switches. Der entstandene, hohe Energieeintrag in die Umgebungsluft konnte nicht unter 15 Prozent gehalten werden. Huber: „Bei diesen großen Systemen mussten wir noch viele Kilowatt elektrische Leistung für die Luftkühlung aufbringen.“

Kühlkonzepte mit Zweitverwendung

Die Lösung lieferte nun Megware mit ihrem Partner Schäfer IT-Systems. Zwar stammten schon die 2011 eingesetzten Systeme von Megware, die Wasserkühlung des Anbieters gibt es inzwischen jedoch in der vierten Generation. Die Abwärme aller Komponenten wird mit Direktwasserkühlung abgeführt. Dafür wurden gemeinsam mit Schäfer IT-Systems bestehende Lösungen weiterentwickelt und Komponenten beispielsweise mit Cold-Plates umgerüstet. Aktuell gilt das System, das vollständig warmwassergekühlt arbeitet, als weltweit einmalig. Es ist thermisch isoliert und minimiert somit den Wärmeeintrag in die Umgebung auf rund drei Prozent Abwärme in den Raum. Den Rest erledigen Raumbefeuchtungs- bzw. -entfeuchtungsanlagen. Zudem konnte das Temperaturniveau, bei dem die Wasserkühlung effizient arbeitet, angehoben werden. Damit wird das Heißwasser für Kühlkonzepte mit Zweitverwendungen, wie beispielsweise eine Gebäudeheizung, interessant. Auch beim LRZ wird das Kühlwasser für die Abwärmenachnutzung verwendet.

Bei der jüngsten, europaweiten Ausschreibung 2017 des LRZ überzeugten die beiden Anbieter erneut. Gefordert war eine 100-prozentige Wasserkühlung aller Komponenten mit über 40 Grad Celsius warmem Wasser, um das Cluster ganzjährig ohne energieintensive mechanische Kälteerzeugung zu kühlen. Bei der Entwicklung hatten zwei Aspekte Priorität: die thermische Isolierung der Racks, damit weniger Abwärme in den Rechnerraum gelangt, und eine möglichst hohe Temperatur des Kühlwassers, um die Abwärme effizient, zum Beispiel für Adsorptionskühlung, nachnutzen zu können. Insgesamt gingen drei Bewerbungen ein. „Das hat uns nicht überrascht. Nicht viele Firmen sind in der Lage, unsere technischen Anforderungen zu erfüllen. Megware war der einzige Anbieter, der ein adäquates Kühlsystem anbieten konnte“, sagt Huber. „Im Anschluss haben wir gemeinsam einen Liefer- und Rahmenvertrag abgeschlossen und das HPC-System 2018 in Betrieb genommen.“

Bei der Konzeption der neuen Lösung stellte man hohe Ansprüche an den Wasserkreislauf und dessen gleichbleibende Qualität: Das Kühlsystem besteht aus relativ kleinen Strukturen, durch die das Wasser fließen muss. Deshalb muss es möglichst frei von Partikeln sein. Durch die Berührung mit dem Kühlmittel ist auch das genutzte Material der Komponenten entscheidend. Das Ergebnis ist ein Rack, in dem sowohl Rohrleitungen für Wasser, ein Wärmetauscher samt Pumpengruppe als auch ein Druckausgleichsgefäß integriert sind. Dadurch kann die Wärme aus dem Schrank abgeführt werden, ohne dass es mit dem Wasserkreislauf des RZ in Berührung kommt.

Dies ist ein Artikel aus unserer Print-Ausgabe 6/2019. Bestellen Sie ein kostenfreies Probe-Abo.

Ein geschlossener Kühlwasserkreislauf respektive die Trennung der Kreisläufe in Server-Schränken und Rechenzentrum ist ein notwendiger Schritt: Kreisläufe in Datacentern unterliegen weniger strengen Anforderungen an die Wasserqualität. Integriert ist ebenfalls ein Touchscreen, der mittels entsprechender Sensorik und Schnittstellen alle Temperaturen im Inneren und Äußeren anzeigt. Das ersetzt derzeit gängige app-basierte Cloud-Lösungen, die Seitens des LRZ aus Sicherheitsgründen keine Alternative waren. Das intelligente Rack bindet Werte in eine von Megware programmierte und verwaltete Management-Software ein. Dadurch ist ein Zugriff durch Administratoren auch von anderenorts möglich.
Simon Federle


Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften

... ist der IT-Dienstleister der Münchner Universitäten und Hochschulen. Es bietet weit über 100.000 Studenten, Professoren und Mitarbeitern alle notwendigen IT-Dienste wie E-Mail, Internet, Backup und Archivierung, Visualisierung und natürlich Rechenkapazität vom einzelnen Server-Knoten bis hin zum Supercomputer.


Bildquelle: Schäfer IT-Systems

©2019Alle Rechte bei MEDIENHAUS Verlag GmbH

Unsere Website verwendet Cookies, um Ihnen den bestmöglichen Service zu bieten. Durch die weitere Nutzung der Seite stimmen Sie der Verwendung zu. Weitere Infos finden Sie in unserer Datenschutzerklärung.

ok