Zwischen Goethe, Corona und Neutronensternen

ITD: Die Goethe-Universität Frankfurt möchte im Bereich „Supercomputing“ zu Deutschlands Spitzenstandort werden. Mit welchen Lösungen unterstützen Sie dieses Vorhaben?
Dr. Martin Galle: Im Jahr 2020 hat Supermicro einen 4HE-8GPU-Server für das Center for Scientific Computing (CSC) in Betrieb genommen, einer Initiative des Institute for Advanced Studies und der Johann-Wolfgang-Goethe-Universität Frankfurt. Die Goethe-Universität führte mehrere Benchmarks durch, um die Leistungsfähigkeit des Supermicro AS-4124GS-TNR zu testen, der mit zwei EPYC-Prozessoren und acht Radeon-Instinct-M150-Beschleunigern von AMD ausgestattet ist. Der 4HE-8GPU-Server bietet PCI-E-Gen4 und 200 GBit/s Netzwerk.

ITD: Für welche Art der Forschung wird der neue Supercomputer genutzt?
Galle: Das CSC dient zahlreichen Forschern und Wissenschaftlern, die den Supermicro-Server nutzen, um Anwendungen von der Teilchenphysik, Simulationen des Klimawandels, computergestützter Chemie, Neutronenstern-Simulationen bis hin zu Gitter-QCD-Untersuchungen und anderen wissenschaftlichen Vorhaben zu beschleunigen.

ITD: Wie kann HPC-Technologie bei der Erforschung und Bekämpfung von Covid-19 helfen?
Galle: Im November 2020 hat Supermicro mit dem Lawrence Livermore National Laboratory in Livermore, Kalifornien, zusammengearbeitet, um einen zusätzlichen Cluster bereitzustellen, der bei der Entwicklung von Therapeutika gegen COVID-19 helfen soll. Hinter dieser Forschung steht ein Cluster mit dem Titel „Ruby“, der TwinPro-2HE-4-Node-Server von Supermicro enthält, die mit Intel-Xeon-Platinum-Prozessoren der 2. Generation ausgestattet sind. Diese bieten integrierte KI-Beschleunigung und 192 GB Onboard-Speicher. Der gesamte Cluster besteht aus fast 85.000 Cores, die geschätzte 6 Petaflops Spitzenrechenleistung bereitstellen. Dieser Supercomputer ist ein Beispiel für die Art von Rechenleistung, die für eine gründliche wissenschaftliche Forschung erforderlich ist. Auch die Goethe-Universität Frankfurt hat HPC-Technologie eingesetzt, um die Ausbreitung des COVID-19-Virus zu simulieren und zu verstehen, wie die Ausbreitung künftiger Pandemien verhindert werden kann.

ITD: Was zeichnet die Prozessoren und GPUs besonders aus, die hierbei zum Einsatz kamen und die Server antreiben?
Galle: Der 4U-A+-Server von Supermicro nutzt AMD-Prozessoren der EPYC-7002-Serie zweiter Generation und Radeon-Instinct-MI50-Beschleuniger von AMD. Die EPYC-Prozessoren bieten hohe Leistungsfähigkeit mit bis zu 64 Cores / 128 Threads pro Sockel und umfangreiche Schnittstellen mit 160 Lanes PCI-E Gen4, was eine Datenübertragung mit bis zu 64 GB/s zwischen Hostspeicher und GPU ermöglicht. Diese Leistungsanforderung ist entscheidend für Anwendungen, die Daten mit der GPU austauschen. Radeon-Instinct-MI50-GPUs sorgen für bessere und schnellere Ergebnisse bei anspruchsvollen wissenschaftlichen Herausforderungen.

ITD: Normale Grafik- und Rechnerkarten kommen mit der Spezifikation PCIe 3.0 aus – für das Projekt an der Goethe-Uni war PCIe 4 nötig. Können Sie erklären, weshalb das so wichtig war?
Galle: In der Regel müssen die Bereiche von HPC-Anwendungen, die mit höchster Effizienz auf GPUs ausgeführt werden, über das PCI-Bussystem auf den Speicher des Host-Systems zugreifen. Dieser Host-Speicherzugriff stellt in vielen Anwendungen einen entscheidenden Leistungsengpass dar. PCI Gen4 bietet die doppelte Bandbreite von PCI Gen3, sodass der Übergang von PCI Gen3 auf Gen4 die Anwendungsleistung erheblich steigert.

Ein Beispiel der Goethe-Universität sind relativistische hydromechanische Simulationen der Verschmelzung von Neutronensternen, mit denen Forscher wichtige Informationen liefern konnten, um die Theorie des Quark-Gluon-Plasmas zu untermauern, das das gesamte Universum kurz nach dem Urknall ausfüllte.

ITD: Welche Vorteile hat diese Spezifikation gegenüber ihren Vorgängern?
Galle: Die AMD-CPU-Architektur bietet 128 PCIe-Gen4-Lanes pro CPU. In einem Standard-Dual-Sockel-Aufbau werden 64 dieser Lanes für die Kommunikation von CPU zu CPU verwendet, wodurch weitere 64 Lanes pro CPU frei bleiben. Im Supermicro AS-4124GS-TNR GPU-Server wurde dieser Standardansatz so modifiziert, dass nur 48 Lanes zum Verbinden beider CPUs verwendet werden und 80 Lanes pro CPU für andere Zwecke zur Verfügung stehen. Dieses Design ermöglicht den direkten Anschluss von zehn Devices mit 16 Lanes PCI Gen4, z.B. 8x GPUs + 2x 200G-Netzwerkkarten, ohne einen PCI-Switch zu verwenden.

Dies ist ein Artikel aus unserer Print-Ausgabe 12/2020. Bestellen Sie ein kostenfreies Probe-Abo.

ITD: Welche Rolle spielt die Hitzeentwicklung und wie wird dieses Problem gelöst?
Galle: Supermicro verfügt über 25 Jahre Erfahrung in der Entwicklung von hocheffizienten Systemen, die nicht nur Serverkomponenten effektiv kühlen, sondern auch die Gesamtbetriebskosten senken. Motherboards und Netzteile werden im eigenen Haus entwickelt und hergestellt. Durch die Zusammenarbeit mit den größten Chipherstellern der Branche kann Supermicro hochzuverlässige und effektiv gekühlte Systeme anbieten.

Das für den Einsatz an der Goethe-Universität ausgewählte Gehäuse des AS-4124GS-TNR wurde für einen besseren Luftstrom ausgelegt. Es verwendet acht Hochleistungslüfter mit 11,500 U/min, um Komponenten im Chassis zu kühlen, während der Kühlkörper aktiv ist und über einen eigenen Lüfter verfügt, um jegliche Auswirkungen auf die Leistungsfähigkeit zu mindern.

ITD: Ihr Unternehmen legt Wert auf Nachhaltigkeit und Energieeffizienz – (wie) macht sich das in diesem Projekt bemerkbar?
Galle: Supermicro ist führend im Bereich energieeffizientes Computing – mit dem Ziel, Technologien zu fördern, mit denen sich die Kosten und Auswirkungen auf die Umwelt, verursacht durch Emissionen von Rechenzentren, verringern lassen. 1999 führte Supermicro das branchenweit erste Netzteil für redundante Kühlung ein und ist seitdem Vorreiter bei umweltfreundlichen Technologien in diesem Markt. Das Unternehmen erzielte mehrere Platzierungen in den Green500-Listen, darunter den ersten Platz mit Supercomputern, die auf der Hardware von Supermicro basieren.

Supermicro-Server sind auf Effizienz getrimmt, und der AS-4124GS-TNR GPU-Server bildet da keine Ausnahme. Serverkomponenten werden gemeinsam genutzt, um Elektroschrott zu minimieren. Das System unterstützt ein Advanced-I/O-Modul (AIOM) mit einem dezentralen Design. Es lässt sich vom Motherboard trennen, um Netzwerkkomponenten aufzurüsten, anstatt das gesamte Motherboard zu ersetzen, sofern das integrierte NIC-Modul aktualisiert werden soll. Der AS-4124GS-TNR verfügt außerdem über 2000W-Netzteile (Titanium Level), die mit einer Energieeffizienz von 96% dazu beitragen, den Stromverbrauch gering zu halten.

Bildquelle: Supermicro