JUWELS

JUWELS ist ein Supercomputer im Forschungszentrum Jülich. JUWELS ist der Nachfolger von JUQUEEN und wurde im September 2018 in Betrieb genommen. Zum Zeitpunkt der Inbetriebnahme war das System der rechenstärkste Supercomputer in Deutschland.

Zur letzten TOP500-Supercomputerliste vor der offiziellen Inbetriebnahme wurde eine noch nicht vollständige Konfiguration mit 6 PetaFLOPS gemessen und kam damit auf Platz 23 der TOP500-Liste vom Juni 2018, auf der dazu korrespondierenden Green500-Liste immerhin den Platz 29. In der ersten Liste nach Inbetriebnahme (November 2018) rangiert JUWELS auf Platz 26. In der TOP500-Liste vom Juni 2019 schaffte JUWELS Module 1 mit 9,9 PetaFLOPS Peak-Performance noch Platz 30.

Der JUWELS Rechencluster ist eine Installation von Bulls Sequana X1000 Supercomputer. Es handelt sich bei diesem um ein Clustersystem, bei dem Rechner-Blades, Vernetzung (Infiniband) und Wasserkühlung integriert in sogenannten Zellen (Cell), bestehend aus 3 Racks, sind. Verschiedene Compute-Blades mit Intel Xeon SP, Intel Xeon Phi, ARM-ThunderX2-Prozessoren und Nvidia GPUs sind erhältlich. Die leichte Zugänglichkeit und Wartbarkeit bleibt bei diesem System trotz Wasserkühlung gewahrt.

Jülich Wizard for European Leadership Science (JUWELS)

Die Kühlung mittels Heißwasser (Vorlauftemperatur über 40 Grad Celsius) ist energieeffizienter als Luftkühlung und ermöglicht die Wiederverwendung der Abwärme (z. B. zur Raumheizung anderer Gebäude), der sogenannte PUE-Wert (Power Usage Effectiveness) liegt in diesem Fall nahe 1. Nachdem aktuelle Supercomputer Energiekosten in ähnlicher Höhe wie die Anschaffungskosten verursachen, wird dieser Wert bzw. der gesamte Energieverbrauch immer wichtiger.

Als Cluster-Dateisystem kommt IBMs GPFS-Dateisystem zum Einsatz.

Zum 16. November 2020 wurde JUWELS mit einem Booster-Modul erweitert auf 85 Petaflops, wobei das Booster-Modul alleine 44,1 Petaflops erreicht. Damit rückt das Booster-Modul auf Platz 7 in den Top 500 auf und erreicht Platz drei im Green500 als der energieeffizienteste Supercomputer in der obersten Leistungsklasse.

Hardware

(Quelle:)

• 2271 Standard-Rechenknoten
  • 2× Intel Xeon Platinum 8168 CPU, 2× 24 cores, 2,7 GHz
  • 96 (12× 8) GB DDR4, 2666 MHz
  • InfiniBand EDR (Connect-X4)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • diskless
• 240 Rechenknoten mit großem Speicher
  • Intel Xeon Platinum 8168 CPU, 2× 24 cores, 2,7 GHz
  • 192 (12× 16) GB DDR4, 2666 MHz
  • InfiniBand EDR (Connect-X4)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • diskless
• 56 Beschleunigte Rechenknoten (großer Speicher und zusätzliche Grafikprozessoren)
  • 2× Intel Xeon Gold 6148 CPU, 2× 20 cores, 2,4 GHz
  • 192 (12× 16) GB DDR4, 2666 MHz
  • 2× InfiniBand EDR (Connect-X4)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • 4× NVIDIA V100 GPU, 16 GB HBM
  • diskless
• 12 Login-Knoten
  • 2× Intel Xeon Gold 6148 CPU, 2× 20 cores, 2,4 GHz
  • 192 (12× 64) GB DDR4, 2666 MHz
  • InfiniBand EDR (Connect-X5)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • 100 GigE
  • 2× 1 TB HDD (RAID 1)
• 4 Visualisierungsknoten
  • 2× Intel Xeon Gold 6148 CPU, 2× 20 cores, 2,4 GHz
  • 768 (12× 64) GB DDR4, 2666 MHz
  • InfiniBand EDR (Connect-X5)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • 100 GigE
  • 2× 1 TB HDD (RAID 1)
  • 1× NVIDIA Pascal P100

• 122,768 CPU cores
• 10.6 (CPU) + 1.7 (GPU) Petaflop per second peak performance
• Mellanox InfiniBand EDR fat-tree network with 2:1 pruning at leaf level and top-level HDR switches
  • 40 Tb/s connection to Booster
• 250 GB/s network connection to JUST for storage access

Hardware Booster Module

• 936 Rechenknoten
  • 2× AMD EPYC Rome 7402 CPU, 2× 24 cores, 2,7 GHz
  • 512 GB DDR4, 3200 MHz
  • 4× NVIDIA A100 GPU, 4× 40 GB HBM2e
  • 4× InfiniBand HDR (Connect-X6)
  • diskless
• 4 Login-Knoten
  • 2× 24 cores, 2,7 GHz
  • 192 (12× 16) GB, 2666 MHz
  • EDR-Infiniband (Connect-X4)
  • Intel Hyperthreading Technology (Simultaneous Multithreading)
  • diskless

• 3,744 GPUs
• 73 Petaflop per second peak performance
• Mellanox InfiniBand HDR DragonFly+ topology with 20 cells
  • 40 Tb/s connection to Cluster
• 350 GB/s network connection to JUST for storage access (work in progress as of November 2020)