Präzisions-IT-Kühlung für Superrechner des DFKI

Das DFKI in Kaiserslautern ist auf dem Gebiet innovativer Softwaretechnologien auf der Basis von Methoden der Künstlichen Intelligenz die führende wirtschaftsnahe Forschungseinrichtung in Deutschland. Das Kompetenzzentrum Deep Learning konzentriert seine Forschung auf Deep Learning und Machine Learning Algorithmen. Um die Infrastruktur von der Grundlagenforschung bis zum industriellen Wissenstransfer weiter auszubauen, erhält das DFKI als erste Institution in Europa einen NVIDIA DGX-2 Supercomputer, der als die derzeit leistungsfähigste Rechenmaschine der Welt für moderne KI-Verfahren gilt.

Der neue Superrechner arbeitet am Cluster zusammen mit drei DGX-1 Computern (jeweils 1 PetaFLOP Rechenleistung) sowie aktuell achtzehn weiteren hochintegrierten GPU-Computern. Er steht in einem eigens dafür geschaffenen Serverraum im Tiefgeschoss der Hauptniederlassung in Kaiserslautern. Für den Betrieb, die u. a. allein für diesen Superrechner einen 1,75-Petabyte großen Datenspeicher umfasst, ist eine Mittelspannungsversorgung von 0,25 MW installiert. Der Einsatz von „normalen“ Computern hätte zudem ein Vielfaches an Platz im Serverraum im Vergleich zu dem neuen Super-Computer benötigt.

Höchste Effizienz auf kleinstem Raum

Die extrem hohe Rechenleistung auf sehr kleinem Raum führt zu einem deutlichen Wachstum der Wärmelasten und zu erhöhten Anforderungen an die IT-Kühlung. Um die Superrechner zu kühlen, benötigt das DFKI eine intelligente IT-Klimatisierung, die die vielfältigen Anforderungen an eine präzise, zuverlässige, energiesparende und schallreduzierte Kühlung der DGX-2 und der anderen Computer gewährleistet. Energiesparend soll die Anlage u. a. deshalb sein, weil an dem Standort nur begrenzte Stromkapazitäten zur Verfügung stehen. Auf geringe Schallemissionen wurde geachtet, da ein Wohngebiet unmittelbar an das Gelände des DFKI angrenzt.

Die Hauptanforderung für die Klimatisierung ist eine hohe Kälteleistung auf sehr kleinem Raum mit einem vergleichsweise geringen Energieeinsatz. Hinzu kommt, dass die Kühlung einen hohen Anteil des Energieverbrauchs im neuen Rechenzentrum ausmacht. Das Gesamtkonzept wurde deshalb auch mit Blick auf eine dauerhaft wirtschaftliche Betriebsweise, d. h. möglichst geringen Stromverbrauch, umgesetzt. Das Konzept für die IT-Kühlung wurde vom Planungsbüro S2 Sappok & Stutterich GmbH aus Pirmasens unter Mitwirkung von Walter Sommer, Leiter der Infrastrukturgruppe am DFKI in Kaiserslautern erstellt.Einen wesentlichen Teil des Konzepts bilden Lösungen von RC IT Cooling, einer Marke von Mitsubishi Electric, mit zwei Präzisionsklimaschränken vom Typ i-NEXT FC DW. Die wassergekühlten Klimaschränke mit Direktverdampfung und Vollinvertertechnologie sowie Free-Cooling-Funktion haben jeweils eine Leistung von 100 kW. Für die Freikühlfunktion und die Rückkühlung stehen zwei Rückkühler in Ultra-leise-Ausführung zur Verfügung. Der redundante Aufbau solcher Anlagen ist die übliche Vorgehensweise, um die Betriebssicherheit zu gewährleisten.

Die i-NEXT-Serie von RC IT Cooling ist speziell für die Präzisionsklimatisierung von Servern und IT-Räumen entwickelt worden und bietet ein optimales Verhältnis von Leistung zu Standfläche. Die Geräte ermöglichen eine präzise Temperatur- und Feuchteregelung sowie eine Be- und Entfeuchtung. Energiesparende und geräuschoptimierte EC-Hochleistungsventilatoren sorgen für einen geregelten Luftstrom. Die Ventilatoren passen sich der thermischen Belastung an, die durch Sensoren im Warm- und Kaltgang erfasst wird. Der evolution+ Regler steuert die Aktivierungszeiten der Verdichter mit FIFO-Logik und passt die erzeugte Kälteleistung an den momentanen Wärmeeinfall an.

Intelligentes Energiemanagement

Die beiden Klimaschränke sind jeweils links und rechts im Serverraum aufgestellt. In der Mitte mit einem umlaufenden Gang befinden sich fünf Racks mit dem neuen Rechner und seinen peripheren IT-Komponenten. Pro Rack wird eine Wärmelast von ca. 25 kW abgefahren. Um die energieeffiziente Kühlung zu ermöglichen, ist die Serverklimatisierung nach dem Down-Flow-Prinzip gestaltet. Während die Luftansaugung von oben in den Klimaschrank erfolgt, findet der Luftauslass nach unten in einen Doppelboden statt. Durch Auslassöffnungen im Doppelboden, die sich an der Vorderseite der Racks befinden, wird auf der Luftansaugseite der Racks ein Kaltgang für eine optimale Luftverteilung gebildet.

Die Racks saugen die kalte Luft an und blasen auf der Rückseite die warme Luft in den so genannten Warmgang, die dann wiederum von dem jeweils in Betrieb befindlichen Klimaschrank angesaugt und gekühlt wird. Die Entscheidung für eine Gangeinhausung ist bei diesem Projekt zugunsten einer Kaltgangeinhausung zur präzisen Lenkung der den Servern zugeführten Kaltluft getroffen worden. Durch den Warm- und Kaltgang sowie den angepassten Luftstrom kann eine konstante Temperatur gewährleistet werden. Die Arbeitsbedingungen werden stabiler und die Effizienz der gesamten Klimatisierung steigt.

Einen Großteil der Betriebszeit arbeitet der Präzisionsklimaschrank im Hybrid- oder vollständigen Freikühlbetrieb. Im Regelbetrieb erfolgt zunächst die Kühlung mit Wasser über die Freikühlfunktion. Übersteigen die Wärmelasten einen bestimmten Referenzpunkt, kommt ein Kompressor hinzu und kühlt die angesaugte Luft mittels eines Kältemittelkreislaufs zusätzlich. Steigen die Kälteanforderungen über einen weiteren Temperaturreferenzwert hinaus, schaltet sich der zweite Kompressor im Klimaschrank hinzu, um das vom Betreiber erforderte Temperaturniveau von 21 °C sicherzustellen.

Eine Information der Mitsubishi Electric Europe B. V., Ratingen

Siehe Firmenprofil