Smart überwacht: Seewasserkühlkreislauf für Supercomputer

Smart überwacht: Seewasserkühlkreislauf für Supercomputer

Das Swiss National Supercomputing Centre in Lugano wird ausschliesslich mit Wasser aus dem 2,8 Kilometer entfernten See gekühlt. Für maximale Verfügbarkeit des Kühlkreislaufs überwachen Smart Sensors von ABB die Pumpen und Motoren in der Pumpstation.

Der leistungsfähigste Computer der Schweiz wird in Lugano-Cornaredo betrieben: Das Swiss National Supercomputing Centre (Centro Svizzero di Calcolo Scientifico – CSCS) zog 2012 in ein neues Rechenzentrum neben dem Fussballstadion ein.

Auch Supercomputer für Wetterprognose
Hier steht der «Piz Daint» genannte Supercomputer vom Typ Cray XC50. Um eine Vorstellung seiner Rechenleistung zu geben: Um sie zu erreichen, müssten alle 8,6 Millionen Einwohner der Schweiz je 730'000'000 Rechenoperationen ausführen – pro Sekunde. Im CSCS betreibt unter anderem auch MeteoSchweiz einen Supercomputer, um hochauflösende Wettermodelle und -prognosen zu berechnen. Und die EPF Lausanne hat hier «Blue Brain 5» für die Simulation neuronaler Netze installiert.

Normalerweise ein Drittel des Verbrauchs für Kühlung
Hochleistungs-Rechenzentren haben einen enormen Stromverbrauch. Etwa ein Drittel davon entfällt normalerweise auf die Kühlung, für die üblicherweise Kompressoren eingesetzt werden. Ohne die passende Wärmeabfuhr würden die leistungsstarken Rechner innert Kürze überhitzen.

6° C kühl aus 45 m Tiefe
«Das CSCS ist eines der energieeffizientesten Hochleistungs-Rechenzentren der Welt, denn hier nutzen wir für die Kühlung ausschliesslich eine natürliche Kälteressource: 6 Grad kühles Wasser, das in 45 Metern Tiefe aus dem Luganer See gepumpt wird», erklärt Christoph Stauffer, verantwortlicher Facility Manager im CSCS.

Das Schweizer Hochleistungs-Rechenzentrum in Lugano nutzt einzig das aus der Tiefe des Lago di Lugano gepumpte Seewasser zur Kühlung.
Das Schweizer Hochleistungs-Rechenzentrum in Lugano nutzt einzig das aus der Tiefe des Lago di Lugano gepumpte Seewasser zur Kühlung.

Wassermenge für vier volle Badewannen – pro Sekunde
Davon braucht es eine ziemliche Menge: Das Wasser wird durch ein Rohr mit 80 Zentimetern Durchmessern vom 2,8 Kilometer entfernten Seeufer quer durch die Stadt zum Rechenzentrum geleitet und über ein zweites wieder in den See zurückgeführt. Bis zu 720 Liter Wasser könnten so nach Cornaredo geleitet werden. Nicht nur für das CSCS; auch die Aziende Industriali Lugano und weitere Abnehmer in der Nachbarschaft profitieren so von einer ökoeffizienten Kühlung.

Mittelspannungsversorgung von ABB im Rechenzentrum
Im Rechenzentrum selbst steckt viel Elektrotechnik von ABB: So wurden für die Stromversorgung des auf 20 Megawatt elektrische Leistung ausgelegten Centers 17 Transformatoren sowie Mittelspannungsschaltanlagen der Typen ZX0 und ZX2 von ABB installiert, insgesamt 26 Felder.

Auch die Mittelspannungsverteilung im Rechenzentrum wurde mit Schaltanlagen von ABB realisiert.
Auch die Mittelspannungsverteilung im Rechenzentrum wurde mit Schaltanlagen von ABB realisiert.

Niederspannungsversorgung und Frequenzumrichter von ABB in der Pumpstation
Die Smart Sensors von ABB hingegen sind in der unterirdischen Pumpstation am Ufer des Lago di Lugano installiert. Die Station wurde im belebten Parco Ciani eingerichtet. Spaziergänger ahnen davon nichts; lediglich zwei unscheinbare Stahlplatten sind in den Uferweg eingelassen. Sie bedecken den Eingang der durchaus geräumigen Pumpstation, die mit ABB-Niederspannungsschaltanlagen ausgerüstet ist. Hier sind drei Pumpen eingebaut – jeweils mit einem Elektromotor mit einer Leistung von 250 Kilowatt gekoppelt, der je von einem ABB-Frequenzumrichter vom Typ ACS800 angetrieben wird.

Einblick in die unterirdische Pumpstation am Ufer des Lago di Lugano.
Einblick in die unterirdische Pumpstation am Ufer des Lago di Lugano.

Redundante Auslegung der Pumpen
«Für den maximale Förderleistung von 720 Liter pro Sekunde des in vierzig Metern Seetiefe gefassten Wassers ins 30 Meter über dem Seespiegel gelegenen Cornaredo reichen zwei Pumpen aus; im Alltagsbetrieb brauchen wir derzeit deutlich weniger», erklärt Stauffer. «Die redundante Auslegung der Systeme mit einer dritten Pumpe ist für unseren Betrieb jedenfalls wichtig. Die Kühlung darf nicht ausfallen, sonst müsste unser Rechenzentrum innert Kürze heruntergefahren werden», so Stauffer.

Smart Sensors bringen noch mehr Verfügbarkeitssicherheit
Um die Zuverlässigkeit des Kühlreislaufs weiter zu steigern, setzt das CSCS nun auch Smart Sensors von ABB ein. Zuerst wurden sie an zwei Motoren im Pumpwerk angebracht. Nachdem ABB die Smart Sensors für den Einsatz an Pumpapplikationen weiterentwickelt hatte, rüstete das CSCS zwei Pumpen mit der Neuerung aus.

Für vorausschauende Wartung
Ein Smart Sensor misst Parameter wie etwa Oberflächentemperatur und Vibrationen oder sammelt Daten zum Magnetfeld und zu Geräuschen, immer mit einem Zeitstempel versehen. Daraus lassen sich Betriebsparameter wie Anzahl der Starts, Betriebsstunden oder Gesamtleistung berechnen – und vor allem Zustandsparameter hinsichtlich der vorausschauenden Wartung.

Einblick ins Innenleben
«Die hier installierten robusten Motoren und Pumpen sind noch vergleichsweise neu. So brauchen wir die Sensoren derzeit eher, um uns mit den erhobenen Daten und deren Verwendung vertraut zu machen», erklärt Stauffer. Er sehe nun, wie sie Einblicke in das Innenleben der Anlage verschaffen und bei deren Alterung künftig mögliche Probleme vorzeitig anzeigen können.

 Christoph Stauffer liest im Pumpwerk Werte der Smart Sensors auf seinem Handy aus.
Christoph Stauffer liest im Pumpwerk Werte der Smart Sensors auf seinem Handy aus.

Neuer Supercomputer mit Direktkühlung
Zumal sich das CSCS weiterentwickelt. Bald wird ein Nachfolger des «Piz Daint» installiert, mit einer vielfach höheren Rechenleistung. Seine Platinen lassen sich direkt mit Wasser kühlen. Beim aktuellen Supercomputer geschieht das noch indirekt; über eingeblasene Luft, die mit dem zugeführten Wasser abgekühlt wird.

Zwei Kühlkreisläufe
Das wird nicht mit dem Seewasser selbst geleistet, sondern über einen internen Kühlwasser-Kreislauf: Grosse, vom zugeführten Seewasser durchflutete Wärmetauscher temperieren das interne Kühlwasser zuerst auf etwa 8 Grad herunter. Im Kühlkreislauf für die Höchstleistungsrechner wird es auf rund 16 Grad erwärmt – und durch einen weiteren Wärmetauscher geleitet, der an einen zweiten Kühlkreislauf angeschlossen ist. Diese Leitung mittlerer Temperatur kühlt die Luft von Equipment, das eine geringere Energiedichte hat und deshalb mit weniger kaltem Wasser gekühlt werden kann. So werden mit einmaligem Pumpen zwei Kühlkreisläufe beschickt – ein weiterer Gewinn an Energieeffizienz.

Stromgenerierung mit Mikroturbinen
Zudem sind in der Rückleitung des Seewassers auf Höhe der Pumpenstation Mikroturbinen installiert, um das Gefälle für die Stromproduktion zu nutzen.

Mechanische Ausfälle mit Smart Sensors verhindern
Dieser ausgeklügelte Kühlwasserkreislauf wurde für Notfallszenarien zudem mit einer «Versicherung» versehen: Das kühle Seewasser fliesst im Rechenzentrum zuerst in grosse Tanks mit einem Gesamtfassungsvermögen von 160 Kubikmetern. Wenn das Pumpwerk ausfällt, reichen diese Kühlwasserreserve, um das Rechenzentrum innert 15 Minuten gesichert herunterzufahren. Dank den Smart Sensors sollten auf jeden Fall Ausfälle der Pumpen aus mechanischen Gründen verhindert werden können.

Links

Kontaktieren Sie uns

Downloads

Diesen Artikel teilen

Facebook LinkedIn Twitter WhatsApp