Rechenzentren

Wesen, Gestaltung und Anwendung der Normenreihe EN 50600

Wer sich mit Konzeption, Planung Bau oder Betrieb von Rechenzentren auseinandersetzt, kommt an der Normenreihe EN 50600 nicht vorbei. Vor etwa zehn Jahren erschienen die ersten Dokumente - damals noch mit einem Reifegrad, der viel Weiterentwicklung erforderte. Inzwischen hat sich die Normenreihe zu einer soliden Basis gemausert und wird nun dem Anspruch einer anerkannten Regel der Technik voll und ganz gerecht.

1105
Struktur der Normenreihe EH 50600 Bild: Jörg Schulz
Struktur der Normenreihe EH 50600 Bild: Jörg Schulz

Struktur, Gruppen und Ebenen

Eine EN 50600 als Einzelnorm gibt es nicht. Als normativ verbindliche Hauptabschnitte können die Dokumente des Teils 1, 2 und 3 angesehen werden. Diese Teile werden durch sieben Einzelnormen repräsentiert: Teil 1 besitzt noch einmal übergeordneten Charakter und besteht nur aus einer einzigen Norm (EN 50600-1), die allgemeine Konzepte für das Gesamtthema beschreibt und deren Aussagen sich folglich allen anderen Regelwerke unterordnen. Teil 2 umfasst derzeit fünf Einzelnormen. Jede von ihnen behandelt Konzeption, Planung und Projektierung für jeweils eine thematisch eigene Gruppe von Systemen und Gewerken. Teil 3 regelt Abnahme, Übergabe und Betrieb.

Ebenfalls auf der Ebene von EN-Normen angesiedelt ist der Teil 4, der sich mit Kennzahlen (KPIs) beschäftigt. Teil 99 besitzt nicht den Rang einer Norm, vielmehr versteht er sich als Anwendungsleitfaden. Im Verlauf dieses Beitrages stellen wir wichtige Aussagen der einzelnen Dokumente vor.

(In-) Kompatibilität zur DIN 276

Da die Normenreihe von Anfang an europäisch, also international ausgerichtet war, ergab sich bei der Aufteilung der Gewerke und Systeme nicht die Chance, sich an der bekannten Gliederungsstruktur der DIN 276 zu orientieren, wie es aus rein deutscher Sichtweise hilfreich und nachvollziehbar gewesen wäre. Jedoch ist auch so eine Zuordnung der Kostengruppen auf die einzelnen Normen machbar; beide Ansätze unterschieden bauliche und technische Gewerke und kommen in der Aufteilung zu ähnlichen Resultaten. Allerdings sollte man nicht in die Falle tappen und meinen, dass man zum Beispiel alle Anforderungen des Bereichs Elektrotechnik abschließend im Teil 2-2 der Norm findet. Denn es gibt die Elektrotechnik betreffend (um bei diesem Beispiel zu bleiben) viele dokumentübergreifende Aussagen auch in anderen Teilen der Normenreihe. Der Charakter der Normenreihe ist ganzheitlich und so funktioniert das Zusammenspiel auch; Einzelnormen sind Module innerhalb eines Gesamtkontextes und dürfen und können nie losgelöst vom Umfeld betrachtet werden.

Risikoorientierte Sichtweise

Eine der wichtigsten Erkenntnisse beim Querlesen der Normen ist die Tatsache, dass an kaum einer Stelle die eine richtige Lösung beschrieben wird, sondern sich alle Maßnahmen bzw. deren Ausprägung anhand des selbst ermittelten Schutzbedarfs begründen. Dies mag Anwendenden oft noch ungewohnt und unkomfortabel erscheinen, denn immer noch viel zu oft erwarten sie klare, verbindliche „Ansagen“, die 1:1 umgesetzt werden können, um dann „Ruhe zu haben“.

Viele neuere Normen, wie auch die hier vorliegende Normreihe, gehen jedoch von einem risikobasierten Ansatz aus: Am Beginn des Prozesses müssen individuelle Geschäftsrisiken ermittelt werden und entsprechende Feststellungen getroffen werden, auf denen dann alle weiteren Maßnahmen basieren. Rückwärts betrachtet kann mit dieser Methodik einem Entscheidungsträger einfach klargemacht werden, dass er bei Ablehnung bestimmter Maßnahmen bestimmte Risiken zu tragen hat. Eine solche Transparenz erleichtert Entscheidungen.

Einteilung in Klassen

Gemäß Teil 1 soll der Anwender die zu planende Infrastruktur je nach individueller Risikolage grundsätzlich einer Verfügbarkeitsklasse (VK) zuordnen. Bei dieser Klassifikation gibt es insgesamt vier Stufen: die geringe, mittlere, hohe und sehr hohe Verfügbarkeit (VK 1 bis VK 4). Ausdrücklich distanziert sich diese Methodik von dem oft gesehenen Ansatz der prozentualen Verfügbarkeit, den viele aus der TIER-Klassifikation des amerikanischen Uptime-Instituts im Kopf haben. Als Begründung wird ausgeführt, dass in der Prozent-Betrachtung keine Wiederherstellungszeiten berücksichtigt sind, die auch nach sehr kurzen Ausfällen bestimmter Einrichtungen zwangsläufig anfallen.

Beispielhafte Risikomatrix Bild: Jörg Schulz

Vielmehr wird der Anwender in die Pflicht genommen, aus Eintrittswahrscheinlichkeit und potenzieller Schadenhöhe Festlegungen für bestimmte Risiken zu treffen. Weder bei der einen noch bei der anderen Größe geht es allerdings um absolute Zahlen, sondern vielmehr um eine qualitative Klassifizierung etwa in gering, mittel, hoch und missionskritisch. Letzteres kann dabei für Kernprozesse eines Unternehmens oder auch für den Verlust von Leib und Leben stehen.

Oft stellen sich Anwendende die Frage, ob eine Rechenzentrumsinfrastruktur an einem Einzelstandort weniger aufwändig gestaltet werden kann, wenn betriebskritische Prozesse im Rahmen eines Zwei-Standorte-Konzeptes entweder georedundant gespiegelt vonstatten gehen oder bei Ausfall eines Standortes die Datenverarbeitung an einem anderen Standort weitergeführt werden kann. Auf diese Frage gibt die Normreihe ausdrücklich keine Antwort. Die entsprechende Begründung verweist auf Eigenschaften der IT-Dienste, die bekannt sein müssen, aber nicht in den Anwendungsbereich dieser Norm fallen. Andere Regelwerke, wie etwa der BSI-Grundschutz oder das TSI-Programm des TÜViT treffen konkrete Aussagen zum Thema, sind aber weniger verbindlich und nicht in vollem Maße den Regeln der Technik zuzuordnen.

Physische Gebäudestruktur

Der Teil 2-1 enthält Leitlinien für die Konstruktion von Gebäuden, die Rechenzentren beherbergen und beschäftigt sich mit dem physischen Abwehren von Umgebungsrisiken, baulich-physischem Zugangsschutz, Einbruch- sowie Brandschutz und Schutz vor Wasserschäden. In der Norm geht es ausdrücklich nicht um die für Rechenzentren oft sehr kritischen Themen der elektromagnetischen Verträglichkeit (EMV). Dieser Umstand ist bei der Konzeption und Planung mit anderen deutschen und internationalen Regelwerken aufzufangen (z. B. EN 50173, 50174,50310, VDE 0100-444 usw.).

In diesem Normenteil sind wie in anderen Teilen auch zu den einzelnen Themen

  • Anforderungen einerseits und
  • Empfehlungen andererseits

dargestellt. So besteht die Anforderung, dass bei der Standortauswahl die Geografie, das natürliche Umfeld, die Versorgungslage (Energie und Daten) sowie Grundstücks- oder Bereitstellungskosten zu berücksichtigen sind. Hierzu werden Hinweise gegeben, wie man die einzelnen Kriterien untersucht. Neben dem Gebäude an sich stehen auch das Umfeld und die Einfriedung des Grundstücks im Fokus.

Zu Zäunen und Einfriedungen als (physische) Schutzklassenbegrenzungen gibt es konkrete Aussagen, wie mit dem Thema der Widerstandsklassen (RC-Klassen) gemäß EN 1627 umzugehen ist. Denn der Geltungsbereich dieser Norm umfasst Türen, Fenster, Fassaden und dergleichen, nicht jedoch Zäune. Wünschenswert wären aber auch konkrete Angaben für Gelände- oder Bereichseinfriedungen. EN 50600-2-1 nimmt dieses Dilemma auf und projiziert in einer Art Korrelationstabelle die den Widerstandsklassen zugeordneten Widerstandszeiten auf konkrete Zaunhöhen mit oder ohne Übersteigschutz. Dieser Ansatz könnte bei allgemeinen Sicherheitskonzeptionen durchaus Schule machen.

Bereits in diesem Normenteil wird deutlich, dass es neben den vier technischen Verfügbarkeitsklassen auch noch vier sicherheitsbezogene Schutzklassen gibt, angefangen von der äußersten eingefriedeten Zone bis hin zum Rechnerraum, in dem das höchste Schutzgut angeordnet ist. Bei der Betrachtung der Außenhaut wird deutlich, dass es nicht nur um Wände an sich geht, sondern dass ein Gebäude dreidimensional untersucht wird, also auch Decken und Böden Berücksichtigung finden. Für Letztere gibt es über den Schutzgedanken hinaus konkrete Anforderungen, die sich auf die Tragfähigkeit in den einzelnen Bereichen eines Rechenzentrums beziehen. Auch Doppelböden werden hier betrachtet.

Bei der Ausgestaltung der Räume gibt es konkrete Zahlenwerte: So sollen Rechnerräume nicht größer als 600 m² sein und einzelne Rackreihen sollen 20 Schränke nicht überschreiten. Auch soll die Unterbringung von nicht informationstechnischen Systemen wie Unterverteilungen oder Klimageräten vermieden werden. Dies folgt dem lange bewährten Best-Practice-Ansatz zur Trennung von „grober und feiner“ Technik.

Elektrotechnische Versorgung

Teil 2-2 beschreibt mit der Elektrotechnik einen fundamentalen Themenkomplex für Rechenzentren. Konkret geht es um das Prinzip der Verfügbarkeitsklassen, das in allen Ausführungen zu technischen Anlagen präsent ist. Die Energieversorgung wird grundsätzlich in zwei Teilen betrachtet, der Stromversorgung und der Stromverteilung. Dies irritiert zunächst und eine klare Begründung für diese Aufteilung ist dem Autor dieses Beitrages trotz aktiver Mitarbeit im entsprechenden Normengremium nicht bekannt.

Theoretisch könnte man für Stromversorgung und Stromverteilung verschiedene Verfügbarkeitsklassen wählen. Viel besser ist es jedoch, auf strikte Durchgängigkeit Wert zu legen. Das gilt nicht nur innerhalb der Elektrotechnik, sondern für die Gesamtheit aller Infrastrukturen. Zwar ist es immer möglich, in unterschiedlichen Anlagen unterschiedliche Verfügbarkeitsklassen zu benennen, aber im Sinne eines einheitlichen Niveaus über Gewerkegrenzen hinweg ist hiervon besser Abstand zu nehmen.

Die elektrotechnischen Betrachtungen basieren nicht primär auf schematischen Darstellungen von Zusammenhängen bestimmter Anlagen wie Netzersatzanlagen, Transformatoren, Schaltanlagen, USV-Anlagen und dergleichen, sondern beschreiben vor den Beispielskizzen zunächst funktionale Anforderungen, die sich naturgemäß bei den höheren Schutzklassen verschärfen.

Bereits im Teil EN 50600-1 ist für alle relevanten Gewerke quasi als Erkenntnis der funktionalen Anforderungen zusammenfassend dargestellt, wie die Redundanzprinzipien technisch ausgestaltet werden sollen:

  • In der Verfügbarkeitsklasse 1 ist von einer Einzelpfad-Lösung auszugehen.
  • Verfügbarkeitsklasse 2 enthält einen Einzelpfad mit Redundanz.
  • In Verfügbarkeitsklasse 3 sind bereits mehrere Pfade erforderlich.
  • Die Verfügbarkeitsklasse 4 schließlich muss mit mehreren Pfaden jeweils mit Redundanz ausgestattet sein.

Hieraus ergeben sich konkrete Beziehungen der Anlagen und Funktionsblöcke, die in Beispielbildern visualisiert werden.

Verfügbarkeitsklassen der Stromverteilung Bild: Jörg Schulz

Als wichtigste Neuerung im Bereich Elektrotechnik hat die elektrotechnische Versorgung des Standortes in der populären und oft gewählten VK 3 (und natürlich auch in VK 4) über zwei vollkommen unabhängige Wege zu erfolgen. Für die Unabhängigkeit reicht es nicht, dass man über die in den Ortsnetzen übliche Ringeinspeisung an die Mittelspannungsversorgung angebunden ist. Eine solche Ringstruktur gilt ausdrücklich nicht als Unabhängigkeit. Die Verwunderung darüber scheint eine deutsche Eigenart zu sein, daher spezifiziert das Deutsche Normenkomitee in einer nationalen Fußnote, dass die Unabhängigkeit zum Beispiel durch Anschluss an ein zweites Umspannwerk [sic!] realisiert werden kann. Dies macht deutlich, dass viele Standorte keine zwei unabhängigen Versorgungen im Sinne der Norm nachweisen können.

Als kompensatorische Maßnahme zu diesem Umstand wird eine Redundanz der Netzersatzanlage (im Normen-Jargon „zusätzliche Versorgung“) gefordert. Bislang wurden in unseren Breiten Konzepte mit einer Netzersatzanlage und einer Ringeinspeisung als sicher genug betrachtet, um sie als „hochverfügbar“ zu klassifizieren. In der Konsequenz müssen wir uns künftig mit dieser Norm anderen, möglicherweise weniger verfügbaren europäischen Versorgungsqualitäten unterordnen, die diese Form der Redundanz erfordern. Fakt ist, dass in den meisten VK-3-Rechenzentren aus diesem Punkt heraus eine Netzersatzanlagen-Redundanz verpflichtend wird.

Weiterhin geht diese Norm auf unterschiedliche Tiefen eines Messkonzeptes bezüglich Lastflüssen und Verbrauchsdaten ein, die mit dem Titel „Befähigung zur Energieeffizienz“ umschrieben werden. Die Befähigung wird dadurch ermöglicht, dass qualifizierte Messungen in unterschiedlichen „Granularitätsniveaus“ mit fest eingebautem Equipment erfolgen. Mit höherem Niveau steigt die Feinheit der Anordnung der Messmittel: Niveau 3 erfordert Messpunkte angefangen von der Primärversorgung über die Primärverteilungseinrichtungen und die Sekundärverteilungseinrichtungen bis hin zu den einzelnen Abgängen im Serverraum. Niveau 2 geht weniger in die Tiefe, Niveau 1 beschränkt sich auf die Einspeisung.

Granularitätsniveau in der Stromversorgung Bild: Jörg Schulz

Regelung der Umgebungsbedingungen

Im Teil 2-3 werden ebenfalls funktionale Anforderungen an die Verfügbarkeit der Klimatisierungstechnik beschrieben, die sich nicht wesentlich von den elektrotechnischen Anforderungen unterscheiden. Wenn man nach identischen Verfügbarkeitsklassen arbeitet, sind damit die Anforderungen insgesamt nun relativ durchgängig. Auch hier wird zwischen Versorgung und Verteilung unterschieden, wenngleich beide in den Beispielbildern immer im Zusammenhang betrachtet werden. VK 1 beschreibt auch hier eine Einzelpfadlösung, die weiteren Klassen erfordern einen Einzelpfad mit Redundanz (VK2), eine Mehrpfadlösung (VK3) und eine Mehrpfadlösung mit Redundanz (VK4). Unterschieden wird, wie Rechnerräume und Infrastrukturräume in Bezug auf Redundanz zu klimatisieren sind. Dazu werden konkrete, für Elektroanlagenplaner relevante Anforderungen formuliert, in welcher Qualität der Stromversorgung die klimatechnischen Systeme zu betreiben. Der Bereich der Befähigung zur Energieeffizienz nimmt in dieser Norm naturgemäß mehr Raum ein, hier geht es um Größen wie Temperatur, Feuchte, Luftdruck, Kühlmitteldurchfluss, Wärmeabfuhr und dergleichen, die zu erfassen sind.

Verfügbarkeitsklassen der Kälteverteilung, Vergleich VK 2 und VK 3 Bild: Jörg Schulz

Kommunikationsverkabelung

Teil 2-4 sorgt sich um die informationstechnische Verkabelung. Man könnte meinen, dass man mit den Normenreihen EN 50173, EN 50174 usw. schon gut beraten ist. Dieser Eindruck verstärkt sich bei Sichtung der Norm und den häufigen Querverweisen zu den genannten und anderen Regelwerken. Es geht sogar bis zur Übernahme von Grafiken, beispielsweise der Architektur der Verkabelungssysteme. Insofern gibt es wenig wirklich Neues, wichtig ist nur die Einteilung der bekannten Konzepte in die genannten Verfügbarkeitsklassen. Naturgemäß steigert sich auch hier der Anspruch mit Erhöhung der Verfügbarkeitsklasse und die Konzepte werden entsprechend ausfallsicherer. Des Weiteren werden Kabelwege thematisiert mit all den Empfehlungen, wie sie anderswo auch schon aufgegriffen werden.

Sicherungssysteme

Teil 2-5 behandelt Sicherungssysteme, also technische Anlagen, die zur Sicherheitstechnik gehören. Einleitend wird auf die Inhalte der EN 50600-2-1 Bezug genommen, konkret auf die Zonenanordnung der einzelnen Schutzklassen. Insbesondere Zonensprünge, also das Auslassen bestimmter Stufen innerhalb des aufsteigenden Konzeptes, werden thematisiert, die in den niedrigeren Schutzzonen noch möglich sind. Bei der höchsten Schutzklasse 4 gibt es jedoch kaum Möglichkeiten für Kompromisse bezüglich einer vorgelagerten definierten Staffelung der Zonen. Die Norm betrachtet die Festlegungen zu den Schutzklassen, gestaffelt nach Themen:

  • Schutz vor unbefugten Zugang
  • Schutz gegen Einbrüche
  • Schutz gegen Brände
  • Schutz gegen weitere Ereignisse im Rechenzentrum
  • Schutz gegen weitere Ereignisse außerhalb des Rechenzentrums.

Dies ermöglicht eine differenzierte Betrachtungsweise, beispielsweise für einbruchmeldetechnische Sicherungsbereiche einerseits und Zutrittszonen für Zutrittskontrollsysteme andererseits. Denn auch im richtigen Leben gibt es häufig keine komplette Kongruenz beider Strukturen.

Wesentlich ist, dass in der populären Verfügbarkeitsklasse 3 keine Löschanlage verbindlich gefordert wird, sondern erst in der höchsten Klasse 4. In Klasse 3 ist nur von „nicht fest installierten Feuerlöschanlagen“ die Rede, im einfachsten Fall genügt damit die Ausstattung mit Feuerlöschern.

Im Weiteren werden einzelne technische Systeme gesondert behandelt, immer mit Bezug zur europäischen Normung der Technologien. Die wichtigsten Systeme sind Zutrittskontrollsysteme, Videoanlagen und Einbruchmeldeanlagen.

Idealtypisches Zonenmodell ohne Zonensprünge Bild: Jörg Schulz

Die Betriebsphase und der Weg dahin

Teil 3-1 beschäftigt sich mit Management und Betrieb eines Rechenzentrums. Hier werden Themen beschrieben, die ebenfalls in den Tätigkeitsbereich von Fachplanern fallen, nämlich das Zusammenstellen der Informationen für den Betreiber, d. h. der Dokumentationsunterlagen. In einem weiteren Schritt wird unter „Abnahmeprüfung“ das beschrieben, was einerseits den Einzelabnahmen der Gewerke entspricht. Andererseits werden jedoch auch gewerkeübergreifende Integrationstests besprochen, die für viele Planer eine Besonderheit darstellen. Insbesondere geht es um schnittstellenübergreifende Testszenarien bei gleichzeitiger elektrotechnischer und thermischer Simulation eines Serverbetriebes, oft mit Hilfe von Lastbänken.

Für solche Testabläufe hat es sich bewährt, konkrete Fahrpläne zu entwickeln, Protokolle vorzubereiten und erwartete Reaktionen zu vermerken, um sie im realen Test mit den tatsächlichen Reaktionen abzugleichen. Denn Anlagen werden bei diesen Testabläufen nicht nur im Normalbetrieb getestet, sondern es müssen auch Ausfälle und Störungen herbeigeführt werden, etwa durch Abschalten der Stromversorgung oder durch partielle Wegnahme der Kälteversorgung. Hier müssen Redundanzen greifen, um die Betriebsfähigkeit auch im Störfall nachzuweisen. Nach Wiederherstellung der Regelsituation ist der Prozess zur Rückkehr zum Normalbetrieb durchzuspielen.

Im Weiteren werden in diesem Normenteil allerlei IT-Prozesse beleuchtet, die in betriebliche Prozesse und in Managementprozesse unterteilt werden.

Kennzahlen für den IT-Betrieb

Schließlich beschäftigt sich der Teil 4 der Norm in seinen sieben Unterdokumenten mit Leistungskennzahlen – KPIs – für den Rechenzentrumsbetrieb. Betreiber können hier eine Übersicht über den Betriebszustand erlangen, wenn der Planer im Vorfeld die Voraussetzungen dafür geschaffen hat. Teil 4-1 beschreibt allgemeine Anforderungen an solche Leistungskennzahlen, in den weiteren Teilen finden sich Details, wie Leistungskennzahlen zu ermitteln und zu verarbeiten sind.

Anwendungsleitfaden

Ein weiteres Regelwerk, dass nicht den Status einer Norm, sondern eines DIN CLC/TR (Technischer Report) hat, ist im Bereich 99 angesiedelt. Das einzige zurzeit gültige Werk ist die DIN CLC/TR 50600-99-3. Hierbei handelt es sich um einen Anwendungsleitfaden für die Normenreihe EN 50600.

Fazit

Die gesamte Normreihe hat sich zu einem sehr umfassenden Regelwerk entwickelt, die noch weit mehr Festlegungen, Vorgaben und Empfehlungen enthält, als sich hier abbilden lässt.

Ein Rechenzentrumsprojekt ohne Kenntnis der Inhalte der Normen anzugehen, wäre aus heutiger Sicht ziemlich leichtsinnig. Insofern lautet die Empfehlung, sich im Detail mit den Regelwerken auseinanderzusetzen, wenn man in diesem Segment Leistungen nach Stand der Technik planen oder ausführen will.

Jörg Schulz

Jörg Schulz
AnhangGröße
Beitrag als PDF herunterladen852.84 KB

· Artikel im Heft ·

Wesen, Gestaltung und Anwendung der Normenreihe EN 50600
Seite 12 bis 17
29.02.2024
Gussrohr
Die Implementierung nachhaltiger Baupraktiken, wie sie von der Deutschen Gesellschaft für nachhaltiges Bauen (DGNB) vorgeschrieben sind, erfordert eine präzise Materialauswahl und Planung. Guss als...
11.06.2024
Grün und sicher
Das Thema Nachhaltigkeit ist allgegenwärtig und so überrascht es nicht, dass auch im Bereich des Brandschutzes mehr und mehr darauf geachtet wird, Konzepte und Lösungen nicht nur brandschutztechnisch...