Nachdem ich anfangs mal ein paar Bilder vom Entstehen unseres Data Centers gezeigt habe, möchte ich in diesem Beitrag ein wenig in die Technik hinschauen. Dabei geht es um Zahlen, Rechnerleistung und um viel Technik. Die Themen hier sind aber noch nicht die Struktur, die virtuellen Maschinen und die realisierten Funktionen. Das kommt noch in weiteren Beiträgen. Hier soll erst einmal ein oberflächlicher Blick auf die Hardware und deren Leistungsfähigkeit geworfen werden.
Bevor wir tiefer in die Ausstattung unseres Data Centers hineinschauen, ganz kurz ein paar Zahlen zu unserer IT insgesamt. Das Data Center ist ja nur der zentrale Teil, hinzu kommen viele Dinge, die an den Schulen lokalisiert sind. Die Liste dessen, was wir als IT der Schulgesellschaft an unseren Schulen aufgebaut haben und verwalten, ist gar nicht so klein:
- 10 physische Server im Data Center mit Clustern, Failover-Konstruktionen und einer Menge Power.
- Dort allein laufen fast 65 virtuelle Server, die unseren Nextcloudverbund, unser Mailsystem und viele andere Funktionen bereitstellen.
- An unseren 5 hessischen Schulen haben wir insgesamt weitere 10 physische Server laufen mit zusammen noch einmal 55 virtuellen Servern.
- Dazu kommen 80 Switches und weit über 1.000 Netzwerkports.
- Für unser WLAN haben wir in den Schulen über 300 Access Points aktiv, die über 5 WLAN Controller verwaltet werden.
- Rund 400 Lehrkräfte- und rund 500 Schülertablets werden von uns verwaltet und administriert.
- Dazu kommen ca. 160 stationäre Geräte in den Computerräumen zuzüglich der fast 20 Großdrucker und unzähligen kleinen Drucker an den Arbeitsplätzen.
- Schließlich wollen auch die 132 Primeboards, rund 90 AirServer und über 30 Beamer am Laufen gehalten werden, was ebenfalls durch die IT gewährleistet wird.
- In unserem neuen System haben wir rund 4.500 Schülerinnen- und Schüleraccounts, ca. 500 Lehrkräfte- und Verwaltungsaccounts und haben jetzt an der ersten Schule rund 1.600 von für alle Schulen zusammen erwarteten 9.000 Elternpostfächern aktiv. Damit kommen wir allein in unserem Data Center auf über 14.000 aktive Accounts, die von uns gemanaged werden.
Es hat sich im Laufe der Zeit und natürlich insbesondere durch den Digitalpakt eine ganze Menge angesammelt. Dabei haben wir noch viel vor und wollen mit den neuen, vorhandenen Systemen noch eine Menge weiterer Funktionalität realisieren. Heute schauen wir uns aber zunächst mal das Data Center etwas genauer an.
Das Data Center ist als Begriff ein wenig hochtrabend. Sind doch auch große Serverfarmen mit tausenden von Servern Data Center. Ganz so wild treiben wir es dann aber nicht. Auch wenn wir etwas kleinere Brötchen backen, so erfüllen wir doch alle Grundfunktionen, die ein Data Center so hat. Ein Data Center kann man als physische Ansammlung einer Menge an Servern, Infrastruktur, Speichersystemen und Sicherheitsmaßnahmen beschreiben. Einfach gesagt, haben wir zwei Racks mit einem ganzen Haufen IT Kram, der für unsere 5 Schulen und die Schulgesellschaft eine Menge an Möglichkeiten schafft.
Sieht nach gar nicht viel aus, steckt aber eine Menge drin. Hier mal ein paar Eckdaten zu den physischen Eigenschaften, zuerst der rechte Block von unten nach oben:
- Eine leistungsstarke unterbrechungsfreie Stromversorgung (USV)
Diese ermöglicht bei einem Stromausfall, das reguläre Herunterfahren der Server, indem sie auch nach der Abschaltung des normalen Stroms noch eine Weile Energie liefert. Alle Server sind hierzu mit doppelten Netzteilen ausgerüstet, eines bekommt Strom über die normale Leitung, das andere direkt über die USV. Fällt eines aus, springt das andere automatisch ein. - Unser Hauptcluster aus 3 miteinander verbundenen Server
Dieser drei Server arbeiten wie ein gemeinsames System. Alle Daten werden redundant gehalten, so dass beim Ausfall einer der Maschinen alles auf den beiden anderen weiterarbeiten kann. Es ist sozusagen das Herzstück unserer Anlage. Hier mal ein paar Daten dazu. Jeder Server ist mit 2 Prozessoren ausgerüstet, die jeweils 48 echter Kerne haben und durch das Hyperthreading den virtuellen Maschinen 192 virtuelle Rechenkerne zur Verfügung stellen. Macht über alle drei Maschinen genau 567 logische CPU-Kerne, die für uns arbeiten. Dazu ist jede Maschine mit 512 GB Hauptspeicher ausgerüstet, 144 TB Festplattenplatz und 30 TB SSD Platz. Dazu hat jeder Server 10 Netzwerkschnittstellen, 2 x 10 Gbit für den normalen Datenverkehr, 4 x 1 Gbit für Steuerungsfunktionen und 2 x 25 Gbit ausschließlich für die Clusterkommunikation. Mit den 2 x 25 Gbit wird sichergestellt, dass alle Maschinen im Cluster immer den identischen Datenstand auf Ihren Festplatten und SSDs haben. Nur so ist es ja möglich, dass andere Maschinen beim Ausfall einer Maschine direkt einspringen können. Alles in allem haben wir dort mächtige Brummer. - Ein paar Switches
Wen so viele Maschinen mit so vielen Netzwerkschnittstellen zusammenarbeiten sollen, muss es natürlich eine Menge Verteilerknoten geben, die die Daten kreuz und quer schicken. Das ist die Aufgabe der Switches. - Ein Failover-Verbund von Servern die die demilitarisierte Zone (DMZ) bilden
Wow, das klingt martialisch, ist aber ein ganz normaler Begriff in der Netzwerk-Architektur. Eine DMZ ist ein vorgelagerter Rechnerverbund, der in Kontakt zur Außenwelt steht. Bevor Anfragen in dem eben beschriebenen Cluster verarbeitet werden, müssen diese zunächst durch die Rechner der DMZ. In der DMZ werden die Anfragen nach verschiedenen Kriterien untersucht. So wird zum Beispiel geschaut, ob der Fragende überhaupt berechtigt ist zu fragen. Es wird geschaut, ob bestimmte IP Adressen zu häufig anfragen, was ein Verdacht auf einen Angriff wäre. Es wird geschaut, dass mit den Anfragen oder auch Mails möglichst wenig Spam und schon gar keine Viren und ähnliche Schädlinge die Grenze zu unserem inneren Datenschatz passieren können. All dies und noch viel mehr erledigt die DMZ, sie ist quasi ein Bollwerk gegen allerlei schädliche Dinge, die wir nicht in unserem inneren Zirkel haben wollen. Hier haben Reverse Proxy Server ihre Heimat, Mail Transfer Agents (MTAs), isoliert stehende Webserver und vieles mehr. Technisch haben wir zwei Maschinen, die wieder füreinander einspringen können, welche jeweils mit 2 x 16 Core Prozessoren ausgestattet sind und damit den virtuellen Maschinen 64 Kerne zur Verfügung stellen. Jede Maschine hat 128 GByte Hauptspeicher und 2 x 2 TB SSD Speicher, die in einem RAID-Verbund weitere Ausfallsicherheit bieten.
Es sind also eher leichte Maschinen, die nur Prüfungs- und Durchleitungsaufgaben haben. - Spezialserver mit Sonderaufgaben
Dieser Server hat einige wichtige Sonderaufgaben, die zwar nicht zwingend erforderlich, aber dennoch sehr nützlich sind. Über diesen Server wird das in die Nextcloud integrierte Videosystem ermöglicht. Damit können wir eigene Videokonferenzen als Teil unserer Kollaborationsplattform durchführen. Ebenso wird hier das interne Collabora Office gehostet. Damit können Office Dokumente innerhalb des Browsers in der Nextcloud ohne Microsoft Office bearbeitet werden. Dies geht auch gleichzeitig von mehreren Personen am selben Dokument. Der Server hier hat seinen Schwerpunkt in großer Speicherausstattung, da sowohl Collabora Office als auch Videokonferenzen recht speicherlastig sind. - Weitere Switches
- Firewalls als Grenze zur Außenwelt
Die beiden Firewalls schützen uns vor den allermeisten Angriffen aus dem Internet. Diese Angriffe sind eine Alltäglichkeit. Eine Tatsache, die im normalen Alltag kaum im Bewusstsein ist. Sobald man seine Geräte mit einer externen IP Adresse aus dem Internet erreichbar macht, was für Cloud- und Mailsysteme ja unbedingt erforderlich ist, kann man mit bis zu 100.000 Angriffen pro Tag rechnen. Die meisten davon sind harmlos, da versuchen sich einfach ein paar experimentierfreudige Hobbyhacker, schauen mal auf alle Ports, ob irgendwo ein Scheunentor offensteht. Einige andere Angriffe haben es aber in sich. Da greifen professionelle Bots an und versuchen tausende von Port- und Zugangsvariationen, um letztlich ein Schlupfloch in unsere Systeme zu finden.
Manche Angriffe zielen auch gar nicht darauf, in die Systeme einzudringen. Sie wollen einfach nur mit einem Sturm an Anfragen die Infrastruktur lahmlegen. Auch das hatten wir schon. Bislang haben sich die Verteidigungsmechanismen aber bewährt und keiner der Angriffe hatte Erfolg.
Diese Angriffe ganz vorne abzuwehren ist die Aufgabe der Firewalls. Sie analysieren die Anfragen, versuchen Muster zu erkennen und blocken alles ab, was nach unseren Regeln nicht zu uns herein gehört. Sie sind, will man im militärischen Jargon bleiben, die vorderste Verteidigungslinie, noch vor der demilitarisierten Zone.
Werfen wir noch einen ganz kurzen Blick auf das linke Rack von unten nach oben:
- Eine leistungsstarke unterbrechungsfreie Stromversorgung (USV)
Die kennen wir schon von der anderen Seite. - Backup Server
Diese beiden Riesenserver sind unsere Versicherung bei Datenverlusten. Es sind die Backup-Server, auf welchen in jeder Nacht sämtliche Daten gesichert werden. Es gibt ein definiertes Konzept, von welchen Daten wie viele Tages-, Woche-, Monats- und Jahreskopien aufgehoben werden. Die Wiederherstellung ganzer virtueller Maschinen oder auch einzelner Dateien wird damit zu einem Kinderspiel und wurde schon mehrfach genutzt.
Dass beide Server noch hier im Data Center stehen ist natürlich nicht optimal. Daher ist auch geplant, die Server auszulagern in andere Schulen. Dazu muss aber dort erst einmal alles umgestellt sein, damit wir genügend Platz in den Racks vor Ort haben.
Ein paar technische Daten: Ein einzelner 8 Core Prozessor mit gerade mal 64 GByte Hauptspeicher. Dafür aber pro Backup-Server 176 TB Festplattenspeicher. in den Backupsystemen sind die Festplatten natürlich in zwei RAID-Verbünden angelegt, so dass der Ausfall eine Platte pro Verbund zu keinem Datenverlust führt. Zusätzlich sind die beiden Backupsysteme untereinander redundant, so dass selbst ein einzelner Server in Rauch aufgehen darf und wir trotzdem weiterhin alle unsere Daten haben. - Ein paar schulspezifische Systeme
Die werde ich noch an anderer Stelle beschreiben. - Unsere Anbindung an das Internet
Natürlich ist auch unsere Anbindung an das Internet doppelt gesichert. Wir haben eine sogenannte Two Carrier Strategie realisiert. Dies bedeutet, dass wir zwei Glasfaserleitungen haben, die aus zwei verschiedenen Richtungen kommen. Sollte also ein Bagger mal versehentlich die eine aufreißen, springt automatisch die andere ein. Beide haben 1 Gbit symmetrisch, also sowohl im Download als auch im Upload. Diese Redundanz ist essentiell, da alle unsere Schulen auf das Funktionieren des Data Centers angewiesen sind. Wir treiben viel Aufwand, damit wir dies auch in den meisten erdenklichen Situationen sicherstellen können.
Soweit also ein erster Blick auf die Hardware des Data Centers. In einem der Folgebeiträge werden wird uns der Software widmen. Dies wird ein besonderer Genuss, denn so viel sei schon verraten: Wir arbeiten bis auf die Schulverwaltung im Data Center ausschließlich mit Open Source Software. Von der Firewall bis zu den komplexesten Speichersystemen, nichts davon bleibt uns im Zweifel geheim, für alles liegt der Programmiercode offen. Dies ist ein Garant für Transparenz und Datensouveränität. Mehr davon in Kürze.
Peter