Deutsches Zentrum für Neurodegenerative Erkrankungen: Mit High Performance Computing gegen das Vergessen

Im Kampf gegen Krankheiten wie Alzheimer und Parkinson spielen Massenstudien und Künstliche Intelligenz eine entscheidende Rolle. Ohne spezielle Hochleistungsrechner ist internationale Spitzenforschung wie am DZNE in Bonn nicht denkbar. Aber wie plant man ein HPC-Cluster so, dass es den Anforderungen diverser Forschungsszenarien gerecht wird?

Sie ist eine der größten medizinischen Studien der Welt: die Rheinland-Studie des Deutschen Zentrums für Neurodegenerative Erkrankungen (DZNE) in Bonn. Über Jahrzehnte begleitet sie die gesundheitliche Entwicklung von bis zu 20.000 Erwachsenen. Alle drei bis vier Jahre lassen sich die Probandinnen und Probanden ausgiebig untersuchen: Sie geben Blut- und Urinproben ab, beantworten Fragen zu ihrem Lebensstil, lassen ihre kognitiven Fähigkeiten sowie ihre körperliche Fitness testen und legen sich zum Gehirn-Scan in einen Magnetresonanztomographen (MRT). Es ist sehr wahrscheinlich, dass bei einigen der Teilnehmenden im Laufe des Lebens eine neurodegenerative Erkrankung wie Alzheimer oder Parkinson diagnostiziert wird. Ist dies der Fall, können die Forscherinnen und Forscher die Daten der Betroffenen mit denen von gesunden Teilnehmenden vergleichen und in ihnen nach abweichenden Mustern fahnden. Die Unterschiede können so geringfügig ausfallen, dass nur eine Künstliche Intelligenz (KI) in der Lage ist, sie zu erkennen. Und dabei gilt: Je größer die Datenmenge, auf die die KI zurückgreifen kann, desto mehr potenzielle Einflussfaktoren kann sie identifizieren. Die Forscherinnen und Forscher möchten endlich begreifen, wie bei der Entstehung der Erkrankungen erbliche Veranlagungen, Lebensgewohnheiten und Umwelteinflüsse zusammenwirken. Die Erkenntnisse tragen dann zur Prävention, Früherkennung und Behandlung bei.

Medizinischer Fortschritt basiert zunehmend auf Big Data

Durchschnittlich erkranken in Deutschland täglich etwa 900 Menschen an Demenz. An der Parkinson-Krankheit leiden weltweit etwa 8,5 Millionen Menschen. In beiden Fällen ist die ­­­­­Tendenz steigend. Aber je früher Ärztinnen und Ärzte diese bislang unheilbaren Erkrankungen diagnostizieren können, desto eher können sie deren Verlauf abmildern. Das setzt voraus, dass sie die Ursachen dieser neurologischen Veränderungen besser verstehen. Das DZNE ist eine der weltweit größten Forschungseinrichtungen in diesem Bereich. Die Wissenschaftlerinnen und Wissenschaftler führen unter anderem die Rheinland-Studie mit bis zu 20.000 Teilnehmenden durch, mit der sie dem Vergessen und den Bewegungsstörungen auf den Grund gehen. Um aus den gesammelten Daten schlau zu werden, benötigt das DZNE nicht nur Anwendungen der Künstlichen Intelligenz, insbesondere neuronale Netze, sondern auch ein High Performance Computing Cluster, um sie zu trainieren. ­

Wohin mit den medizinischen Daten?

 „Medizinische Studien wie diese produzieren gewaltige Datenmengen – inzwischen befinden wir uns schon im Petabyte-Bereich“, sagt Michael Bontenackels, Verantwortlicher für den Bereich HPC im Scientific Computing Support am DZNE. Um sich diese Menge einmal vorzustellen, hilft ein Vergleich: Angenommen, ein Smartphone-Foto hat eine Größe von zwei Megabyte – dann könnten Sie knapp zehn Jahre lang jeden Tag etwa 140.000 Fotos schießen und speichern, bis ein Petabyte an Speicher belegt wäre. Um seine ambitionierten Forschungsziele zu erreichen, benötigt das DZNE somit eine Speichermöglichkeit für die Daten und eine Rechnerinfrastruktur, die komplexe Berechnungen bewältigen kann. Infrage käme einer der Superrechner des nahe gelegenen Jülich Supercomputing Centre (JSC) am Forschungszentrum Jülich. Weil deren Rechen- und Speicherkapazitäten aber begrenzt und überbucht sind und weil sich wiederholende Datentransfers in diesen Größenordnungen sehr zeitaufwendig und teuer sind, entschied sich das DZNE dagegen, die Berechnungen dorthin auszulagern. Auch die Nutzung kommerzieller Cloud-Anbieter schloss Bontenackels aus: „Als medizinische Forschungseinrichtung müssen wir den besonderen Schutz beachten, den Probanden- oder Patientendaten genießen. Bei solchen großen Daten-Mengen würde zudem der Upload in die Cloud lange dauern.“ Eine schnelle eigene Leitung zu dem System war daher ein weiteres Muss.

HPC-Cluster als flexible Alternative

Als Lösung bot sich daher an, ein eigenes High-Performance-Computing-Cluster aufzubauen. Ein solches Cluster besteht aus mehreren Rechnern, wobei jeder Rechner einen Knoten darstellt. Er ist mit mehreren Prozessoren ausgestattet, weshalb die Knoten parallele Rechenoperationen durchführen können. Die Herausforderung bei einem solchen Cluster besteht in der Wahl der einzelnen Komponenten, insbesondere wenn – wie im Falle des DZNE – die User sehr unterschiedliche Ansprüche an die Technik stellen und das Budget von vorneherein festgelegt ist.

Erster Schritt: Konfiguration an die Nutzer-Bedürfnisse anpassen

Bevor es an die Konfiguration eines Clusters ging, war somit eine Bedarfsanalyse erforderlich. Bontenackels organisierte im DZNE einen Workshop mit den Forscherinnen und Forscher, um deren Ansprüche besser zu verstehen. „Dabei zeigte sich, dass wir eine gute Balance finden mussten“, sagt er. „Für diejenigen, die neuronale Netze trainieren, ist zum Beispiel eine hohe GPU-Leistung wichtig. Bei einer Gen-Sequenzierung ist hingegen ein großer Arbeitsspeicher (RAM) relevant.“ Zugleich gab es eine weitere Challenge: Am eigenen Standort hatte das DZNE keine Räumlichkeiten, um ein solches Cluster, das eine hohe elektrische Anschluss- und Kühlleistung benötigt, unterzubringen. Glücklicherweise entstand an der Universität zu Köln gerade ein neues Rechenzentrum für Hochleistungsrechner, und das DZNE konnte dort vier Rack-Plätze mieten, inklusive einer auf 10-Gigabit pro Sekunde ausgelegten Standleitung.

Zweiter Schritt: Budget und Konfiguration aufeinander abstimmen

Die Wahl für die Hardware fiel auf HPE. Das HPE-Apollo-System, das für HPC- und KI-Workloads optimiert ist, bietet mit seiner Rack-Scale-Effizienz eine hohe Anpassungsfähigkeit – deshalb war es möglich, in den vier Racks das geforderte dynamische System für verschiedene User unterzubekommen. Dem DZNE und H&G gelang es demgemäß, das Cluster so zu konfigurieren, dass für jedes Forschungsszenario das Richtige dabei ist und die Rahmenbedingungen dennoch eingehalten wurden. Das Cluster enthält unter anderem elf GPUs Compute Nodes HPE Proliant DL580 Gen10 mit drei TB RAM, aber auch sechs GPU Compute Nodes HPE XL270d Gen10 mit acht NVIDIA V100 GPUs, die speziell für Anwendungen der Künstlichen Intelligenz optimiert sind. „Wir haben jetzt eine hohe Rechenleistung und dennoch mehr RAM als in der Standard-Konfiguration vorgesehen ist“, sagt Bontenackels. Das quelloffene Dateisystem BeeGFS, das für Hochleistungsrechner entwickelt wurde, bietet zudem einen Petabyte Speicherplatz – neben den ebenfalls vorhandenen 192 Terabyte SSD-Storage.

Ergebnis: Hoheit über die Daten und die Rechenkapazitäten

Das DZNE hat nun dank dieses dynamischen Clusters von HPE die Möglichkeit, seine Forschungen intensiv voranzutreiben. Das Zentrum hat vollständige Kontrolle über die Rechner-Kapazitäten und die Daten sowie eine stabile, schnelle Verbindung zum Cluster. Auch für die Zukunft ist das DZNE gerüstet, weil im vierten Rack Platz für zusätzliche Komponenten ist. Das Forschungszentrum betreibt schließlich noch weitere Projekte mit enormen Datenmengen: Der „NeuroDiseaseMonitor“ etwa wertet die Leistungsdaten aller deutschen gesetzlichen Krankenkassen aus, die das Deutsche Institut für Medizinische Dokumentation und Information (DIMDI) bereitstellt – darunter Diagnosedaten aus dem stationären und ambulanten Sektor. Die Datenbank umfasst 70 Millionen Personen – das sind rund 86 Prozent der deutschen Bevölkerung. Forscher erhalten somit Zugang zu zuverlässigen Daten, die ihnen dabei helfen, die Risikofaktoren weiter zu ergründen und die Entwicklung der Betroffenen-Zahlen für die Zukunft abzuschätzen. Diese Prognosen sind besonders wichtig für politische Entscheidungsträger im Bereich der sozialen und medizinischen Versorgung – damit auch künftige Patientinnen und Patienten gut betreut werden.