Der Lehrstuhl für Numerische Mechanik an der Technischen Universität München baute mit Hilfe von Supercomputing ein digitales Modell der Lunge auf. Dieses hilft jetzt in Kliniken, die Beatmung zu verbessern und die Sterblichkeit zu senken. Das Münchener Startup Ebenbuild bringt das Modell in den Alltag von Medizin und Krankenhäusern.
Eine grafische, dreidimensional wirkende Abbildung der menschlichen Lunge. Grafik: Lehrstuhl Numerische Mechanik/TUM
Schon mal versucht, einen Figurenballon aufzublasen – mit Ohren, Beinchen, Pfoten und mehr? Das geht nicht immer gut: Mal füllt sich nur ein Ohr, mal bleiben Beine klein oder schlaff, mal platzt das Ding. Ganz ähnlich stellt sich die Beatmung der Lunge dar. Nur stehen Intensivmediziner:innen vor der heiklen Aufgabe, Abermillionen von kleinen Ohren oder besser: filigranen Bläschen gleichmäßig mit Luft zu füllen. Manche davon sind aber schon voller Wasser oder Schleim, können also nur wenig Luft aufnehmen, bei anderen wiederum ist das Gewebe steif oder brüchig, sie dürfen nur mit äußerster Vorsicht gefüllt werden. Nicht zuletzt: Ärzt:innen agieren beim Beatmen nicht nur unter höchstem Zeitdruck, sie können auch nicht sehen, wie sich welche Teile der Lunge füllen und wo eventuell zu hohe Belastungen drohen. Die Beatmung ist eine Meisterleistung und mit hohen Risiken verbunden: Erfahrungen aus Kliniken zufolge führen noch bis zu 50 Prozent der Beatmungen zum Tod.
Eine Lösung dieses schwer erträglichen Dilemmas liefern nun die Mechanik und ihre junge Tochter, die numerische Mechanik. Diese Disziplinen widmen sich schon länger nicht mehr nur den Maschinen, der Technik oder Produktionsprozessen, sondern zunehmend auch Organfunktionen oder sogar Lebewesen: „Alle physikalischen, biologischen, chemischen Phänomene können durch mathematische Gleichungen beschrieben werden“, erklärt Professor Dr. Wolfgang Wall, Leiter des Lehrstuhls Numerische Mechanik (LNM) an der Technischen Universität München (TUM). „Und die Mechanik spielt eine ganz wesentliche, allerdings lange unterschätzte Rolle in lebenden Systemen.“ Im Fokus der Mechanik stehen Wechselwirkungen von Kräften und Bewegungen sowie Verformungen von festen, flüssigen oder gasförmigen Körpern und Substanzen und deren Berechnungen; die numerische Mechanik wiederum entwickelt Modelle, Gleichungen, auch Computerprogramme, um Strömungen und Verformungen oder sogar Organe digital nachzubilden. An Walls Lehrstuhl entstand in den vergangenen Jahren ein viel beachtetes, äußerst genaues Modell der menschlichen Lunge, das mit traditionellen Vorstellungen bricht, der Medizin hilft, die Vorgänge bei der Beatmung besser zu verstehen und sowieso die Abermillionen Bläschen des wohl komplexesten Figurenballons heute schonend und individuell zu füllen.
Interdisziplinär die besseren Modelle entwickeln
High-Performance Computing (HPC) und Supercomputer gehören dabei zum Handwerkszeug. Der LNM gehört daher zu den Nutzer:innen des Leibniz-Rechenzentrums: „Wir betreiben anwendungsmotivierte Grundlagenforschung“, beschreibt Wall die Arbeit am Lehrstuhl. „In meinen Kreisen wird dabei die Relevanz des HPC oft noch unterschätzt, es birgt aber enormes Potenzial. Uns bringt die Nähe zu den Supercomputern des LRZ weiter. Wir können dort große Rechenleistung nutzen und finden die Spezialist:innen, die uns beim Optimieren von Algorithmen und bei der Implementierung von Programmen helfen. Und mit dem Erkenntnisgewinn, den wir aus dieser Kooperation schöpfen, können wir neue, bessere Modelle und Methoden entwickeln.“ Der LNM hat sich auf die Berechnung und Modellierung von komplexen Mehrfeld- und Multiskalenproblemen spezialisiert, das sind biologische und technische Phänomene, bei denen zum Beispiel elektromagnetische oder chemischen Felder die Bewegungen fester Stoffe verändern oder in denen feste, flüssige, gelartige oder gasförmige Stoffe zusammenwirken. Etwa 30 Mitarbeitende entwickeln hier mit Ingenieur:innen, Biolog:innen, Ärzt:innen, neuerdings sogar mit Physiotherapeut:innen Ideen, Hypothesen, Algorithmen, Simulationen. Eine besondere Rolle spielt dabei die Mathematik: „Unsere zentrale Aufgabe ist“, spezifiziert der Mathematiker und Informatiker Dr. Martin Kronbichler, „die numerischen Werkzeuge und Algorithmen zu entwickeln, mit denen sich konkrete Probleme auch aus anderen Fachrichtungen modellieren lassen.“
Prof. Dr. Wolfgang Wall (ob), Lehrstuhl Numerische Mechanik, und Prof. Dr. Martin Kronbichler, Institut für Mathematik, Universität Augsburg
Das digitale Modell der Lunge, an dem etwa seit dem Jahr 2000 gearbeitet wird, ist ein gutes Beispiel für die interdisziplinäre Arbeit am LNM. Im Laufe der Jahre wurde es um immer mehr Kriterien und Details erweitert, dadurch wuchsen die Datenmengen, die heute nur noch Supercomputer bewältigen können. „Um so ein komplexes Modell zu entwickeln, muss man das Organ möglichst umfassend analysieren und verstehen“, meint Wall, „und sich manchmal auch von falschen Vorstellungen trennen.“ So erkannte das Team zum Beispiel, dass die rund 500 Millionen Lungenbläschen oder Aveolen nicht wie in Lehrbüchern dargestellt traubenförmig an den Bronchien oder Bronchiolen hängen, sondern eher ein schwammiges, elastisches Gewebe von enormer Größe bilden. „In der Medizin gibt es wenige Möglichkeiten, wesentliche Prozesse im Körper oder Körperfunktionen zu messen oder davon Bilder zu machen“, sagt Wall. „Trotz modernster Methoden, morphologischer und histologischer Kenntnisse ist beispielsweise bis heute nur wenig über die vitalen Prozesse in der Tiefe der Lunge bekannt.“ Digitale Modelle veranschaulichen Funktionsweisen besser und führen so zu Erkenntnissen oder neuen Therapien. Bei der Beatmung können mit angepassten Behandlungsmethoden Lungenleiden vermieden und Sterberisiken gesenkt werden.
Daten + Mathematik + Modelle + Informatik = Simulation
Die Arbeitsgruppe um Wall hat inzwischen eine Reihe von Modellen der digitalen Lunge entwickelt, die unterschiedliche Fragen beantworten. Sie basieren auf statischen Ansichten aus Computertomografen und Röntgengeräten, außerdem auf Bilddaten von umfangreichen Experimenten mit Gewebsproben aus Mikroskopen. Auch verfügbare, anonymisierte Patient:innendaten und Messwerte wurden für das Modell herangezogen. Schrittweise wurde damit das Luftröhren- und Bronchiensystem, die Lungenbläschen und das -Gewebe sowie das Parenchym, wo die Atmung stattfindet, modelliert und diese schließlich in einer Simulation zusammengeführt. Dabei kamen unterschiedlichste mathematische Gleichungen und numerische Methoden zum Einsatz: etwa höchst effiziente Diskretisierungsverfahren auf Basis der diskontinuierlichen Galerkin-Methode sowie algebraische Mehrgitter-Methoden, um etwa mit Navier-Stokes-Gleichungen die Strömungen von Gasen und Flüssigkeiten in der Lunge inklusive der dort ebenfalls auftretenden Turbulenzeffekte zu berechnen.
Jeder Modellierungsschritt wird kritisch hinterfragt, anhand von Messwerten, Beobachtungen, Erfahrungen und Logik überprüft. Ein Vorteil, dass im LNM-Team so viele unterschiedliche Denkweisen und Forschungsrichtungen vertreten sind: „Man kann Hypothesen und Theorien nicht beweisen, man kann nur versuchen, sie zu widerlegen. Das ist es, was wir hier täglich versuchen“, sagt Wall und Kronbichler ergänzt: „Das Tolle an Simulationen ist, dass die Resultate genau angeschaut und in Details immer wieder neu berechnet werden können.“ Das jedoch fordert Rechenkapazitäten, besonders dann, wenn mehrere Modelle zu einem detailreicheren zusammengeführt werden und damit die Berechnungen wie die Datenmengen exponentiell wachsen. Eine besondere Herausforderung für den SuperMUC-NG stellten in diesem Fall die aufgelöste Beschreibung der Luftströmungen in der Lunge dar. Zusammen mit den LRZ-Spezialist:innen wurde der dafür empfohlene Simulationscode exaDG optimiert, er kann nun als hochskalierbarer Solver auch zur Simulation anderer turbulenter Strömungen eingesetzt werden. Matrixfreie Operatorauswertungen beschleunigten die Berechnungen und Speicherzugriffe, Eingriffe ins Rechnersystem verbesserten die Cache-Nutzung und Vektorisierung und führten den SuperMUC-NG zu höheren Leistungen.
Forschungsergebnisse in den Alltag bringen
„Um ein Thema wie das Lungenmodell voranzutreiben, brauchen wir unterschiedliche Fähigkeiten und Wissen, vor allem aber begeisterungsfähige Menschen, die verstehen wollen, wie Prozesse wirklich funktionieren und diese immer wieder in Frage stellen“, meint Wall. Schon arbeiten sie am LNM in Garching an neuen mechanischen Problemen – technischen wie medizinischen. So entwickeln sie beispielsweise Modelle, um die menschliche Schulter zu erfassen, das Wachstum von Tumoren zu beschreiben oder um Therapien oder Ansätze der Nanomedizin zu verbessern. Im technischen Bereich werden Batteriesysteme für E-Fahrzeuge entwickelt oder innovative Verfahren zum 3D-Druck von Bauteilen aus Metall. Die jetzt vorliegende, digitale Lunge wurde mehrfach ausgezeichnet, die Ansätze zur Simulation der Luftströmungen 2021 sogar beim internationalen Gordon Bell-Award für herausragende Arbeiten im HPC vorgeschlagen.
Viel wichtiger als Ehrungen ist dem Team, dass damit die Beatmung besser und sicherer wird: Basierte die Beatmung bisher oft nur auf allgemeinen Informationen sowie ein paar wenigen Werten von Patient:innen, können Ärzt:innen diese nun am digitalen Modell individuell anpassen und vor allem ausprobieren, wie sich der geplante Druckverlauf der Atemluft, die Frequenz der Atemzüge oder der Sauerstoffgehalt auswirken und verbessern lassen. Das rettet Leben und verhindert Lungenschäden, etwa bei Corona-Erkrankungen oder auch bei zarten Frühchen, die in ihren ersten Lebenswochen beatmet werden. Das Lungenmodell bietet außerdem gute Grundlagen für die Verwertung und damit für Geschäfte: Nach AdCo Engineering, das seit 2011 Simulationsmethoden im Mittelstand voranbringt und Ingenieursleistungen verbessern hilft, ist Ebenbuild das zweite Unternehmen, das aus dem Lehrstuhl gegründet wurde. Ebenbuild hat für den Marktstart gerade eine siebenstellige Finanzierungsrunde abgeschlossen: „Am SuperMUC-NG haben wir wichtige Grundlagen für das Lungenmodell erarbeitet“, berichtet Wall. „Daraus konnten wir einfachere Modelle ableiten und daraus wiederum Software für Kliniken und Ärzt:innen erstellen, mit denen individuelle Krankheitsdaten schnell verarbeitet und zur Verfügung gestellt werden.“ (vs)
Im Bild oben zeigt ein Computertomograf eine Aufsicht auf einen menschlichen Brustkorb. Die Kurve zeigt den Druck während der Beatmung über etwa 85 Sekunden, das digitale Lungenmodell veranschaulicht diesen Vorgang. Abb.: Lehrstuhl Numerische Mechanik/TUM
„Codes müssen modernisiert und auf höhere HPC-Komplexität angepasst werden“
Das Institut für numerische Mechanik liegt keine 500 Meter vom Leibniz-Rechenzentrum (LRZ) entfernt: Diese Nachbarschaft fördert die Suche nach gemeinsamen Lösungen. Neben dem bemerkenswerten Lungenmodell entstand in den letzten Jahren eine Software zur Berechnung von turbulenten Strömungen, die nicht nur in den Lungen, sondern auch in der Natur, im All sowie in vielen Bereichen der Technik vorkommen. Momme Allalen wurde in theoretischer Physik promoviert, gehört zu den Spezialist:innen für Strömungssimulationen am LRZ und unterstützte mit seinem Team die Wissenschaftler:innen um Professor Wall bei der Optimierung der Software.
Seit wann arbeitet das HPC-Team am LRZ am Lungenprojekt von Prof. Wolfgang Wall? Dr. Momme Allalen: Der erste, engere Kontakt kam 2015 durch ein KONWIHR-Projekt zustande. Professor Wall und sein Team wollten für ihr Lungenmodell neue Algorithmen für Finite-Elemente-Diskretisierungen entwickeln, außerdem die Skalierung eigener Codes und Software erhöhen, um am damaligen SuperMUC mit mehr und möglichst allen Rechenknoten ein größeres Modell mit mehr Parametern zu simulieren. Mit Unterstützung des Computational Fluid Dynamics- oder CFD-Lab-Teams am LRZ konnte die Gruppe Portierungs- und Leistungsprobleme zu lösen, um alle Möglichkeiten unseres Supercomputers zu nutzen. Seither arbeiten wir regelmäßig zusammen. Professor Walls Institut für numerische Mechanik profitiert dabei von unserem technischen Know-how bei der Modernisierung von Algorithmen, umgekehrt lernen wir mehr Einsatzfelder von und Anforderungen an Software für Strömungssimulationen kennen.
Dr. Momme Allalen, LRZ
Was macht ihr konkret, was sind die Aufgaben des HPC- und CFD-Teams? Allalen: Unsere Aufgabe ist, den LRZ-Nutzer:innen zu helfen, Codes anzupassen, so dass sie schneller und effizienter auf HPC-Hardware laufen. Dabei setzen wir eine Vielzahl von Techniken ein, der Ablauf geht so: Wir analysieren und identifizieren zunächst Muster in den Algorithmen, die eine bessere Leistung auf Knotenebene bieten. Dann optimieren und modifizieren wir zusammen mit Forschenden die Codes so, dass erstens Rechenzeit und Ressourcen des SuperMUC-NG besser ausgelastet und dabei zweitens möglichst alle Rechenknoten angesprochen werden. Hintergrund ist, dass viele Forscher immer noch mit älteren Codes arbeiten, diese aber auf aktuellen Rechensystemen wie Multi-Core-CPU, Xeon Phi und GPU nutzen wollen. HPC -Systeme werden sehr schnell weiterentwickelt, die Parallelität der CPU steigt mit immer neuen Speicherhierarchie-Technologien. Zwischen dem Bau von SuperMUC Phase 2 und SuperMUC-NG liegen etwa drei Jahre, doch die Architektur beider Systeme unterscheidet sich stark, weil sich die Technik in der Zwischenzeit verbessert hat. Folglich müssen Codes modernisiert und auf höhere HPC-Komplexität angepasst werden. Unser Service unterstützt die computertechnische Seite eines Forschungsprojekts, hat aber mit der wissenschaftlichen Fragestellung eher wenig zu tun.
Welche Codes sind für das Lungen-Modell wichtig? Allalen: Um eine komplexe Geometrie des Lungensystems und der Atmungsfunktionen zu simulieren, suchten wir zunächst nach einem zuverlässigen Vernetzungsalgorithmus, um eine geometrische Darstellung in eine mathematische Formel umzuwandeln, mit der Algorithmen zur Berechnung turbulenter Strömungen arbeiten können. Das Team von Professor Wall arbeitet hauptsächlich mit seinem eigenen BACI-Code, aber auch mit Codes, die auf der Deal.II-Bibliothek basieren. Wir untersuchen deren Verhalten auf dem SuperMUC, und zwar durch Single-Instruction-Multiple-Data- oder SIMD-Vektorisierung und Shared-Memory-Parallelisierung. Diese beiden Komponenten sind Single-Node-Optimierungen, die die Grundlage für hybride Codes bilden, die auf dem Programmierschema MPI basieren und sich über mehrere Knoten erstrecken. Für die Shared-Memory-Parallelisierung setzen wir auf die Threading Building Blocks- oder TBB-Bibliothek von Intel.
Zusätzlich zum bemerkenswerten Lungenmodell entstand in Zusammenarbeit mit der Technischen Universität München, dem Helmholtz-Zentrum Geesthacht, dem Institut für numerische Mechanik und dem LRZ ein Paper, das für den Gordon Bell-Preis nominiert ist. Was wurde da entwickelt? Allalen: Für das Lungenprojekt entstand ein hoch skalierbares HPC-Programm zur numerischen Berechnung der menschlichen Atmung oder – allgemeiner ausgedrückt – von turbulenten Strömungen. Dieser Solver basiert auf unterschiedlichen Gleichungen, so genannten Galerkin-Diskretisierungen hoher Ordnung sowie Navier-Stokes-Gleichungen, und verkürzt die Rechenzeit. Das Paper beschreibt die mathematischen Elemente, die Funktionsweise des Solvers, aber auch wie dieser auf aktuellen Supercomputern implementiert wird und skaliert. Das Paper und das Programm könnte Forschenden nützen, die andere turbulenten Strömungen berechnen wollen, und es zeigt auch, dass Innovationen im Supercomputing meistens auf der Kooperation von Spezialist:innen aus unterschiedlichen Wissenschaftsbereichen beruhen.