RINPD
Realistische und immersive Notfallpatient:innendarstellung in eXtended Reality
#health #skill #knowledge
Im Rahmen des Projekts wurden Krankheitsbilder und Verletzungsmuster identifiziert, die derzeit mit herkömmlichen Methoden unzureichend oder gar nicht geübt und trainiert werden können. Basierend auf Expert:inneninterviews wurden die erforderlichen Visualisierungen recherchiert, von Expert:innen evaluiert und schließlich in einer eXtended Reality (XR) Umgebung umgesetzt. Dieses experimentelle Projekt stellt einen ersten Schritt dar, hoch realistische und immersiv erlebbare Darstellungen von Wunden und Verletzungen zu ermöglichen.
Key Benefits
7
Krankheitsbilder
Es wurden insgesamt 7 Krankheitsbilder, Verletzungsmuster und Wunden hoch realistisch umgesetzt
12
Monate Laufzeit
RINPD hat eine Gesamtlaufzeit von einem Jahren und wurde 2022 fertiggestellt
Objectives
Kreativer Prototyp für realistische XR-Darstellung
Das Erkennen von Verletzungsmustern oder Wunden sind von großer Bedeutung für Fachkräfte im Gesundheitswesen. Bisherige Trainingsmethoden und simulierte Darstellungen erreichen oft nicht den erforderlichen Realitätsgrad. Virtual Reality bietet hierbei eine bedeutende Möglichkeit, die Aus- und Fortbildung optimal zu unterstützen. Allerdings bestehen auch in diesem Bereich Herausforderungen, da aktuelle Frameworks häufig unzureichende Leistung und Texturen bieten. Im Rahmen des Projekts RINPD werden daher die Technologien von zwei Frameworks verglichen, optimiert und teilweise weiterentwickelt, um zukünftig Wund- und Verletzungsmuster noch besser und vor allem standardisierter in Ausbildungsprogramme einzubinden.
Methodology
Neues Framework für bessere Ergebnisse
In einem ersten Schritt wurde eine Befragung mit Stakeholdern und Experten durchgeführt, um relevante Verletzungsmuster zu ermitteln. Dabei lag der Fokus auch darauf, welche Herausforderungen bei der Darstellung in der realen Welt bestehen und wie XR hier einen Mehrwert bieten kann. Anschließend wurden die Visualisierungen nach ihren Dimensionen gruppiert, basierend auf ihrer Implementierungskomplexität bewertet und diejenigen ausgewählt, die im Rahmen des Projekts umsetzbar waren.
Im zweiten Schritt wurden zwei Software-Toolkits hinsichtlich Rendering und Darstellungsperformance für eine möglichst realistische Darstellung des menschlichen Patienten verglichen. Dabei wurde darauf geachtet, dass natürliche Erscheinungsbilder erzeugt werden können und dass Bewegungsmuster durch Parametrisierung beeinflusst werden können. Basierend auf diesem Vergleich und den zuvor definierten Anforderungen wurden Parameter und beeinflussbare Bewegungsmuster festgelegt, die möglichst generisch für eine Vielzahl von Verletzungs- und Krankheitsmustern verwendet werden können. In einem abschließenden Schritt wurden diese Parameter exemplarisch für zwei Charaktere umgesetzt.
Outcomes
Hochrealistische Darstellung in XR
Für beide Frameworks wurden vergleichbare Avatare erstellt und ihre resultierende Darstellungsqualität entsprechend der verfügbaren Renderingeinstellungen untersucht. Aufgrund dieser Umsetzungen wurden folgende Erkenntnisse gewonnen: Das Unreal MetaHuman Framework ermöglicht eine äußerst detailgetreue und realistische Darstellung des menschlichen Körpers. Die Performance- und Hardware-Anforderungen sind jedoch sehr hoch. Bei Verwendung eines mobilen VR-Headsets kann nur die niedrigste Detailgenauigkeit in den Renderingeinstellungen genutzt werden. Selbst mit dieser Einstellung konnte nur eine niedrige Framerate erreicht werden, was zu unbefriedigenden Ergebnissen auf dem mobilen Headset führte. Zudem traten Probleme mit den Anti-Aliasing-Einstellungen auf, insbesondere bei der Darstellung von Haaren, was zu Qualitätsverlusten führte. Daher ist die derzeitige MetaHuman-Lösung nur für die Videoproduktion geeignet oder erfordert eine kabelgebundene XR-Lösung, was im Hinblick auf die Skalierbarkeit der Darstellung von Wunden und Krankheitsbildern nicht ideal ist.
Das zweite Framework war das Character Creator Framework. Um dieses nutzen zu können, musste im Rahmen des Projekts eine Pipeline von Character Creator zu Blender zu Unreal erstellt werden, um die Avatare verwenden zu können. Die erzielbare Detailtreue der Avatare war sehr zufriedenstellend, und das Gleichgewicht zwischen Performance-Anforderungen und erreichbarer Rendering-Qualität war hier deutlich besser als beim MetaHuman Framework. Basierend auf diesen Ergebnissen wurde im weiteren Projektverlauf das zweite Framework, Character Creator, verwendet. In einem abschließenden Schritt wurden die Avatare eines erwachsenen Mannes und eines Kindes weiterentwickelt, wobei zusätzliche Details und Animationen der Atemparameter hinzugefügt wurden. Mit Hilfe der entwickelten Parametrisierung können beispielsweise die Atemfrequenz und -amplitude verändert werden, ebenso wie die Hautverfärbung dynamisch oder basierend auf Konfigurationsdateien angepasst werden kann.
