Er ist 60 cm groß, hat kuschliges Fell, sieht aus wie eine Robbe und lässt sich von Bewohnern das Fell kraulen: Paro ist ein Roboter, der in den drei Tagespflegeeinrichtungen und zwei ambulant betreuten Wohngemeinschaften der Ambulante Krankenpflege in Tutzing lebt und arbeitet. Der Roboter aus Japan ist mit Sensorik und Künstlicher Intelligenz ausgestattet und reagiert auf Ansprache und Berührungen, bewegt sich, öffnet die Augen und gibt Laute von sich.
Inhaltsverzeichnis
Was Pflegeroboter empathisch macht
Pflegeroboter lernt, sein Gegenüber einzuschätzen
Einzeldaten reichen nicht
Daten für Pflegeroboter in Echtzeit verarbeiten
KI hilft auch dem Pflegeroboter
Module erfassen die Sprache
Bildverarbeitung passend zum Pflegebereich
Emotionen. Was die Stimme verrät
Mehr Infos zu den Projekten
Forschungs-Campus Geriatronik entsteht
Mehr zu Robotern in der Medizin
In Japan, also dem Land, das die meisten Roboter fertigt, genießen Roboter, die mit Menschen interagieren, in der Pflege eine hohe Akzeptanz. „Solche Roboter sind von ihrem Erscheinungsbild her so gestaltet, dass sie empathisch erscheinen. Doch letztlich spulen sie Routinen ab“, sagt Christian Rembe, Professor für Messtechnik am Institut für Elektrische Informationstechnik (IEI) der TU Clausthal.
Was den Roboter für die Pflege empathisch genug macht
Im Projekt Keiko – die Abkürzung steht für „Kognitiv und empathisch intelligente kollaborierende Roboter“ – will er in einem interdisziplinären Team mit den Unis Göttingen und Duisburg-Essen einen Roboter entwickeln, der auf die Emotionen des Menschen eingehen kann. Er soll die Handlungsabsichten von Menschen erkennen können, um flexibel, vorausschauend und sicher mit ihnen zusammenzuarbeiten. Der Fokus liegt dabei zunächst auf industriellen Anwendungen, doch laut Rembe hat das Projektteam auch den Einsatz in der Pflege im Hinterkopf. Dies gilt auch für das kürzlich gestartete Forschungsprojekt Fluently unter der Leitung von Roboverse Reply. Einen emotionalen Roboter gezielt für die Pflege hatte allerdings das vom Bundeswirtschaftsministerium im Zentralen Innovationsprogramm Mittelstand (ZIM) geförderte Projekt Emocare im Fokus. Hier arbeiteten die Hochschule Offenburg und das Freiburger Softwareentwicklungsunternehmen Dr. Hornecker zusammen.
„Wir stehen bei der Entwicklung emphatischer Roboter noch ganz am Anfang“, stellt Rembe klar. Interaktionen zwischen Menschen sind sehr komplex und stellen besondere Anforderungen an unser Gehirn. Der Mensch beobachtet kontinuierlich Mimik, Gestik, Stimmlage und das Handeln seines Gegenübers. Zudem schätzt er Absichten, Stimmungen und Kenntnisstand ein.
Pflegeroboter lernt, sein Gegenüber einzuschätzen
Dem Team an der TU Clausthal geht es darum, dass der Roboter das Verhalten des Menschen psychologisch zu interpretieren und dessen Aufmerksamkeit und Kontrollfähigkeit bei der gemeinsamen Aufgabe erkennen kann. „Im ersten Schritt wollen wir herausfinden, wie der Roboter bei seinem Gegenüber eine Bereitschaft für die Annahme eines Gegenstands erkennen kann. Dabei geht es darum, die Aufmerksamkeit des Menschen zu messen“, so Rembe. „Der Mensch erkennt ohne Nachzudenken, ob die Person gegenüber zum Beispiel müde oder geistig abwesend ist, ob sie konzentriert oder aufmerksam ist. Übertragen auf die Pflege heißt das: Der Roboter erkennt beim Reichen des Essens, ob der Patient bereit ist zu essen oder ob er aufgewühlt ist – und kann dann zum Beispiel das Tempo des Fütterns anpassen.“
Damit der Pflegeroboter versteht, reichen Einzeldaten nicht aus
Schon in einem Vorprojekt zu Keiko hat sich für die Forscher der TU Clausthal gezeigt, dass die Einzelbetrachtung von Sensordaten aus bestimmten Modalitäten nicht ausreicht, damit der Roboter ein vollständiges Lagebild erfassen kann. „Vielmehr müssen mehrere Sensortypen miteinander kombiniert werden. Die Fusion der gesammelten Daten mittels neuartiger Datenverarbeitungsmechanismen wie etwa KI ist erforderlich für eine semantisch korrekte Interpretation der verfügbaren Daten“, so Rembe.
Im Projekt Keiko wollen die Forscher neben Körperhaltung, Mimik, Gestik und Tonfall die Ausweitung der Pupillen als Ausdruck von Emotionen heranziehen. „Pupillenoszillationen zeigen den Einfluss von Aktivitäten auf Gehirnnetzwerke. Normalerweise lassen sich Gehirnströme mit EEG-Messungen nachweisen, doch ist die dafür notwendige Verkabelung eines Patienten in der Pflege natürlich nicht praktikabel“, erklärt Rembe. Deshalb arbeitet das Team daran, einen Zusammenhang zwischen der Pupillenoszillation und den Gehirnströmen nachzuweisen. Kameras im Roboter sollen dann hoch aufgelöste Aufnahmen von der Oszillation der Pupille im Mikrometerbereich machen. Und von diesen Oszillationen kann der Roboter dann auf den emotionalen Zustand des Menschen schließen.
Daten für den Pflegeroboter lassen sich heute in Echtzeit verarbeiten
„Die Bildverarbeitung hat in den letzten Jahren große Fortschritte gemacht. Große Datenmengen lassen sich außerdem in Echtzeit verarbeiten, sodass der Roboter schnell reagieren kann“, so Rembe. Dennoch sei die Bildverarbeitung, wie sie der Keiko-Roboter benötigt, auch nicht „von der Stange“ erhältlich. Eventuell kommt bei Keiko auch die Laser-Doppler-Vibrometrie zum Einsatz, die das IEI bereits in anderen Projekten erprobt hat: Dabei misst ein Laserstrahl kontaktlos vom menschlichen Körper erzeugte Schwingungen, wie etwa das leichte Zittern.
Auch im Projekt Fluently setzen die Projektpartner auf multimodale Sensorik: „Über ein Smart Interface werden Sprachinhalt, Tonfall und Gesten interpretiert“, erklärt Marek Matuszewski, Manager bei Roboverse Reply. „Die Übersetzung in Roboteranweisungen erfolgt über vortrainierte Machine-Learning-Modelle, die an den einzelnen Benutzer und individuellen Prozess angepasst wurden. Die Schnittstelle ermöglicht, dass Industrieroboter für jedes Qualifikationsprofil zugänglich werden.“ Dabei kommen mehrere Technologien zum Einsatz wie die Programmierung in natürlicher Sprache und Gesten. Der Cobot erkennt und interpretiert Sprachbefehle sowie Gesten des Bedieners und übersetzt sie in Low-Level-Roboterprogrammieraufgaben. Diese lassen sich sofort ausführen. Genutzt wird zudem auf Machine Learning basierende dynamische Adaption. Sie hilft, das Verhalten des Roboters anzupassen, und zwar basierend auf Kontextinformationen, die sich auf den Zustand des menschlichen Bedieners und die spezifische laufende Aufgabe beziehen.
(Bild: Roboverse Reply)
KI hilft, emotionale Verfassung des Gegenübers zu überprüfen
Als dritte Technologie nutzt Fluently die vorausschauende Analytik: Das heißt, das aktuelle Szenario wird analysiert, um Abläufe vorherzusehen und Prozessparameter und Werkzeuge bestimmten Aufgaben und Komponenten zuzuweisen. „Und schließlich hilft KI dabei, ständig den Gesundheitszustand und die emotionale Verfassung des Gegenübers zu überprüfen und gegenzusteuern, sobald sich dessen kognitive und physische Belastung verändert. Der Cobot kann Unterstützung und/oder veränderte Abläufe vorschlagen“, so Matuszewski.
Im Fluently-Projekt liegt der Fokus im ersten Schritt auf der Sprache: So soll anhand des Tonfalls erkannt werden, ob der Benutzer müde oder gestresst ist. Die „Übersetzungsarbeit zwischen Mensch und Maschine“ wird laut Matuszewski auf eigene Module ausgelagert.
Module an Mensch und Pflegeroboter erfassen die Sprache
„Ein Modul trägt der Mensch, das andere der Roboter. Das Endgerät des Menschen kann über Sensorik Sprache erfassen. Das Gerät sammelt diese Informationen vom menschlichen Bediener und verarbeitet intern die Daten mit Hilfe von cloudbasierten Diensten. Dann werden die Eingaben an das Modul am Cobot übertragen. Dieses Modul interpretiert die empfangenen Daten, übersetzt die Befehle in Anweisungen für den Cobot und sendet sie an die Robotersteuerung. Parallel sammelt das Modul die Eingaben des Roboters, verarbeitet diese und wandelt sie in verständlicher Art für den menschlichen Bediener um. Dies erfolgt im Audiobereich über Spracherzeugung, zudem visuell über ein Display und haptisch über ein so genanntes vibrotaktiles Feedback.“ Weitere Schnittstellen und Sensorik seien aber denkbar, um zum Beispiel den Puls zu erfassen. Und Kameras können die Körperposition des Menschen anzeigen.
„Ohne KI wäre das Projekt nicht realisierbar“, stellt Matuszewski klar. „Das KI-Framework von Fluently verteilt funktionale Module auf die globale zentrale Cloud und die verteilten physischen Fluently-Einheiten. Dies sind sowohl menschliche als auch Robotergeräte.“ Matuszewski gibt zu, dass die KI für den einfühlsamen Roboter viele Trainingsdaten gebraucht werden: „Dafür wird eine umfangreiche Trainingskampagne vorgenommen, die alle Anwendungsfälle sowie unvorhergesehene Ereignisse wie neue Produktversionen oder Tools abdeckt. Außerdem lernt das Fluently-System im Feldeinsatz weiter, um auf neue Situationen reagieren zu können. Es gibt Vorteile, wenn man einige KI-Modelle auf dem Gerät bereitstellt und gleichzeitig auf die Cloud zugreift.“
Bildverarbeitung muss zum Arbeitseinsatz in Pflegebereich passen
Im Projekt Emocare ist hingegen schon der Prototyp eines emotional agierenden Pflegeroboters entstanden, der im Pflegeheim St. Carolushaus in Freiburg getestet wurde und den Dr. Hornecker nun zu einem kommerziellen Produkt weiterentwickeln will. Auch hier wurden Mimik, Stimme und Gestik als Messinstrumente zur Erfassung von Emotionen herangezogen. Primäre Sensoren sind Kameras, die das Gesicht des Pflegenden erfassen. „Das System sucht dann nach Markierungspunkten im Gesicht. Dabei haben wir uns am Facial Action Coding System des US-Psychologen Paul Ekman orientiert, der sich wissenschaftlich mit der Identifikation universeller Emotionsausdrücke befasst hat“, erklärt Geschäftsführer Dr. Achim Hornecker. Aus den Bildern werden die Gesichtsmerkmale, die bestimmten Emotionen zugeordnet sind, codiert. Und die KI wird auf die Position der Merkmale/extrahierte Daten trainiert. „Doch haben wir festgestellt, dass die Bildverarbeitung bei Pflegerobotern auf erschwerte Bedingungen stößt. Dazu gehören schlechte Beleuchtung und schlechte Kamerablickwinkel.“
Pflegeroboter soll Emotionen über Stimme erkennen
An eine Herausforderung hatte das Emocare-Team allerdings im Vorfeld gar nicht gedacht, und zwar das Dialogsystem: „Systeme wie Alexa sind für diesen Zweck unbrauchbar – aus Datenschutzgründen, aber auch, weil sie nur einfache Schlüsselwörter erkennen“, so Hornecker. „Die KI-Technologie entwickelt sich aber weiter: Chat-GPT oder Derivate versprechen heute einen natürlichen Dialog.“
(Bild: Hochschule Offenburg)
Vision-Lösungen zur Anwendung des Ekman-Verfahrens gibt es laut Hornecker zwar „von der Stange“ zu kaufen, wurden aber im Projekt von Forschern der Hochschule Offenburg grundlegend neu entwickelt. Im Modul Stimme ging es darum, Emotionen aus der Sprachmelodie zu extrahieren. „Auch das funktioniert über eine Vorverarbeitung, bei der Frequenzmuster extrahiert werden. Auch hier gibt es entsprechende Standard-Lösungen am Markt zu kaufen; sie werden hauptsächlich in Call-Centern eingesetzt. Aus der Veränderung der Frequenzbänder kann man auf Emotionen schließen. Aber es gibt Faktoren, die das Ergebnis beeinflussen, so etwa wenn die Person erkältet ist“, so Hornecker.
Roboterhersteller sollten offener sein für Anwendungen in der Klinik
Er setzt im Gegensatz zu den Fluently-Entwicklern darauf, dass der Pflegeroboter später im Einsatz keine Cloud-Verbindung benötigt: „Hauptmerkmal moderner KI wie Chat-GPT ist, dass sie mit Vortraining arbeitet. Man muss die KI nicht zwingend nachtrainieren“, sagt Hornecker. Er vermisst im Markt allerdings „ein kostengünstiges Standard-Robotersystem, das unabhängig von Roboterherstellern arbeitet, analog zum PC so etwas wie einen Personal Robot: Je mehr es nutzen, desto kostengünstiger wird der Roboter. Dies wird kommen in Zukunft. Open-Source-Robotik spielt dem in die Karten, aber Baupläne dafür sind derzeit auch noch nicht zum Download verfügbar.“
Weitere Informationen zu den drei Pflegeroboter-Projekten
Zum Projekt Emocare:
www.emocare.org
Zum Projekt Fluently:
www.fluently-horizonproject.eu
Zum Projekt Keiko:
www.simzentrum.de/forschungsprojekte/keiko/
Forschungs-Campus Geriatronik entsteht
Die Technische Universität München baut in Garmisch-Partenkirchen den Campus Geriatronik. Hier soll gemeinsam mit dem Munich Institute of Robotics and Machine Intelligence (Mirmi) der Einsatz von Robotik und Künstlicher Intelligenz (KI) bei der Pflege älterer Menschen erforscht werden. Der Freistaat Bayern unterstützt die Realisierung 2023 alleine mit 4,7 Mio. Euro. Zudem soll ein neuer Masterstudiengang für Geriatronik etabliert werden. Zu dem Gesamtvorhaben gehören auch eine Sonderforschungszone für Geriatronik und Healthcare-Robotik sowie die KI-Mission Robo-Care, die KI in der Pflege voranbringen soll. Damit verknüpft wird ein Bildungszentrum, in dem die technischen Robotik- und KI-Entwicklungen aufgegriffen und Pflegekräfte ausgebildet werden. Im Innovation Space Geriatronics der TUM sollen zudem Start-ups entstehen, die technische Innovationen als Produkte in den Alltag bringen.
(Bild: Andreas Heddergott/TUM)
Die Roboterassistenz für Pflege und Gesundheit ist einer von drei Forschungsbereichen, die auf dem TUM Campus Geriatronik im Mittelpunkt stehen: Assistenzsysteme müssen eine natürliche Interaktion ermöglichen, bei der die Technik in den Hintergrund tritt. Sogenannte Service-Humanoide sollen im Haushalt oder in der Kommunikation unterstützen und Pflegearbeiten erledigen. Dafür müssen autonome Assistenzfunktionen der Roboter mit Hilfe von Maschinellem Lernen trainiert werden. Und die Sensorik für die Roboterassistenten muss weiter verfeinert werden.
Mehr zum Thema Roboter in der Medizin
