Startseite » Allgemein »

„Wir erkennen die Fingerspitze im Millimeterbereich“

Paul Chojecki zur gestenbasierten Mensch-Computer-Interaktion
„Wir erkennen die Fingerspitze im Millimeterbereich“

Das Fraunhofer Heinrich-Hertz-Institut arbeitet seit einigen Jahren an der berührungslosen Gestensteuerung. Gemeinsam mit den Partnern Karl Storz und How-to-organize wurde der MI-Report entwickelt, der seit diesem Jahr als medizinisch zugelassenes Produkt im OP zum Einsatz kommt. Paul Chojecki, der seit 2006 zum Thema berührungslose, gestenbasierte Mensch-Computer-Interaktion forscht, erklärt die Technik.

Herr Chojecki, seit wann sind Gestensteuerung und -erkennung Thema im OP?

Die ersten Ideen zur Gestensteuerung gab es schon in den 70er-Jahren. In der Medizintechnik ist das Thema Mitte der 90er-Jahre angekommen. Allerdings gab es damals noch keine Systeme, die für den Echt-Einsatz verfügbar waren. Die am weitesten vorangeschrittenen Interaktionsmöglichkeiten, die heutzutage in den Operationsräumen eingesetzt werden sind Touch- und Sprachsteuerungen. Bei der Touchsteuerung liegt über dem System eine Folie, die nach der Bedienung weggeworfen wird. Das hat aber zwei Nachteile: Zum einen verschmiert die Folie schnell, dadurch verschlechtern sich Darstellung und Bedienung. Und zum anderen kostet die Folie Geld. Demonstratoren für die Gestensteuerung gibt es inzwischen einige. Als medizinisch zugelassenes Produkt ist, soweit ich weiß, aber nur das System am Markt, das wir für Karl Storz entwickelt haben.
Wie funktioniert der MI-Report im OP?
Wenn der Arzt Informationen braucht, muss er das System berührungslos einschalten – dazu öffnet er die Hand und spreizt alle Finger. Anschließend bedient er den Rechner über das Display mit Zeigebewegungen, sowie Klickbefehlen des Zeigefingers oder der Hand. Damit kann er Patientendaten auswählen, auf dem Bildschirm verschieben bzw. anordnen oder skalieren. Weiterhin kann der Arzt auch Bereiche , beispielsweise in Röntgenaufnahmen, markieren oder 3D-Scans von Körperteilen rotieren. Hat er seine Arbeit beendet, kann er die berührungslose Steuerung wieder per Handgeste beenden. Oder das Gerät schaltet sich nach einer kurzen Zeit selbständig aus, um ungewollte Eingaben zu vermeiden.
Welche Technik steckt im Gestensteuerungssystem?
Herzstück unseres videobasierten Systems ist der sogenannte Handtracker. Zwei Kameras erkennen und erfassen die 3D-Koordinaten der Finger des Chirurgen. Die Kameras sorgen dafür, dass der Computer Videobilder bekommt, die durch eine Erkennungssoftware analysiert werden. Die Software ist ebenfalls eine Entwicklung aus unserer Abteilung. Sie sucht nach Fingern und Handformen –wenn sie diese findet, stellt sie die Position fest und verfolgt diesen Finger, bis er wieder verschwindet. Die Software findet aber nicht nur den Finger, sondern auch die offene Hand oder andere Handgesten. Diese Signale werden dann an eine Visualisierungsanwendung weitergeleitet oder könnten bei anderen Systeme im OP verwendet werden.
Was benötigt der Chirurg außerdem?
Nur einen medizinisch zugelassenen Monitor und einen Rechner. Eventuell neue Verkabelungen sowie die Erkennungseinheit. Wir haben das System in Zusammenarbeit mit How-to-organize entwickelt, einem Tochterunternehmen von Karl Storz. How to organize vertreibt die Systeme und baut sie im OP-Saal ein.
Was waren die Herausforderungen bei der Entwicklung des Systems?
Eine der größten Herausforderungen war es tatsächlich, den „richtigen“ Finger zu finden. Wir haben gerade eine Weiterentwicklung des Sensors abgeschlossen, bei dem genau das verbessert wurde. Falsche Finger können nämlich auch durch bestimmte Situationen erkannt werden, beispielsweise wenn der Chirurg ein Skalpell hält. Im Erfassungsbereich der Kamera könnte das zu einer Fehlerkennung führen. Hintergrundbewegungen stören wenig. Ein Problem sind dagegen starke Reflexionen. Dazu haben wir in diesem Jahr aber ein Update der Hardware gemacht, bei dem Reflexionen durch Sonne oder Leuchten kaum noch Auswirkungen haben.
Warum haben Sie sich für die Entwicklung eines videobasierten Systems entschieden? Gibt es Alternativen?
Die Alternativen zur videobasierten Gestenerkennung sind meist einfache Systeme, die nur sehr grobe Bewegungen erkennen können. Da wir aber viel feiner arbeiten müssen, und bereits über zehn Jahre Erfahrung mit dem System haben, nutzen wir unser videobasiertes System, das schnell und genauer ist. Es arbeitet in der Grundversion mit Stereo-Kameras, die orthogonal zum Bildschirm angebracht sind und die Hand von oben aufnehmen. Dadurch können wir die 3D-Position eines Fingers feststellen. Wir erkennen die Fingerspitze im Millimeterbereich. Außerdem ist das Verfahren durch den Einsatz von Infrarotkameras robuster gegenüber Störeinflüssen durch Fremdbeleuchtung.
Was müssen Soft- und Hardware leisten, um im medizinischen Umfeld eingesetzt werden zu können?
Alles was im OP eingesetzt wird, muss natürlich medizinisch zugelassen werden. Dazu gehören natürlich auch Display, Eingabesysteme und Kabel. Eine Anforderung war auch die Backup-Sicherung, falls das System nicht funktioniert. Dann muss es jederzeit über die Maus oder Tastatur oder über Touch bedient werden können. Geht das auch nicht mehr, muss es einen Ausschaltmechanismus geben, der in unserem Fall unabhängig von den Kameras funktioniert.
Welche Bedeutung hat die Mensch-Computer-Interaktion bei der Entwicklung der Gestensteuerung?
Die lange erforschten und Bekannten Prinzipien auf dem Gebiet der Mensch-Computer Interaktion sollten auch bei der Entwicklung neuer Interaktionstechnologien berücksichtigt werden. Manchmal ist es auch notwendig vorhandene Richtlinien und Standards zu erweitern oder anzupassen an die neue Bedienmetapher. Wir haben in dem Feld der Mensch-Computer-Interaktion langjährige Erfahrung. Die bewährten Methoden wenden wir auch dafür an, um die sogenannte User Experience bei der Nutzung der Gestensteuerung zu verbessern.
Was kann am heutigen System noch verbessert werden?
Wissenschaftlich betrachtet gibt es natürlich immer Verbesserungspotential bei einem System dieser Komplexität. Wir sind einerseits selbstkritisch und andererseits sehr ambitioniert, wenn es um die Weiterentwicklung unserer Lösungen geht. Dadurch kommt es in unseren F&E-Projekten fortwährend zu Innovationen, welche das System verbessern. So treiben wir die Entwicklung der Sensoren, der Trackingsoftware, als auch der Interaktionskonzepte voran.
Weitere Informationen Zum Fraunhofer Heinrich-Hertz-Institut: www.hhi.fraunhofer.de
Unsere Webinar-Empfehlung
Aktuelle Ausgabe
Titelbild medizin technik 1
Ausgabe
1.2024
LESEN
ABO
Newsletter

Jetzt unseren Newsletter abonnieren

Titelthema: PFAS

Medizintechnik ohne PFAS: Suche nach sinnvollem Ersatz

Alle Webinare & Webcasts

Webinare aller unserer Industrieseiten

Aktuelles Webinar

Multiphysik-Simulation

Medizintechnik: Multiphysik-Simulation

Whitepaper

Whitepaper aller unserer Industrieseiten


Industrie.de Infoservice
Vielen Dank für Ihre Bestellung!
Sie erhalten in Kürze eine Bestätigung per E-Mail.
Von Ihnen ausgesucht:
Weitere Informationen gewünscht?
Einfach neue Dokumente auswählen
und zuletzt Adresse eingeben.
Wie funktioniert der Industrie.de Infoservice?
Zur Hilfeseite »
Ihre Adresse:














Die Konradin Verlag Robert Kohlhammer GmbH erhebt, verarbeitet und nutzt die Daten, die der Nutzer bei der Registrierung zum Industrie.de Infoservice freiwillig zur Verfügung stellt, zum Zwecke der Erfüllung dieses Nutzungsverhältnisses. Der Nutzer erhält damit Zugang zu den Dokumenten des Industrie.de Infoservice.
AGB
datenschutz-online@konradin.de