Hintergrundwissen, um Maschinen mit Gesten gut zu steuern

Gestensteuerung

Technik allein reicht nicht, um mit Gesten gut zu steuern

Gestensteuerung_ProfFricke.jpg
Prof. Dr. Ellen Fricke ist Professorin für Germanistische Sprachwissenschaft, Semiotik und Multimodale Kommunikation an der Technischen Universität Chemnitz Bild: Ulf Dahl
Anzeige
 Geräte über Gesten anzusteuern, kann eine interessante Alternative zum Knopfdruck oder gesprochenen Anweisungen sein. Dafür braucht es aber einen standardisierten Code, sagt Kommunikationswissenschaftlerin Prof. Ellen Fricke. Um einen solchen zu entwickeln, könnten Semiotiker ihr Wissen beisteuern.

Dr. Birgit Oppermann
birgit.oppermann@konradin.de

Frau Professor Fricke, wie wichtig sind Gesten beim Kommunizieren?

Wenn wir miteinander sprechen, ergänzen Gesten unsere Worte, veranschaulichen unsere innere räumliche Vorstellung oder lenken beispielsweise mit einer Zeigegeste die Aufmerksamkeit in die gewünschte Richtung. All das tun wir ständig, nutzen den Mund für die Lautsprache und die Hände für Gesten: Wir tauschen uns also multimodal aus. Wie wichtig das ist, merke ich bei Radiointerviews, wo ich eine Geste nicht kurz vormachen kann, sondern ihre Form länger verbal umschreiben muss.

Wie differenziert können wir uns ohne Worte ausdrücken?

Wenn Gehörlose sich in der Gebärdensprache verständigen, setzen sie nicht nur einzelne Wörter aneinander, sondern haben eine Syntax zu Verfügung, wie wir sie auch beim Sprechen nutzen. Handbewegungen können also sprachlich sein und sehr differenzierte Inhalte vermitteln. Umgekehrt nutzen wir im Alltag nur ein vergleichsweise kleines Repertoire an Gesten, weil die gesprochene Sprache dominiert.

Wie steht es mit Missverständnissen?

Gesten werden in verschiedenen kulturellen Zusammenhängen unterschiedlich verstanden – was auch zu Missverständnissen führt. Zeigegesten sind dabei relativ ähnlich und begleiten alle lautlichen Sprachen. Emblematische Gesten wie das Victory-Zeichen oder der hochgereckte Daumen, der Zustimmung signalisiert, tragen eine bestimmte Bedeutung, die wir gelernt haben. Diese kann auch in anderen Kulturen bekannt sein. Schon kleine Veränderungen zum Beispiel in der Orientierung der Handfläche verleihen der Victory-Geste aber in manchen Gegenden der Welt eine obszöne Bedeutung.

Gibt es die universelle Gestensprache?

Nein. Gesten werden immer kulturspezifisch verwendet und verstanden.

Welche Rolle spielen Gesten oder Gestensteuerungen in der Arbeitswelt?

Nehmen wir ein sehr modernes Beispiel: Am industriellen Arbeitsplatz mit kollaborativem Roboter wäre das Anfassen seines Armes eine einfache Geste, mit der ich der Maschine signalisiere, dass sie sich bis hierhin bewegen darf und nicht weiter. Komplexere Zusammenhänge wie das Beheben einer Störung sind mit Gesten schon schwieriger umzusetzen: Denn die Maschine muss erstens sicher erkennen, dass sie gemeint ist, und zweitens verschiedene Gesten als Befehle erkennen und richtig interpretieren. Wenn ein Mensch nur einer Maschine gegenübersteht und wenige Anweisungen unterschieden werden sollen, lässt sich das gut lösen. Das kommt aber im Alltag in den seltensten Fällen so vor: Oft sind mehrere Maschinen oder Geräte in der Umgebung und meist auch noch andere Menschen, die sich ebenso angesprochen fühlen könnten.

Was müsste man tun, um Gestensteuerungen besser nutzen zu können?

Die erste Frage ist, wo das sinnvoll ist. Manches lässt sich am besten über Knopf, Schalter oder herkömmliche Tastatur lösen. Wo eine berührungslose Steuerung Vorteile bringt, zum Beispiel aus Hygienegründen im OP, lohnt es sich, frühzeitig Überlegungen zu Standards und Codes anzustellen. Denn je mehr Dinge wir mit Gesten steuern wollen, desto unübersichtlicher kann es für den Anwender werden. Zum Beispiel sollte für alle Geräte die gleiche Geste auch eine vergleichbare Funktion auslösen – sonst kämen wir rasch dahin, dass man für jedes Gerät eine eigene Sprache lernen müsste.

Welche Regeln gilt es beim Erstellen eines Gesten-Codes zu berücksichtigen?

Wir brauchen Unterschiede in den Gesten, um verschiedene Dinge zu signalisieren, aber auch Einheitlichkeit, um Gesten einzuordnen und einfach nutzen zu können. Semiotiker beschäftigen sich mit solchen Fragen der Kommunikation, sie analysieren Zeichen und Codes und könnten im technischen Zusammenhang ihr Wissen einbringen. Ingenieure haben das technische Know-how, das man braucht, damit die Maschine eine Geste erkennt und richtig darauf reagiert. Für eine erfolgreiche Gestensteuerung ist Wissen aus beiden Feldern erforderlich.

Wie universell lässt sich eine Gestensteuerung einsetzen?

Um eine Gestensteuerung international zu nutzen, müsste der Code so gewählt sein, dass man das gemeinsame Repertoire aus den anvisierten Kulturkreisen sucht, alles Missverständliche aussortiert und auf dieser Basis neue Gesten konstruiert. Um klarzumachen, dass eine Maschine gemeint ist, könnte man gezielt gestische Formparameter modifizieren und – nur als hypothetisches Beispiel– vereinbaren, dass nur Bewegungen oben links für die Steuerung eingesetzt werden sollen. Denn wenn ich mit Menschen kommuniziere, führe ich Gesten meist im erweiterten Umfeld des Bauches aus. Man könnte sogar ein ultraschallbasiertes haptisches Feedback nutzen, mit dem zum Einen fühlbar wird, dass die Hand in dem von der Maschine beobachteten Raum ist, und zum Anderen eine Bestätigung gegeben werden kann, dass der Befehl angekommen ist.

Arbeiten Semiotiker und Ingenieure schon zusammen?

Meiner Ansicht nach passiert das noch zu wenig. Allerdings haben wir einen Master-Studiengang Semiotik und Multimodale Kommunikation entworfen, der zum Wintersemester 2018/2019 startet und sich sowohl an technikaffine Geisteswissenschaftler wendet als auch an Ingenieure. Digital Humanities, ein Forschungsfeld an der Schnittstelle von Geistes-, Sozial- und Computerwissenschaften, ist eine Komponente darin.

Welches ist Ihre Lieblingsgeste?

Derzeit gefällt mir eine Geste besonders gut, die ein Proband gewissermaßen erfunden hat: Es ging darum, eine Gestensteuerung für ein Programm mit Geodaten zu testen. Mit der flachen Hand wurde spontan das Fliegen eines Flugzeugs nachgeahmt – eine Geste, die wir aus der Alltagskommunikation kennen. Dieser Ansatz – angelehnt an etwas Bekanntes, nutzbar gemacht in einem neuen Zusammenhang – hat für die Besucher unserer Gestenausstellung gut funktioniert: Sie konnten interaktiv einen virtuellen Globus mit der Flugzeuggeste erkunden.


Weitere Informationen

Von November 2017 bis März 2018 zeigte das Sächsische Industriemuseum Chemnitz die Sonderausstellung „Gesten – gestern, heute, übermorgen“. Im Sommer erscheint ein Buch zum Thema im Stauffenburg-Verlag.

www.gesten-im-museum.de


Fakten über Gesten

Kommunikative Handbewegungen werden in drei große Klassen unterteilt:

  • Redebegleitende Gesten 
ergänzen, verstärken, ersetzen oder modifizieren das gesprochene Wort und sind nur zusammen mit der gesprochenen Sprache vollständig interpretierbar und eng mit dieser verbunden. Beispiel: „Ich habe einen so großen Fisch gefangen“. Es lässt sich eine Art multimodaler Arbeitsteilung beobachten: Dass es sich um einen Fisch handelt, wird durch die lautsprachliche Ebene mitgeteilt. Die Länge des Fisches wird visuell durch eine Geste angezeigt. Um Handlungen oder räumlicher Lageverhältnisse darzustellen, sind Gesten oft das kognitiv einfachere Mittel.
  • Emblematische Gesten 
haben eine Bedeutung, die auf Vereinbarung beruht und die Menschen in einem Kulturkreis erlernen. Sie können ohne begleitende Lautsprache für sich allein stehen. Sie ähneln einzelnen Wörtern in einem Wörterbuch, bei denen bestimmte Formen mit bestimmten Bedeutungen verbunden sind. Beispiele sind der nach oben oder unten gerichtete Daumen, das Victory-Zeichen, die Telefongeste oder auch der so genannte Stinkefinger.
  • Gebärdensprachen sind rein visuelle Sprachen der Gehörlosen, die den Lautsprachen in nichts nachstehen und nach den gleichen Prinzipien funktionieren. 
Es gibt nicht nur Gebärdenwörter, sondern auch Gebärdensätze und Gebärdenerzählungen. Es handelt sich um die komplexeste Nutzungsform von kommunikativen Handbewegungen.

Redebegleitende Gesten können auf Objekte zeigen oder deren Gebrauch und Gestalt nachahmen. Ebenso wie die Art und Weise des Zeigens kann die Nachahmung unterschiedlich ausfallen. Nach Cornelia Müller unterscheiden Gestenforscher dabei vier gestische Darstellungsweisen:

  • Die Hand agiert: Die Hände ahmen eine Handlung nach, zum Beispiel das Greifen und zum Mund führen eines Trinkgefäßes.
  • Die Hand modelliert: Die Hände modellieren ein Trinkgefäß als eine dreidimensionale, flüchtige Skulptur.
  • Die Hand zeichnet: Ein Finger wird wie ein Stift verwendet und zeichnet das Trinkgefäß als zweidimensionalen, flüchtigen Umriss.
  • Die Hand repräsentiert: Die Hände stehen für einen Gegenstand, beispielsweise wenn die zusammengeführten Hände wie beim Wasserschöpfen eine Schale formen oder Hand und Unterarm einen Baum repräsentieren.

Die Annahme, dass Südeuropäer mehr gestikulieren als Nordeuropäer hat sich in einer Studie mit Spaniern und Deutschen übrigens nicht bestätigt: Unterschiede gab es nach einer Veröffentlichung von Cornelia Müller lediglich darin, dass die ersteren ihre Gesten raumgreifender ausführten.

Weitere Informationen

Der internationale Forschungsstand zur Gestenforschung ist in zwei großen englischsprachigen Handbüchern auf mehr als 2200 Seiten dokumentiert:

Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill und Sedinha Teßendorf (Hrsg.) (2013). Body – Language – Communication. An International Handbook on Multimodality in Human Interaction (Handbooks of Linguistics and Communication Science 38.1). Berlin und Boston: De Gruyter Mouton. 1146 S.

Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill und Jana Bressem (Hrsg.) (2014). Body – Language – Communication. An International Handbook on Multimodality in Human Interaction (Handbooks of Linguistics and Communication Science 38.2). Berlin und Boston: De Gruyter Mouton. 1074 S.

Manche Gesten verstehen wir auch ohne Worte
(Bild: LHJ Photo/Fotolia)

Auch interessant:
App übersetzt Gebärdensprache

Anzeige

Aktuelle Ausgabe

Newsletter

Unsere Dosis Wissensvorsprung für Sie. Jetzt kostenlos abonnieren!

medicine&technology

Die englische Ausgabe, hier als pdf. Erscheint zwei Mal im Jahr mit europaweiter Verbreitung.

Alle Webinare & Webcasts

Hier finden sie alle Webinare unserer Industrieseiten

Whitepaper

Hier finden Sie aktuelle Whitepaper

Kalender

Aktuelle Termine für die Medizintechnik-Branche

Anzeige

Industrie.de Infoservice

Vielen Dank für Ihre Bestellung!
Sie erhalten in Kürze eine Bestätigung per E-Mail.
Von Ihnen ausgesucht:
Weitere Informationen gewünscht?
Einfach neue Dokumente auswählen
und zuletzt Adresse eingeben.
Wie funktioniert der Industrie.de Infoservice?
Zur Hilfeseite »
Ihre Adresse:














Die Konradin Verlag Robert Kohlhammer GmbH erhebt, verarbeitet und nutzt die Daten, die der Nutzer bei der Registrierung zum Industrie.de Infoservice freiwillig zur Verfügung stellt, zum Zwecke der Erfüllung dieses Nutzungsverhältnisses. Der Nutzer erhält damit Zugang zu den Dokumenten des Industrie.de Infoservice.
AGB
datenschutz-online@konradin.de