Wie können sich Gehörlose und Hörende verständigen, wenn beide des jeweils anderen Sprache nicht sprechen? Dieses Problem wollen Forschergruppen aus sechs Ländern nun in einem von der EU geförderten Projekt lösen, indem sie einen digitalen Übersetzer entwickeln, der in Echtzeit Gebärdensprache in Schrift und Schrift in Gebärdensprache umwandelt.
Ein Avatar stellt die Gebärden dar
Doch Gebärdensprachen sind von Land zu Land unterschiedlich. Allein in Europa gibt es etwa 50 verschiedene, die anerkannt sind. Die Uni Siegen ist im EU-Projekt verantwortlich für die deutsche Gebärdensprache. Die Forscher nutzen zur Digitalisierung Handschuhe voller Sensoren. Wenn die Forscher im Labor die Handschuhe tragen und Gebärden mit den Händen formen, erkennen eine spezielle Kamera und eine Software die Bewegungen, die Stellungen der Hände und den Abstand der Hände zum Körper. Eine virtuelle Figur, ein so genannter Avatar, auf einem Computer registriert die Bewegungen und stellt die Gebärden auf dem Bildschirm dar.
Informationen in sechs verschiedenen Sprachen
In einem ersten Schritt werden Gebärdenzeichen mit dem Avatar digitalisiert und in einer Datenbank gespeichert, zunächst 500 Wörter in der deutschen Gebärdensprache. Der Übersetzer soll ein Hilfsmittel sein, das die Kommunikation für gehörlose Menschen im Alltag und im Studium erleichtert.
Im Oktober 2018 soll ein interaktiver Service-Bildschirm in einer zentralen U-Bahn-Station in Porto an den Start gehen. In sechs verschiedenen Sprachen, darunter auch in Deutsch, sollen sich Gehörlose dort informieren können: Welche Linie fährt in die Innenstadt und wie viel kostet ein Tagesticket? Gehörlose Touristen und Einheimische können dort ihre Fragen in ein Terminal eingeben und ein Avatar antwortet ihnen in Gebärdensprache. Die Wörter setzt der Avatar je nach Frage individuell zusammen. Benötigt er für seine Antwort Wörter, die nicht zu den 500 Vorprogrammierten gehören, buchstabiert er sie im Fingeralphabet. Alles in Echtzeit.
Schriftsprache ist wie eine Fremdsprache
Für Gehörlose hat der Avatar in der U-Bahn-Station entscheidende Vorteile: Sie sind weder mit gesprochener Sprache noch mit geschriebener Sprache konfrontiert. „Schriftsprache ist für Gehörlose wie eine Fremdsprache und deshalb sehr kompliziert. Die Grammatik und die Wort-Reihenfolge unterscheiden sich grundlegend von der Gebärdensprache. Der Avatar erleichtert das Verständnis also ganz ungemein“, erklärt Prof. Hubert Roth. Er leitet das Projekt für die deutsche Gebärdensprache an der Universität Siegen als Geschäftsführender Direktor des Zentrums für Entwicklungsländerforschung und Wissenstransfer (ZEW).
Der Avatar in der U-Bahn-Station soll nur der Anfang sein. „Wir wissen, dass 500 Wörter nicht sehr viel ist. Wir müssen klein anfangen und stecken uns hohe Ziele“, sagt Prof. Hubert Roth. Der Plan ist, die Datenbank mit digitalisierten Gebärden und den Avatar um Mimik zu erweitern, die in der Gebärdensprache sehr wichtig ist. Außerdem wollen die Forscher langfristig neue Anwendungsgebiete testen.
