In Echtzeit realitätsgetreue Veränderung - Augmented Reality

Pokémon Go, ein Spiel für Mobilgeräte wie Smartphone und Tabletcomputer, hat der Technologie „Augmented Reality“ einen großen Schub gegeben. Wissenschaftler heben diese Technologie nun auf eine neue Qualitätsstufe, indem sie nicht mehr das reale, digitale Bild mit visuellen Informationen überlagern, sondern das Bild realitätsgetreu verändern. „Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter einer Forschergruppe am Saarbrücker Max-Planck-Institut für Informatik und Informatik-Professor der Universität des Saarlandes. „Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung nur indirekt im Bild enthalten und damit nicht messbar sind“, so Theobalt.

Zusammen mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, löst er dieses Problem auf besondere Weise. Die von den Forschern entwickelte Software schafft dies sogar in Echtzeit für jedes Pixel eines Bildes, das von einer herkömmlichen Webcam stammt. Der Aufbau des Demonstrators ist einfach, das Ergebnis daher noch beeindruckender: Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau und damit in einer völlig anderen Farbe zu sehen. Es ist der einzige Unterschied, der zwischen der Szene im Raum und der Szene auf dem Bildschirm zu erkennen ist.

„Indem wir blitzschnell für jedes Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern, bleibt der realistische Eindruck erhalten“, erklärt Theobalt. Diese Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass dieses Ergebnis sogar bei Live-Aufnahmen möglich ist. Und die Software macht nicht bei Farben halt. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich sogar andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln.

„Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren: „Stellen Sie sich vor, Sie denken über ein neues Sofa in einer anderen Farbe nach. Mit unserem Programm können Sie prüfen, ob die angedachte Farbe zu den Lichtverhältnissen im Wohnzimmer passt. Sie müssen dafür noch nicht mal aufstehen.“