Anhand der Stimme eine Covid-19-Infektion erkennen? Das vermag die Spracherkennungs-App von Prof. Dr. Björn W. Schuller, Professor für Künstliche Intelligenz und Digitale Gesundheit. Die App errechnet anhand eines vorgelesenen Textes oder auch freier Sprache die Wahrscheinlichkeit, mit dem so genannten Corona-Virus infiziert zu sein. Die Trefferquote liegt im Moment über 80 %, die App wird aber noch weiter verbessert und getestet.
Mit Stimmenanalysen an der Schnittstelle zwischen Informatik und Medizin beschäftigen sich Schuller und sein Team schon seit Jahren. Schon im Jahr 2012 ist es den Wissenschaftlern gelungen, Kehlkopfkrebs „zu hören“, danach Autismus (2013), die Parkinsonsche Erkrankung (2015) oder auch eine Erkältung (2016). Seit 2016 entwickelten Schuller und Team im Radarcns Stimmenanalysen zur Diagnostik von großen Krankheitsbildern wie Depressionen oder Epilepsien.
Mit der Pandemie hat sich das Forschungsfeld jedoch verändert: Im März 2020 erhielt das Entwickler-Team die Möglichkeit, zum aktuellen Virus Sar-Cov-2 zu forschen, dass die Covid-19-Erkrankung auslöst. Neues Ziel: Eine für niedergelassene Ärzte und Interessierte unkomplizierte Anwendung auf der Basis von Smartphone-Technologie zu entwickeln, die das Erkennen einer Covid-19-Infektion berührungslos, in Echtzeit und sogar auf Distanz ermöglicht.
Der Weg zur Spracherkennung von Covid-19
Im März 2020 begann Björn Schuller Stimmenaufnahmen aus Wuhan, die er von chinesischen Kollegen erhielt, auszuwerten: Insgesamt verarbeitete das Team zunächst etwa 50 Stimmen von Covid-19-Patienten und etwa 50 Stimmen von nicht infizierten Patienten. „Diese Auswertungen waren erste Lernbeispiele für unseren Computer. Je mehr Stimmen wir auswerten können, umso genauer kann die App später funktionieren“, erklärt der Informatiker Björn Schuller. Inzwischen kommen die Daten aus dem Universitätsklinikum Augsburg – „leider“, erklärt der Wissenschaftler angesichts der hohen Inzidenzwerte im Corona-Hotspot Augsburg.
Dort werden die Stimmenproben gemeinsam mit Ärzten im Universitätsklinikum Augsburg aufgenommen. Björn W. Schuller arbeitet dort mit Privatdozent Dr. Markus Wehler, Direktor der IV. Medizinischen Klinik sowie der Zentralen Notaufnahme des Universitätsklinikums Augsburg, zusammen. Dieser hält eine solche App aus Sicht der Notfall- und Akutmedizin für „sehr hilfreich, da ein Sprachtest sehr schnell durchzuführen und wenig belastend ist und innerhalb weniger Minuten ein Ergebnis vorliegt“. Es sei keine Blutabnahme nötig, kein Röntgenbild und auch sonst keine aufwendige Diagnostik. „Selbst wenn das Ergebnis nicht so genau wie bei einem Abstrich ist, könnte man dennoch sehr schnell die Verdachts- von den Nicht-Verdachtsfällen trennen“, so der Notfallmediziner.
Inzwischen liegt laut Schuller die Erfolgsquote der Spracherkennungs-App zur Covid-19-Erkennung bei über 80 %. „Aber wir sind noch mitten in der Untersuchung, brauchen natürlich weitere Daten, also viele Stimmen sowohl von Covid-19-Erkrankten als auch von gesunden Vergleichskandidaten.“
So erkennt die App die Covid-19-Erkrankung
Die Funktionsweise der App basiert auf tiefenneuronalen Netzwerken. Diese erlernen, ähnlich wie im menschlichen Gehirn, hochparallel Information zu verarbeiten. In Ebenen bilden sie das Sprachsignal mit zunehmender Komplexität ab und können nach dem Anlernen mit vielen Daten neue Probleme wie Covid-19 selbstständig darstellen und erkennen.
Die App kann dabei die wesentlichen Merkmale in der Stimme repräsentieren. „Man kann sich vorstellen, dass sie Covid-19 Einflüsse auf die Stimmbildung heraushören kann, etwa Kurzatmigkeit, oder auch einfach Ermüdung und natürlich Husten oder ähnliches“, sagt Schuller.
Somit lernt die App, Covid-19 schon nach wenigen Worten oder Sätzen auch von neuen Personen anhand ihrer Stimme zu erkennen. Parallel hat Schuller eine weitere App entwickelt, die über einen längeren Zeitraum zuhört und Häufigkeiten von hörbaren Symptomen wie Husten, Niesen, Kurzatmigkeit, verstopfte Nase oder ähnliches beobachtet, aus dem „Gehörten“ Rückschlüsse zieht und die Nutzerin oder den Nutzer informiert.
App soll bei der frühen Erkennung helfen
„Wir hoffen, mit unserer Anwendung einen wichtigen Beitrag zur Früherkennung von Covid-19 leisten zu können“, so Schuller. Die Sprache sei hier quasi das neue Blut – sie werde zur Analyse verwendet sind zugleich Spenden, anhand derer sich die Systeme insgesamt verbessern lassen. Privatsphäre und Ethik stünden dabei stets an erster Stelle. „Wir entwickeln daher Lösungen, die direkt auf dem Endgerät eines Nutzers die Daten auswerten und nur für den Nutzer einsehbar sind“, betont Schuller.
Entwicklungsprojekt läuft weiter
Das Projekt Spracherkennung von Covid-19 ist noch nicht abgeschlossen. Es gehe darum, die Zuverlässigkeit zu verbessern, die Ergebnisse der Analyse erklärbar zu machen und Transparenz der Entscheidung zu schaffen. „Natürlich sind wir dann in erster Linie daran interessiert, das Projekt in eine reale Anwendung überführen zu können, um für uns alle einen Mehrwert in dieser herausfordernden Zeit zu schaffen“, beschreibt Prof. Schuller die nächsten Schritte.
Noch gibt es keine Partner, aber Schuller arbeitet auch mit seinem Unternehmen Audeering GmbH an Lösungen.
Kontakt zum Wissenschaftler:
Firmenname und Firmierung
Prof. Dr-Ing. habil. Björn W. Schuller
Lehrstuhl für Embedded Intelligence for Health Care and Wellbeing
E-Mail: schuller@informatik.uni-augsburg.de
Über den Lehrstuhl für Embedded Intelligence for Health Care and Wellbeing
Der Lehrstuhl für Embedded Intelligence for Health Care and Wellbeing an der Universität Augsburg verbindet Informatik mit moderner Medizin. Das Forschungsfeld ist die sensor- und wissensbasierte Begleitung und Überprüfung aller gesundheitsrelevanten Parameter bei sportlichen und anderen Aktivitäten.
Vor allem geht es um die Erfassung, Analyse und Interpretation von Biosignalen, wie sie etwa bei der Überwachung der Herzaktivität, des Stoffwechsels oder neuronalen Aktivitäten anfallen. Daneben werden auch akustische Parameter wie Sprache und andere akustische Ereignisse sowie visuelle Parameter – Gesicht, Gestik, Körpermotorik – verarbeitet, in einem realistischen Szenario, das dem Alltagsleben entspricht.
Der Lehrstuhl von Prof. Dr. Björn Schuller ist angesiedelt in der Fakultät für Angewandte Informatik (FAI), Björn Schuller ist darüber hinaus Zweitmitglied der Medizinischen Fakultät sowie im Schwerpunkt Medizinische Informatik aktiv.
www.uni-augsburg.de/de/fakultaet/fai/informatik/prof/eihw/
Mehr zum Thema Digitalisierung in der Medizin und künstlicher Intelligenz
