Herr Professor Dierks, was ist, kurz zusammengefasst, die Hauptaussage der europäischen Verordnung zur künstlichen Intelligenz, also des EU AI Act?
Die neue Verordnung bezieht sich auf alle Produkte mit künstlicher Intelligenz und soll die Risiken minimieren, die sich aus der Nutzung der neuen Technologie ergeben. Sie kennt Produkte mit nicht akzeptablen Risiken, die schlichtweg verboten werden. Die Mehrzahl der Produkte wird gemäß AI Act eine „geringe“ oder „minimale“ Risikostufe haben und damit wenig reguliert werden. Dazwischen liegen die Produkte, die im Gesundheitswesen Einsatz finden. Medizinprodukte, in denen die KI zur Diagnose oder Therapie beiträgt, gelten als Hochrisiko-Produkte und müssen im Rahmen der Zertifizierung als Medizinprodukt auch nach den Vorgaben des künftigen AI Act zertifiziert werden.
Was bringen die Zertifizierungen Ihrer Einschätzung nach?
Es geht nicht darum, mit der Umsetzung des AI Act in Deutschland jegliches Risiko auszuschließen, sondern darum, den Nutzen zu maximieren, während gleichzeitig die Risiken kontrolliert werden. Das müssen wir im Auge behalten, dann kann auch die Umsetzung der KI-Verordnung ein Erfolg werden. Als ich den Verordnungsentwurf das erste Mal gelesen habe, habe ich mir gedacht: Ja, so kann man die Risiken minimieren. Aber: Man kann damit auch den potenziellen Ertrag und den Nutzen von KI minimieren. Ein Beispiel aus dem Straßenverkehr zeigt ganz gut, was ich meine: Nur weil man mit einem Auto einen Fußgänger überfahren kann, wird man nicht das Autofahren verbieten. So verhält es sich auch mit der Regulierung zum Thema KI: Die Risiken müssen kontrolliert und der Nutzen maximiert werden.
Wird der AI Act Innovationen in der Medizintechnik eher fördern oder eher bremsen?
Das hängt davon ab, wie die Verordnung in Deutschland umgesetzt wird. Der Schlüssel zum Erfolg ist daher die Diskussion darüber, wie wir uns vernünftigerweise bezüglich der Risiken und der Potenziale positionieren wollen. Genau wie bei der Medizinprodukteverordnung müssen wir verhindern, dass kleine und mittelständische Unternehmen mit hohen bürokratischen Anforderungen aus dem AI Act überfordert werden. Wir wissen ja, dass in Europa deutlich mehr als die Hälfte dieser Unternehmen in Deutschland angesiedelt sind. Der Abstimmungsprozess innerhalb der EU berücksichtigt deren Kapazitäten und Möglichkeiten aber nicht unbedingt. Umso wichtiger ist es, dass in der deutschen Politik, der Selbstverwaltung und bei den Behörden Interpretationsmuster entwickelt werden, die die Interessen und Möglichkeiten der KMU im Blick behalten.
Macht denn das Vorhandensein egal welcher Art von KI aus einem Medizinprodukt ein Hochrisikoprodukt?
Nein. Im Anhang der Verordnung ist die Definition von KI breit gefasst. Daher wird es in der Praxis auf die Umsetzungs-Rechtsakte der Kommission ankommen. Darin wird es darum gehen, wann ein Medizinprodukt ein Hochrisikoprodukt ist oder nicht. Relevant wäre dafür zum Beispiel, ob eine KI mit der Hauptfunktion der Diagnostik oder Therapieentscheidung verbunden ist. In diesem Fall wäre das Produkt insgesamt als Hochrisiko-Produkt einzustufen. Im Gesetzgebungsverfahren ist erfreulicherweise aber auch eine Ausnahmeregelung aufgenommen worden. Sie sieht vor, dass ein System, das nach Annex III eigentlich als hoch riskant eingestuft wird, nicht als Hochrisiko-System gelten muss. Die Voraussetzung dafür ist, dass die KI gerade kein erhebliches Risiko für eine Schädigung der Gesundheit darstellt. Auch darf sie materiell keinen wesentlichen Einfluss auf Entscheidungsprozesse für Diagnose und Therapie haben. Ein gutes Beispiel für so einen Fall wäre ein Motor in einem Röntgengerät, der mit KI zu Wartungszwecken ausgestattet ist. Der Motor übernimmt im Gerät aber nur eine Hilfstätigkeit. Wegen der Ausnahmeregelung würde der Motor mit KI daher nicht dazu führen, dass das gesamte Röntgengerät als Hochrisiko-System einzustufen wäre.
Im AI Act ist von Sandboxes, also isolierten Testumgebungen für KI, die Rede. Sind solche Sandboxes für die Entwicklungsphase eines Medizinprodukts mit KI verpflichtend?
Ganz sicher nicht. Die Sandboxes, die der AI Act anspricht, sind solche, die Mitgliedstaaten für die Entwickler zur Verfügung stellen sollen. Die Verordnung benennt ausführlich die Voraussetzungen, die diese Sandboxes erfüllen müssen. Durch Umsetzungsrechtsakte der Kommission wird dann klargestellt, unter welchen Voraussetzungen welche Unternehmen in diesen Sandboxes ihre Produkte entwickeln und testen können. Aber die Sandboxes sind keine Pflicht für die Entwicklung von KI-Produkten. Sie sind allerdings schon lange Good Practice. Damit lässt sich verhindern, dass ein Produkt die Welt der Produktivumgebung durcheinanderbringt.
Welche Chancen haben fortlaufend lernende KI-Systeme in der Medizin?
Gegenwärtig sind in der Medizin keine Produkte mit dynamischer, also fortlaufend lernender KI im Einsatz. Das ist noch Zukunftsmusik. Lassen Sie uns das dennoch einmal konkret durchspielen: Wie müsste ein Konzept aussehen, bei dem eine KI-Software in der Realität im Einsatz ist und gleichzeitig „dazulernt“? Diagnostiker und Behandler müssten fortlaufend die Arbeit der KI kommentieren. Die hohe Qualität solcher Kommentare müsste man sicherstellen können. Anders als bei statischer KI, die als fertiges Produkt in den Markt kommt, verliert bei dynamischen Systemen der ursprüngliche Entwickler die Kontrolle über die Qualität des Produktes, was die Frage nach der Haftung aufwirft. Und was insgesamt zu dem Schluss führt, dass wir für eine dynamische KI technische Ansätze bräuchten, die sowohl die Qualität der Weiterentwicklung im Feld sichern als auch ein Dazulernen ermöglichen. Ein Entwickler, der dafür eine Lösung anbietet, wird erheblich dazu beitragen, dass dynamische KI eingesetzt werden kann.
Um eine KI zu trainieren, sind Daten erforderlich. Stehen diese in Deutschland in ausreichendem Maß zur Verfügung?
Was die Datennutzung angeht, sind wir in Deutschland in den vergangenen Jahren in eine Sackgasse geraten. Die Regelungen zum Datenschutz wurden optimiert, will sagen maximiert, während die Datennutzung völlig ins Hintertreffen geriet. Das ist mit dem Gesundheitsdaten-Nutzungsgesetz und auch in einigen Ansätzen im Landesrecht letztes Jahr schon deutlich besser geworden. Die Datenschützer sind auf dem Weg zu verstehen, dass es nicht allein um den Schutz der Daten geht, sondern um den Schutz der Betroffenen, wie zum Beispiel der Patienten. Aber nicht allein die Gesetze bestimmen, was mit den vorhandenen Daten möglich ist. Auch deren Interpretation durch die behördlichen und betrieblichen Datenschutzbeauftragten spielt eine Rolle. Aber die Möglichkeiten der Datennutzung, die wir schon jetzt in Deutschland haben, werden zumeist massiv unterschätzt. Wir können viel mehr mit klinischen Daten in der Auswertung, also sprich in der Mustererkennung und in-silico-Forschung erreichen, als wir dies gegenwärtig tun.
Was wäre denn schon möglich?
Wir beraten Krankenhäuser und datenverarbeitende Unternehmen dazu, wie sie auf der Basis des geltenden Rechts mit Daten forschen können, insbesondere ohne dass es einer Einwilligung der Patienten bedarf. Und wir merken, dass sich dazu in Deutschland ein Paradigmenwechsel entwickelt, insbesondere, wenn man mit guten Argumenten ein Forschungsprojekt begleiten und die rechtlichen Rahmenbedingungen dafür definieren kann.
Weitere Informationen
Dierks+Company hat sich auf die strategische und rechtliche Beratung für innovative Projekte der digitalen Transformation im Gesundheitswesen spezialisiert.
www.dierks.company
