VDE berät zu rechtlichen Vorgaben für KI-basierte Medizinprodukte

Dr. Birgit Oppermann
birgit.oppermann@konradin.de

Herr Dr. Prinz, was hat den VDE dazu bewogen, ein Konzept zu regulatorischen Fragen zu KI für die Medizin zu entwickeln?

Künstliche Intelligenz ist ein sehr spannendes Thema. Wir bekommen erstmalig die Möglichkeit, die riesigen Mengen medizinischer Daten zu nutzen, zu analysieren und mit den Ergebnissen die Ärzte bei Entscheidungen zu unterstützen. Das ist aus meiner Sicht der entscheidende Ansatzpunkt: Es geht oftmals nicht darum, eine KI völlig autonom agieren zu lassen, das heißt, die Technologie unterliegt weiterhin der menschlichen Kontrolle. Allerdings sollte man genau wissen, was man tut, was man dafür braucht und wie man die vielfältigen regulatorischen Vorgaben erfüllt. Für diesen zuletzt genannten Punkt bieten wir mit unserem Konzept Boost AI to Market, kurz BAIM, Unterstützung an. Am sinnvollsten ist diese zu nutzen, wenn die rechtlichen Aspekte in der Entwicklung von Anfang an bedacht werden.

Wie sieht das regulatorische Umfeld für Hersteller von KI-basierten Medizinprodukten aus?

Die Technologie ist vielfältig und verändert sich laufend. Gegenwärtig boomen die wissenschaftlich-technischen Publikationen zu diesem Thema geradezu. Damit muss der Gesetzgeber Schritt halten und seine Vorgaben anpassen. Im Moment spielen im medizinischen Umfeld natürlich MDR und IVDR eine Rolle. Weitere Vorgaben macht das Medizinprodukte-Durchführungsgesetz MPDG, also der Nachfolger des Medizinproduktegesetzes. Dabei geht es noch gar nicht spezifisch um KI; aber ein KI-basiertes Medizinprodukt muss natürlich den generellen Vorgaben beispielsweise zum Qualitäts- und Risikomanagement entsprechen. Die DSGVO spielt bei KI-Entwicklungen ebenfalls eine Rolle. So kann ich meine KI nur mit Datensätzen von Patienten trainieren, für die der jeweilige Patient ausdrücklich die Genehmigung erteilt hat.

Welche Vorgaben betreffen denn konkret Produkte mit KI?

Ein Reihe KI-spezifischer Normen unterstützen den Hersteller bei der Entwicklung seines Produktes oder sind gerade im Entstehen. Weitere Vorgaben wird der europäische Artificial Intelligence Act, kurz AIA, bringen, der Anforderungen an KI in allen Branchen zusammenfasst. Dieser liegt bereits als Entwurf vor und wird auch die Medizintechnik betreffen. Was aus all diesen Vorgaben für ein Produkt relevant ist, sollte man früh definieren und bei der Entwicklung umsetzen. Denn im Nachhinein Details zu liefern, wenn die Benannte Stelle sie anfordert, ist schwierig bis unmöglich.

Wie lange haben Sie am BAIM-Konzept gearbeitet?

Wir haben etwa zwei Monate gebraucht, um das Konzept zu entwickeln. Obwohl wir damit erst Ende 2021 an die Öffentlichkeit gegangen sind, haben wir schon eine Handvoll Unternehmen, die wir bei KI-Projekten unterstützen.

Welche Unternehmen interessieren sich dafür?

Das sind oft große Unternehmen, die jahrelange Erfahrung mit der Arbeit im regulierten Medizintechnik-Umfeld haben. Bei ihnen ist auch der Bereich Medical Software etabliert, und sie brauchen nun für neue KI-basierte Produkte das Feintuning. Hier kann es darum gehen, zum Beispiel einen definierten KI-Entwicklungsprozess zu beschreiben und zu befolgen. An dieser Stelle weicht die Arbeit mit einer KI vielleicht am deutlichsten von dem ab, was bisher für Medical Software üblich ist. Wir diskutieren mit den Unternehmen auch die speziellen Gefahren, die der KI-Einsatz mit sich bringt und wie diese in das Risikomanagement integriert werden. Erheblich aufwendiger sind Projekte mit Start-ups, die bei Null anfangen und ihre Prozesse für Qualitätsmanagement, Usability, Klinische Bewertung oder auch die Überwachung nach dem Inverkehrbringen erst aufbauen müssen.

Was für spezielle Risiken spielen bei KI eine Rolle?

Beim Thema Cybersecurity gibt es für KI-basierte Systeme besondere Einfallstore. Wenn zum Beispiel eine Klinik all ihre Bilddaten zu den Patienten auf einem PACS-Server sammelt und sich jemand Zugang zu diesen Daten verschafft, ist es möglich, Störeffekte in die Bilddaten einzufügen. Mit dem bloßen Auge sind solche Veränderungen nicht zu erkennen, aber eine KI können sie völlig durcheinanderbringen. Diese würde zum Beispiel Tumore an Stellen identifizieren, wo eigentlich keine sind. Für Kriminelle bietet sich damit die Möglichkeit, die Klinik zu erpressen und erst nach Zahlung großer Geldsummen die veränderten Bilddaten wiederherzustellen. Solche Besonderheiten muss man in die Risikoanalyse berücksichtigen.

Forschungszentrum zu KI und Gesundheit in Bremen

Für welche Arten KI-basierter Medizinprodukte lässt sich das BAIM-Konzept nutzen?

Es eignet sich sowohl für eigenständige Software als auch für KI, die als Bestandteil eines Medizinproduktes konzipiert ist. Der Blickwinkel aufs Produkt ist leicht unterschiedlich, aber die Anforderungen sind ähnlich.

Schließt Ihr Konzept das kontinuierliche Lernen einer KI ein?

Grundsätzlich ja. Das ist für Hersteller von Medizinprodukten sehr wichtig, und sie kommen schon jetzt mit entsprechenden Fragen auf uns zu. Wenn eine KI mit der erforderlichen Anzahl an Datensätzen trainiert wurde, ist sie – sofern alle Regeln eingehalten wurden – als Produkt reif für den Einsatz. Sobald jedoch zum Beispiel eine weitere Klinik ihre Bilddaten mit dem KI-basierten Produkt analysierten möchte, muss eine Kontrolle oder auch ein erneutes Training mit Kontrolle erfolgen, um zu sehen: Arbeitet die KI auch hier korrekt? Wenn man an dieser Stelle ein Lernen des KI-basierten Systems komplett ausschließt – was die Benannten Stellen derzeit so interpretieren – , würde das Hinzukommen neuer Daten gewissermaßen eine erneute Konformitätserklärung erfordern. Wir sehen hierbei den Ansatz der FDA als sehr interessant an. Vereinfacht gesagt heißt es dort: Wenn der Hersteller festlegt, dass die KI unter definierten Regeln dazulernen darf und das auch überwacht wird, ist das Dazulernen akzeptabel. Im AIA-Entwurf ist diese Möglichkeit übrigens auch vorgesehen.

Wie bewerten Sie die Verfügbarkeit von Daten fürs KI-Training?

Das ist ein wichtiger und derzeit schwieriger Aspekt. Für Hersteller ist es eine Herausforderung zu beweisen, dass ihre KI generalisierbar ist, also mit Daten unterschiedlicher Herkunft die richtigen Ergebnisse liefert. Dazu müssen klinische Studien beitragen – und es ist erschreckend zu sehen, wie viele solcher Studien oftmals nur mit minderer Qualität veröffentlicht wurden.

Wenn es noch Schwierigkeiten gibt, ist jetzt überhaupt der richtige Zeitpunkt, für ein KI-basiertes Medizinprodukt?

Abzuwarten bringt das Risiko mit sich, dass andere Anbieter, die sich früh herausgewagt haben, Nischen besetzen. Von daher ist das keine gute Option. Jetzt anzufangen und zu lernen ist aus meiner Sicht der bessere Weg. Eines sollte man aber beachten: Wenn ein Projekt gestartet und Unterstützung zum Beispiel nach dem BAIM-Konzept eventuell erwünscht ist, sollte man nicht mit der fertigen KI zu uns kommen – denn es könnte sein, dass dann grundlegende Veränderungen notwendig werden, die nur in einem frühen Projektstadium problemlos umsetzbar gewesen wären.