Was der AI Act für KI in der Medizin bedeutet

Sabine Koll
Journalistin in Böblingen

Knapp 700 Medizintechnik-Geräte, bei denen KI beziehungsweise maschinelles Lernen zum Einsatz kommen, haben schon die Zulassung der US-Regulierungsbehörde FDA erhalten. Wie viele es in Europa oder Deutschland sind, ist unklar. Prof. Christian Dierks, Geschäftsführender Gesellschafter des Beratungsunternehmens Dierks+Company, schwant nichts Gutes. „Die meisten KI-Projekte im medizinischen Umfeld und damit Innovationen gibt es in den USA, Südkorea und China. Die Entwicklung findet mehr oder weniger ohne uns statt.“ Doch er hat Hoffnung: „Obwohl der AI Act der EU viele Hürden aufstellt, sollten wir unsere Kreativität in diesem neuen Rechtsrahmen beweisen.“

Inhaltsverzeichnis
KI in der Medizin: Auch hier schafft der AI Act Klarheit
36 Monate Zeit nach Inkrafttreten der Verordnung
Medizinprodukte ab Klasse IIa mit KI sind gemäß AI Act Hochrisiko-Systeme
KI in der Medizin: Es kommt darauf an, wo sie steckt
Zertifizierung von KI: Diskussion um lernende Systeme in der Medizin
Entscheidend ist die konkrete technische Umsetzung
Wesentliche Veränderungen an einer KI für die Medizin machen Rezertifizierung nötig
Wenn KI in der Medizin lernt, schafft das wesentliche Änderungen?
Hersteller von KI für die Medizin sollten jetzt Benannte Stellen kontaktieren
Zusammenspiel von AI Act und MDR ist wichtig und noch nicht konkret beschrieben
Wohl nicht zwei verschiedene Benannte Stellen für KI in der Medizin
Weitere Informationen zu AI Act und KI in der Medizin
Radiologische Geräte bei KI-Einsatz an der Spitze
Fragenkatalog der IG-NB zu KI in Medizinprodukten überarbeitet

KI in der Medizin: Auch hier schafft der AI Act Klarheit

Die EU hat den AI Act als Verordnung vor drei Jahren mit einem ersten Entwurf auf den Weg gebracht. Damit will sie eine rechtliche Grundlage für die Entwicklung und den Einsatz von KI generell legen, um mögliche Schäden durch KI abzuwenden oder zu minimieren. Außerdem werden mit dem AI Act in der gesamten EU einheitliche Regeln für den KI-Markt eingeführt, damit die Technologie in Europa besser Fuß fassen kann. Der AI Act schafft regulatorische Klarheit. Erstmals werdengrundsätzliche Regeln für das Inverkehrbringen von KI-basierten Produkten auf dem europäischen Markt festgelegt. „Damit ist für Hersteller von KI-basierten Medizinprodukten klar, welche Mindestanforderungen an vertrauenswürdige KI gestellt werden“, sagt Alexander von Janowski, Prozessmanager Agile Zertifizierung beim TÜV-Verband. Darüber hinaus dient der AI Act als Grundlage, um qualitativ bessere Modelle auf den Markt zu bringen, die nicht nur technisch robust und sicher sind, sondern auch fundamentale Grundrechte schützten und beispielsweise nicht ungewollt diskriminierten.

36 Monate Zeit nach Inkrafttreten der Verordnung

Geht alles nach Plan – und danach sieht es aktuell aus –, wird der AI Act noch vor der Europawahl im Juni 2024 in Kraft treten. „Spätestens 36 Monate nach dem Inkrafttreten des AI Acts unterliegen alle dort genannten KI-Systeme diesen gesetzlichen Anforderungen, also auch Medizinprodukte“, sagt Dr. Thorsten Prinz, Senior Manager beim Verband VDE. Für einige KI-Systeme gelten kürzere Fristen, etwa wenn es um verbotene Praktiken geht.

Damit rollt auf Medizintechnikhersteller, die KI in der ein oder anderen Form in ihre Produkte implementieren wollen, eine weitere gesetzliche Vorgabe zu. Die große Frage lautet nun: Was ist notwendig, um neben den Vorgaben der Medizinprodukteverordnung (MDR) auch die Vorgaben des AI Acts zu erfüllen – und was ist die Schnittmenge? Die gute Nachricht: Sowohl MDR als auch der AI Act verfolgen einen risikobasierten Ansatz. „Der AI Act unterscheidet – analog zur MDR – verschiedene Risikoklassen: no risk, low-risk, high-risk, unacceptable risk“, erklärt von Janowski. „KI-Systeme mit hohem Risiko sind zentral, da nur diese Systeme spezifische Anforderungen an Datenqualität, Risiko- und Qualitätsmanagement erfüllen müssen.“

KI: Für Unternehmen ein zentraler Wettbewerbsfaktor

„Einige Verpflichtungen aus dem AI Act bestehen in ähnlicher Form auch in der MDR, wenngleich diese teilweise im AI Act mit zusätzlichem Aufwand verbunden sind“, ergänzt Prinz. Das betreffe beispielsweise das Risikomanagementsystem (Art. 9), die technische Dokumentation (Art. 11, 18), Genauigkeit, Robustheit und Cybersicherheit (Art. 15), das Qualitätsmanagementsystem (Art. 17), die Konformitätsbewertung (Art. 43) sowie die Überwachung nach dem Inverkehrbringen/Vigilanz (Art. 21, 61, 62).

Während des Gesetzgebungsverfahrens gab es laut Prof. Dierks immer wieder die Frage, ob ein Röntgengerät nach dem AI Act auch dann als High-Risk-Produkt eingestuft wird, wenn in einer Komponente wie einem Motor KI zur vorbeugenden Wartung eingesetzt wird.

Karl Storz übernimmt Innersight Labs und baut KI-Bereich aus

Medizinprodukte ab Klasse IIa mit KI sind gemäß AI Act Hochrisiko-Systeme

Für Dr. Stefanie Greifeneder, Partnerin mit Schwerpunkt Life Sciences in der Wirtschaftskanzlei Taylor Wessing, ist der Grundsatz klar: „Nach dem AI Act sind Medizinprodukte mit KI, bei denen im Rahmen des Konformitätsbewertungsverfahrens nach der MDR eine Benannte Stelle eingeschaltet werden muss, immer als Hochrisiko-KI-Systeme einzustufen. Dies ist bei allen Medizinprodukten der Fall, die in Klasse IIa, IIb oder III einzustufen sind.“ Das heißt für sie, dass Röntgengeräte, die grundsätzlich als Klasse IIb eingeordnet werden und bei denen im Rahmen des Konformitätsbewertungsverfahrens daher eine Benannte Stelle eingeschaltet werden muss, als Hochrisiko-KI-Systeme gelten.

„Dies könnte aber durch eine später veröffentlichte Implementierungsgesetzgebung noch geändert werden“, räumt VDE-Experte Prinz ein. Und Prof. Dierks ergänzt: „Wegen der breiten Definition der KI im Anhang der Verordnung wird es auf die Umsetzungs-Rechtsakte der Kommission ankommen, ob und inwieweit Medizinprodukte, die auch KI für Funktionen einsetzen, die nicht mit der Hauptfunktion der Diagnostik oder Therapieentscheidung verbunden sind, ebenfalls als Hochrisikoprodukte einzustufen sind.“

KI in der Medizin: Es kommt darauf an, wo sie steckt

Hierzu sei im Gesetzgebungsverfahren nun erfreulicherweise eine Ausnahmeregelung aufgenommen worden. Diese sieht vor, dass ein System, das nach Annex III eigentlich als hochriskant eingestuft ist, aber gerade kein erhebliches Risiko für eine Schädigung der Gesundheit darstellt und auch materiell keinen wesentlichen Einfluss auf die Entscheidungsprozesse nimmt, nicht als Hochrisikosystem gilt.

Personalisierte Medizin: Noch entscheiden Experten besser als die KI

Der Fall mit dem Motor in einem Röntgengerät ist ein Beispiel für eine solche untergeordnete Hilfstätigkeit und würde daher nicht eine Qualifikation als Hochrisiko-System auslösen. Es gilt laut Dierks also, bei der Entwicklung von Medizinprodukten schon am Anfang darauf zu achten, dass die Zweckbestimmung sorgfältig differenziert, ob die Integration von KI eine Hauptfunktion ist oder lediglich eine untergeordnete Hilfstätigkeit. Wie so oft im Medizinprodukterecht komme es darauf an, am Anfang der Entwicklung die Zielsetzung für die Zertifizierung mit zu berücksichtigen.

AI Act und Medizinprodukte: Risiko und Chance ausbalancieren

Zertifizierung von KI: Diskussion um lernende System in der Medizin

Ein weiterer zentraler Punkt des AI Act ist für Medizinproduktehersteller, ob und wie sie die KI von den Benannten Stellen zertifizieren lassen können. Bis Dezember vertrat die Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland (IG-NB) die Auffassung, dass dynamische KI – die also im Feld zum Beispiel mit Trainingsdaten weiter lernt – nach MDR und IVDR prinzipiell nicht zertifizierbar sei, da man das System verifizieren und validieren müsse. Das heißt: Bei substanziellen Veränderungen muss der Hersteller die Benannte Stelle informieren, und diese muss die Software neu bewerten. Gegebenenfalls ist ein weiteres Audit notwendig. Die Benannte Stelle entscheidet dann, ob ein neues Konformitätsbewertungsverfahren durchzuführen ist oder ob eine Genehmigung erteilt werden konnte, indem Änderungen als Ergänzung zum Zertifikat (in Form des Qualitätsmanagements oder der technischen Dokumentation) festgehalten werden.

KI in der Medizin: Verteilte Künstliche Intelligenz für den OP

„Nach der damaligen Auffassung war die dynamische KI, die innovativste und interessanteste Form der KI, in der Praxis kaum zertifizierbar“, erklärt Dr. Angela Knierim, Salary Partnerin im Bereich Life Sciences bei Taylor Wessing. Nur in Einzelfällen haben Benannte Stellen in der Vergangenheit Medizinprodukte auch mit dynamischer KI zertifiziert, indem sie mit dem Hersteller eine individuelle Lösung gefunden haben.

Entscheidend ist die konkrete technische Umsetzung

Mark Küller, Referent Medizinprodukte beim TÜV-Verband, der die IG-BN organisatorisch vertritt, konkretisiert: „Eine Zertifizierung von KI-Medizinprodukten im Rahmen der MDR und IVDR ist möglich, auch von Produkten, die ‚lernen‘. Bereits heute befinden sich einige KI-Medizinprodukte auf dem Markt, die Benannte Stellen zertifiziert haben. Es muss nicht immer mit jedem ‚Lernen‘ eine neue Zertifizierung erfolgen. Es hängt alles von der konkreten technischen Umsetzung und der Nachweiserbringung durch den Hersteller im Rahmen seines Qualitätsmanagementsystems ab.“ Sicherlich gebe es dabei aber immer wieder Fälle, in denen bestimmte Lösungen beziehungsweise Anwendungen nicht zertifizierbar seien oder bestimmte Änderungen am Produkt eine neue Zertifizierung erforderten.

Künstliche Intelligenz: Cyberagentur ist Manipulationen auf der Spur

Letztlich war und ist es also eine Einzelfallentscheidung – das macht auch die jüngste Version des Fragebogens „Artificial Intelligence (AI) in medical devices“ deutlich, den die IG-BN im Dezember 2023 veröffentlicht hat, um Medizinproduktehersteller bei KI-Entwicklungen und -Zertifizierungen zu unterstützen. Darin ist insbesondere der Begriff der dynamischen KI durch den Begriff der „lernenden Systeme“ abgelöst, weil es laut Küller bei der alten Begrifflichkeit immer wieder zu Missverständnissen kam.

Die Zertifizierbarkeit lernender KI-Systeme ist zudem genauer ausgeführt in der neuen Version. Im Prinzip aber habe sich die Auffassung der IG-NB nicht verändert, so Küller. VDE-Experte Prinz aber sagt: „Die strikte Sicht der IG-NB zur Zertifizierbarkeit von kontinuierlich lernenden KI-Systemen wurde im neuen Fragenkatalog deutlich abgemildert, nachdem der VDE DGBMT im Juli 2023 in einer Empfehlung das Thema umfassend diskutiert hat.“

Wesentliche Veränderungen an einer KI für die Medizin machen Rezertifizierung nötig

Der AI Act legt nun fest, dass Hochrisiko-KI-Systeme, die einem Konformitätsbewertungsverfahren unterzogen wurden, dieses erneut durchlaufen müssen, „wenn sie wesentlich verändert werden, unabhängig davon, ob das geänderte System weiter vertrieben werden soll oder vom derzeitigen Bereitsteller weiter genutzt wird“ (Art. 43 (4) UAbs. 1).

Doch wann handelt es sich um eine wesentliche Änderung? Laut Prinz ist dies der Fall, wenn die Einhaltung des AI Acts beeinträchtigt werden könnte oder wenn sich die Zweckbestimmung des Systems ändert. Laut Art. 43 (4) UAbs. 1 fallen KI-Systeme, die nach dem Inverkehrbringen oder der Inbetriebnahme kontinuierlich lernen, per se nicht in diese Kategorie – sofern dies vom Anbieter bei der ersten Konformitätsbewertung festgelegt wurde und Teil der in der technischen Dokumentation gemäß Anhang IV Nummer 2 Buchstabe f enthaltenen Informationen ist.

KI in der Medizin: Bald schreibt sie den Arztbrief

Wenn KI in der Medizin lernt, schafft das wesentliche Änderungen?

„Änderungen am Algorithmus und an der Leistung von KI-Systemen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiter ‚lernen‘, das heißt, die Ausführung von Funktionen automatisch anpassen, stellen keine wesentliche Änderung dar, sofern diese Änderungen vom Anbieter im Voraus festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden“, bestätigt Taylor-Wessing-Juristin Greifeneder. „Wenn eine KI also zum Beispiel bei einem radiologischen Gerät mit neuen Trainingssätzen lernt, sich das System als solches aber nicht ändert, handelt es sich nicht um eine wesentliche Änderung, sodass in diesem Fall kein neues Konformitätsbewertungsverfahren durchgeführt werden muss.“ Eine wesentliche Änderung stelle zum Beispiel eine Veränderung des Betriebssystems oder der Softwarearchitektur dar – oder ein veränderter Verwendungszweck des Systems.

„Die Dynamik von KI-Systemen kann auch als schnell aufeinander folgende Produktiterationen verstanden werden“, erläutert von Janowski, TÜV-Verband. „Die Herausforderung auf Seiten der Zertifizierung besteht folglich darin sicherzustellen, dass diese Iterationen zuverlässig und kontinuierlich in der medizinischen Praxis eingesetzt werden können und das notwendige Leistungs- und Sicherheitsniveau nicht verletzt wird. Dies muss aktuell noch erarbeitet werden.“  Im europaweiten Projekt TEF Health arbeitet der TÜV-Verband konkret an dieser Herausforderung. „Hier legen wir den Grundstein für einen agilen Zertifizierungsprozess, der Hersteller befähigt, KI-Innovationen schnell und effektiv in die medizinische Praxis zu bringen“, so von Janowski.

Hersteller von KI für die Medizin sollten jetzt Benannte Stellen kontaktieren

Was also sollten Medizinproduktehersteller, die KI in ihre Produkte integrieren wollen, zum aktuellen Zeitpunkt tun? „Sie sollten sich ohne weitere Verzögerung mit der Umsetzung der Anforderungen in ihrem Qualitätsmanagementsystem befassen und ihre Benannte Stelle zwecks der weiteren Planung kontaktieren“, rät VDE-Mitarbeiter Prinz. Er geht auf alle Fälle davon aus, dass sich der bürokratische Aufwand für Medizinproduktehersteller durch den AI Act erhöhen wird. „Hersteller müssen zahlreiche Prozesse in ihrem Qualitätsmanagementsystem anpassen und auch neue Prozesse zur KI-Modell-Entwicklung sowie zur technischen Bewertung der KI-Modelle einführen.“ Entwarnung geben die Experten allerdings für heute bereits zertifizierte KI-Systeme: Sie bedürfen nach Inkrafttreten des AI Acts keiner neuen Zertifizierung.

Healthtech TCC und Fraunhofer IGD bringen KI in die Intensivmedizin

Zusammenspiel von AI Act und MDR ist wichtig und noch nicht konkret beschrieben

Von Janowski erwartet hingegen noch konkretere Vorgaben für die Medizintechnikbranche. „Zentral ist beispielsweise die Frage, wie das Zusammenspiel von MDR und AI Act konkret ausgestaltet wird.“ Die IG-NB kann laut Küller zum jetzigen Zeitpunkt noch nicht sagen, was alles notwendig sein wird. „Das wird sich bei der laufenden Analyse und nach der Festlegung der noch fehlenden Anforderungen und Verfahren sowie der Veröffentlichung der nach AI Act vorgesehenen Guidelines zeigen“, sagt er.

EU: Bisher fehlt Rechtssicherheit für Big Data und KI

Eine weitere große Herausforderung sieht Prinz darin, dass die Benannten Stellen für den AI Act separat zu notifizieren sind. „Und dafür bleibt wenig Zeit“, sagt er. Auch IG-NB-Experte Küller sieht hier noch viele Fragezeichen.„Wie die Benennung im Bereich Medizinprodukte ablaufen soll und durch wen sie durchgeführt wird, muss noch festgelegt werden“, so Küller. „Unsere Hoffnung ist, dass dies möglichst unbürokratisch erfolgt, die Benennung in Deutschland durch die Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten (ZLG) erfolgt und die Benennung ähnlich wie eine Erweiterung einer bestehenden Benennung nach MDR und IVDR behandelt wird.“ Fatal und nicht zielführend wäre es, wenn eine Benannte Stelle eine komplette Neubenennung durchlaufen müsse und die Benennungsverfahren ähnlich lange dauerten wie bei einer Benennung unter der MDR beziehungsweise IVDR.

AI Act und Medizinprodukte: Risiko und Chance ausbalancieren

Wohl nicht zwei verschiedene Benannte Stellen für KI in der Medizin

Auch geht er davon aus, „dass nicht alle Benannten Stellen Zertifizierungen für KI-Systeme durchführen werden“. Allerdings können die Medizinproduktehersteller nach seiner Auffassung davon ausgehen, dass „sie nicht zwei unterschiedliche Benannte Stellen – also eine nach AI Act und eine nach MDR beziehungsweise IVDR – für ein Produkt einbinden müssen.“

Unsere Whitepaper-Empfehlung

Whitepaper: MicroNova AG

Effiziente Validierung von Software in der Medizintechnik

Lesen Sie, warum Medizintechnikunternehmen ihre Testprozesse für die Validierung von Software optimieren müssen und wie sie dabei die Erfahrung der Automobilbranche für sich nutzen können.

• Mehr lesen