Inhaltsverzeichnis
Was gilt aktuell als künstliche Intelligenz
Anzahl zugelassener Medizinprodukte mit KI im EU-Markt steigt
Aktuelle gesetzlichen Regeln für Medizinprodukte mit KI
Umgang der Hersteller mit unklaren Regelungen
Checkliste der IG-NB: Tipps für Hersteller, die KI nutzen
Was Hersteller bei KI-Einsatz zu wenig berücksichtigen
Lernende KI und Sicherheit von Medizinprodukten
Chinas Regeln für KI in der Medizin
Artificial Intelligence Act der EU und Medizinprodukte
Benannte Stellen und der AIA
AIA trifft ein nach MDD zugelassenes Medizinprodukt – und dann?
Empfehlungen für Hersteller
Hintergrund zu EU, AIA und Medizinprodukten mit KI
Herr Dr. Rad, was gilt aktuell als künstliche Intelligenz?
Als Benannte Stelle haben wir es da einfach und greifen für die Definition auf den Standard ISO/IEC 2382:2015 zurück: Demnach reden wir von einer Computer-Intelligenz, die kognitive Aufgaben übernimmt, die in der Regel von Menschen erledigt werden. Es ist allerdings davon auszugehen, dass sich die Definition mit dem technischen Fortschritt wandelt. Vor nicht allzu langer Zeit galt zum Beispiel ein Schachcomputer, der durch seine Rechenleistung dem Menschen überlegen war, als künstliche Intelligenz. Heute kommen neuronale Netze zu Lösungen, die zunächst allen menschlichen Schlussfolgerungen zuwider zu laufen scheinen und am Ende doch ein sinnvolles Ergebnis liefern. Das ist zugleich aber ein Grund dafür, sich intensiv mit Sicherheitsaspekten bei künstlicher Intelligenz zu befassen – auch und gerade bei Medizinprodukten.
Wie viele Medizinprodukte mit KI sind im EU-Markt zugelassen?
Es sind eine Reihe von Produkten verfügbar und vermutlich noch mehr in Entwicklung. Eine Recherche in Pubmed zeigt, dass die entsprechenden Aktivitäten zuletzt exponentiell gewachsen sind.
Welche gesetzlichen Regeln gelten derzeit für Medizinprodukte-Hersteller, die KI nutzen wollen?
Es gibt schon jetzt eine Reihe von Regelungen. Allerdings keine, die speziell den Einsatz von KI in Medizinprodukten betreffen. Die Produkte, die schon im Markt sind, wurden zumeist gemäß der Medical Device Directive, der MDD, betrachtet. Diese enthielt nur wenige Regeln, nach denen man Software korrekt hätte klassifizieren können. Viele Produkte wurden daher der Klasse 1 zugeordnet und ohne Beteiligung einer Benannten Stelle in den Markt gebracht. Mit der Medical Device Regulation, der MDR, hat sich für Software vieles geändert. Gemäß der Regel 11 im Anhang VIII gehört Software, deren Input in Entscheidungen für diagnostische oder therapeutische Zwecke einfließt, mindestens in die Klasse IIa. Daher muss eine technische Dokumentation dazu nicht nur erstellt, sondern auch einer Benannten Stelle vorgelegt werden. Es erfolgt gemäß MDR zum Beispiel auch ein Audit zum Qualitätsmanagementsystem für so eine Software. Fragen werden gestellt nach dem Lebenszyklusmodell, und, wenn es um eine KI geht, auch danach, ob die Mitarbeiter zu Risiken des KI-Einsatzes in der Klinik geschult wurden. Wichtig ist auch, welches KI-Modell verwendet und wie es verifiziert und validiert wurde. Die meisten konkreten MDR-Vorgaben betreffen aber Software generell, nicht speziell eine künstliche Intelligenz.
Wie gehen Hersteller mit diesen nur teilweise passenden Regelungen um?
Mein Eindruck ist, dass die Hersteller den allgemeinen Software-Anforderungen der MDR gut gerecht werden. Wenn es um KI geht, für die es dort ja wenig konkrete Vorgaben gibt, wird es allerdings dann kritisch, wenn eine Benannte Stelle über die MDR hinaus Fragen stellt. Was die Sicherheit der Software betrifft, muss man sich am Stand der Technik orientieren. Um dieses Terrain für alle vollständig abzudecken, hat die Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland, die IG-NB, eine Checkliste zusammengestellt. Sie bietet Unterstützung für den aktuellen Zeitraum – auch wenn die kommende Regelung, der Artificial Intelligence Act der EU oder kurz AIA, neue Rahmenbedingungen bringen wird.
Welche Hilfen gibt die Checkliste der IG-NB den Herstellern?
In der Checkliste, die 17 Seiten umfasst, sind alle Aspekte zusammengestellt, die für eine KI im Medizinbereich eine Rolle spielen können. Nicht jeder Aspekt ist für jede Anwendung wichtig, aber es gibt doch eine Reihe von Fragen, die ein Hersteller gegebenenfalls beantworten können muss.
Gibt es Beispiele dafür, was Hersteller eventuell zu wenig berücksichtigen?
Die meisten KI-Methoden in der Medizintechnik basieren auf Algorithmen, die trainiert werden müssen. Sie lernen anhand von Datensätzen. Bisher gibt es keine rechtlichen Vorgaben dafür, woher solche Daten kommen müssen. Aber je nachdem, woran die KI lernt, wird sie sich anders entwickeln. Medizinische Aussagen sind zum Beispiel nur sinnvoll, wenn die Trainingsdaten auch zu der Population passen, in der die KI eingesetzt werden soll. Wir fragen den Hersteller eines Medizinproduktes mit künstlicher Intelligenz also auf jeden Fall, woher die Trainingsdaten kommen. Und es ist gar nicht so selten, dass wir auf diese Frage keine Antwort bekommen, weil das nicht dokumentiert wurde. Aber unter dem Aspekt der Sicherheit sind die Datensätze für eine KI so wichtig wie bei klassischer Software der Quellcode. Sollte es in der Anwendung zu Fehlern kommen, muss der Hersteller exakt belegen können, wie er die KI entwickelt und trainiert hat und woher die Daten stammen.
Eine KI, die bei der Anwendung weiter lernen darf, verändert sich. Was heißt das für die Bewertung der Sicherheit von Medizinprodukten?
In diesem Punkt kommen die Gesetzgeber zu unterschiedlichen Schlüssen. In den USA arbeitet die FDA an einem AI Action Plan. Bisher gibt es nur einen Entwurf zu KI in Medizinprodukten, demzufolge es möglich wäre, eine KI in der Anwendung weiter lernen zu lassen, sofern man die Entwicklung dokumentiert und nachweist, was passiert. Das zu tun, ist meiner Meinung nach aber eine schwierige Aufgabe. In der EU gilt, dass jede signifikante Änderung an einem Medizinprodukt der benannten Stelle zu melden ist. Diese prüft dann das Produkt erneut gemäß den Vorgaben für die Zulassung. Wenn eine KI in der Anwendung weiterlernt, kommt es zu solchen signifikanten Änderungen. Daher wäre die einmalige Zertifizierung einer lernenden KI in Medizinprodukten in der EU nicht möglich.
Welche Regeln zum Einsatz von KI in der Medizin wendet China an
China hat seine Anforderungen für künstliche Intelligenzen 2018 zusammengestellt. Dazu gehören eine technische Dokumentation und Standard-Sets für Tests, die eine chinesische Behörde gegen Gebühr an der KI durchführt. Ohne auf Details einzugehen, lässt sich grob sagen, dass die chinesischen Anforderungen an eine KI zwischen denen in Europa und denen in den USA anzusiedeln sind.
Die EU plant mit dem Artificial Intelligence Act eine branchenübergreifende Regelung für KI. Was bedeutet das für Medizinprodukte?
Die AIA-Regelung teilt für KI-Anwendungen eigene Risikoklassen ein. Inakzeptable Risiken werden dabei zum Beispiel für Social-Scoring-Projekte angenommen, wie es sie in China gibt. Diese wären in der EU gemäß AIA verboten. KI-Anwendungen in der Medizin gehören laut dem Entwurf zur Hochrisikoklasse. Daher wäre eine Konformitätserklärung inklusive technischer Dokumentation erforderlich. Entspricht das Produkt den Anforderungen, bekommt es ein Zertifikat. Da gibt es also durchaus Ähnlichkeiten mit den Vorgaben der MDR. Offen ist noch, ob ein Medizinproduktehersteller dann beide Verfahren durchlaufen muss. Mein Eindruck ist, dass das eher nicht der Fall sein wird, sondern man Ergänzungen zu den MDR-Unterlagen wird vorlegen müssen, um die Konformität zu den AIA-Regeln nachzuweisen. Spannend ist aber, wem man diese vorlegen muss.
Wer hat das Recht, die Konformität zu AIA zu bestätigen?
Nur Benannte Stellen, die gemäß AIA akkreditiert sind, dürfen die Konformität bewerten. Was heißen könnte, das eine gemäß MDR akkreditierte Benannte Stelle ein Produkt zu Fragen der MDR betrachtet und der Hersteller danach zu einer anderen Stelle geht, die prüft, ob die KI-Anforderungen gemäß AIA erfüllt sind. Ich halte es aber auf jeden Fall für sinnvoller, dass Medizinprodukte mit KI von einer Benannten Stelle geprüft werden, die gemäß beider Gesetze akkreditiert ist. Wie viele es davon zu welchem Zeitpunkt geben wird, ist allerdings schwer vorherzusagen.
Kann der AIA ein Medizinprodukt aus dem Markt hebeln?
Nicht direkt. Aber für Produkte, die gemäß der MDD in den Markt gebracht wurden, könnte es eine Zeitfrage sein. Die EU will die AIA-Regelung offenbar schnell voranbringen. Das zeigt sich daran, dass der Entwurf schon im April 2021 herauskam. Angekündigt ist auch, dass die Hersteller nach der offiziellen Veröffentlichung des Gesetzes 24 Monate Zeit haben werden, um die AIA-Konformität ihrer Produkte nachzuweisen. Dafür können signifikante Änderungen am Produkt erforderlich werden, die die erneute Beteiligung einer Benannten Stelle erfordern. Für ein Medizinprodukt, das gemäß MDD im Markt ist, kann das heißen, dass eine AIA-bedingte Änderung eine neue Betrachtung, dann aber gemäß MDR, erforderlich macht – auch wenn die Übergangsfrist zwischen MDD und MDR eigentlich noch nicht abgelaufen ist.
Was empfehlen Sie Herstellern, die KI für Medizinprodukte nutzen wollen?
Es ist auf jeden Fall sinnvoll, sich die AIA-Regelungen schon im Entwurf anzuschauen und sich zu fragen, ob eine Compliance mit dem eigenen vorhandenen oder geplanten Produkt zu erreichen ist. Das gibt Spielraum, um die Anforderungen rechtzeitig umzusetzen.
Weitere Informationen
Die Checkliste der IG-NB zu Medizinprodukten mit künstlicher Intelligenz ist verfügbar unter
http://hier.pro/dzGei
Zum Entwurf des AIA: http://hier.pro/m6euU
Zusammenfassung der Pläne mit Stand vom Sommer 2023 (externer Link):
Neues KI-Gesetz: EU will KI-Anwendungen stärker regulieren
Die Technologien, die künstliche Intelligenz hervorbringen, entwickeln sich schnell – bisher sind manche Details dazu noch nicht gesetzlich geregelt(Bild: SciePro/stock.adobe.com
EU, AIA und Medizinprodukte mit KI
Die EU-Kommission will künstliche Intelligenz horizontal, also branchenübergreifend in allen Einsatzgebieten einheitlich regulieren. Das hat die Kommission in einem Whitepaper 2020 angekündigt. Der entsprechende Entwurf zum „Artificial Intelligence Act“ (AIA) war bereits wenige Monate später, im Sommer 2021, verfügbar und wird nun diskutiert und kommentiert.
Der Bundesverband Medizintechnologie, BVMed, beispielsweise begrüßt in seiner Stellungnahme grundsätzlich die Bemühungen, Regelungen zur künstlichen Intelligenz (KI) zu harmonisieren. Jedoch wird auch davor gewarnt, dass eine zu starke Regulierung der KI-Anwendungen den Patientenzugang zu innovativen KI-Medizinprodukten gefährden könne. Die neue EU-Medizinprodukte-Verordnung (MDR) biete bereits ein sehr hohes Level an Sicherheit und Qualität für Patienten, so der Verband. Umfassende Nachprüfungen der Produkte müssten ausgeschlossen werden, auch um eine zusätzliche Belastung der Benannten Stellen durch erhöhte Anforderungen an Medizinprodukte zu vermeiden.
Im Einzelnen identifiziert der Verband in einer ausführlichen Stellungnahme Änderungsbedarf zu neun Punkten im Entwurf des „Artificial Intelligence Act“ (AIA).
Mehr zum Thema Künstliche Intelligenz
