Firmen im Artikel
KI-Technologie in der Medizin ist bereits im Einsatz und wird in naher Zukunft ein wesentlicher Treiber für die Verbesserung der Gesundheitsversorgung sein. Digitalisierung ebnet den Weg für diverse Anwendungen: Diagnostik, Point-of-Care-Untersuchungen, aber auch teilautonome Abläufe in der Behandlung verbessern die Patientenversorgung und entlasten gleichzeitig medizinisches Fachpersonal. Um in diesem technologischen Feld „KI“ einsetzen zu können, werden Hersteller mit vielen regulatorischen Anforderungen konfrontiert.
Obwohl es aktuell noch kein klar definiertes Regelwerk gibt, das die Anforderungen an KI in Medizinprodukten spezifiziert, schärfen der europäische „AI Act“ sowie verschiedene Guidances der FDA zum Umgang und zur Einbindung von KI in medizinische Produkte das Bild. Was macht diese Technologie so anders? Wesentliche Antworten kann das angewandte Risikomanagement nach ISO 14971 liefern. Im Vergleich zu konventionellen Produkten kommen KI-integrierte Systeme mit zusätzlichen hochrelevanten Risiken einher, die sich über den gesamten Lebenszyklus erstrecken. Selbst bei nicht weiterlernenden Systemen kann sich die Umgebung ändern und somit die Performance der KI mit der Zeit verschlechtern.
Ein Beispiel einer Diagnostikanwendung zur Identifikation von krankhaftem Gewebe durch eine KI-unterstützte Bildanalyse kann Fallstricke und erforderliche Maßnahmen zur Risikobeherrschung verdeutlichen: Im fiktiven Fall werden an einer Forschungsklinik Proben gesammelt und von mehreren Expertinnen und Experten unabhängig befundet. Ein Teil dieser Daten wird für das Training der KI aufbereitet, der andere als Prüfdaten.
Daten für die KI: Qualität und Auswahl sind entscheidend
Bereits hier können Probleme bei der Verwendung von KI adressiert werden, die zu falschen Diagnosen führen können. Potenzielle Probleme sind:
- Vernachlässigung geschlechts- und altersspezifischer Unterschiede durch ausschließliche Verwendung von Proben von Männern im Alter von 30 bis 50 Jahren
- Mögliche Farbverfälschungen durch Aufnahme der Daten mit nur einer Kamera und Lichtquelle
Die genannten Probleme sprechen die Felder Datenbias, ethische Probleme und Datenqualität an. In beiden Fällen können Ingenieurinnen und Ingenieure oft weder die Probleme identifizieren noch lösen – hierzu sind Expertinnen und Experten anderer Domänen, wie beispielsweise fachärztliches Personal, Ethikerinnen und Ethiker und das Produktmanagement erforderlich. Explizite Fachexpertise bezüglich der Qualitätsaspekte bringen Data Scientists und Data Engineers in das Risikomanagement-Team ein. Die eigentliche Schwierigkeit besteht darin, die Datenproblematik zu erkennen. Anschließend liegen die Maßnahmen zur Risikominimierung oft auf der Hand. In der Beispielanwendung bedeutet das die Verwendung von Daten unterschiedlicher Kliniken und Aufnahmegeräte. Zudem muss abgeglichen werden, ob die Trainings- und Testdaten die Zweckbestimmung des Medizinprodukts korrekt repräsentieren.
Human-centered Design: Transparenz schafft Vertrauen
In dieser Beispielanwendung werden die Analyseergebnisse zu einer spezifischen Erkrankung der anwendenden Person, das heißt in diesem Fall hautärztlichem Fachpersonal, mit einem Scoring von 0 bis 10 präsentiert.
Potenzielle Probleme dabei sind:
- Die Definition des Scorings kann unterschiedlich interpretiert werden, entweder als signifikanter Anteil der erkannten Krankheit im Bild oder als Sicherheit der Identifikation.
- Auf dem Bild befindet sich noch eine weitere Hautregion, die falsch positiv identifiziert wurde.
Die adressierten Probleme betreffen Erklärbarkeit und Transparenz. Als Beherrschungsmaßnahme ist es essenziell, die Daten so aufzubereiten, dass der Anwendende sie zuverlässig verstehen kann. Wenn möglich und sinnvoll, muss erklärt werden, welche Daten die Entscheidung beeinflusst haben.
Human-centered Design ist ein methodischer Ansatz im Engineering, um Produkte anhand der existierenden Aufgaben der Benutzenden zu strukturieren und bedarfsorientiert umzusetzen. Im Beispiel kann die Region angezeigt werden, die signifikant war. Eine Erklärung der Skala – bei seltener Verwendung auch direkt beim Anzeigen der Ergebnisse – reduziert die Wahrscheinlichkeit einer Fehlinterpretation.
Design und Entwicklung – bediensicher und angepasst an Nutzer und Patienten
Engineering im Wandel – Risikomanagement im Fokus
Im aufgezeigten Beispiel werden die Unterschiede zur traditionellen Entwicklung deutlich. Konkrete Engineering-Schutzmaßnahmen, wie beispielsweise eine Plausibilisierung mittels eines zweiten Sensors, sind hier wirkungslos. Vielmehr erfordert es eine sorgfältige Analyse von Eingangs- und Ausgangsdaten und deren Interaktion mit dem Anwendenden im Rahmen des Risikomanagements.
Tatsächlich ist dies auch die Quintessenz der Bemühungen und Zielsetzung der Regulierungen in den USA und in Europa. Die fundierten Abstimmungen im Engineering mit allen Stakeholdern gewinnen an Bedeutung, um verifizieren und validieren zu können, dass die KI-Lösung auch den beworbenen Mehrwert bringt. Zudem erfordert die neue Technologie ein spezifisches technisches Verständnis, das über die klassische Softwareentwicklung hinausgeht. Im Sinne der Risikobeherrschung sollte intern Wissen und Expertise aufgebaut und mit externen Fachleuten kooperiert werden. Traditionell liegen in der Medizin Risiken und Nutzen oft eng beieinander. Gemeinsam gilt es, trotz komplexer Technologien systematisch sicherzustellen, dass der Nutzen überwiegt.
Zum Unternehmen
Bereits seit 30 Jahren entwickelt ITK Engineering kundenspezifische und plattformunabhängige System- und Softwarelösungen. Dabei unterstützt ITK Kunden während des gesamten Entwicklungsprozesses – von der ersten Idee bis zum fertigen Produkt und darüber hinaus. Im Geschäftsbereich Healthcare, der nach EN ISO 13485:2016 zertifiziert ist, werden normkonforme System- und Softwarelösungen für Medizinprodukte in Eigenverantwortung bis hin zum fertigen OEM-Produkt realisiert – von Embedded Echtzeitsystemen, Web- und Desktop-Applikationen, digitalen Gesundheitsanwendungen, robotischen Assistenzsystemen und Diagnostiklösungen bis hin zu Hardware und elektronischen Steuerungen für medizinische Geräte.
