Startseite » Digitalisierung »

Grundsatzpapier: Wer kann Hochrisiko-KI überwachen

Künstliche Intelligenz
Hochrisiko-KI-Systeme: Grundregeln für die KI-Überwachung

Gemäß AI Act der EU sollen Menschen „Hochrisiko-KI-Systeme“ überwachen. Was das genau heißt, beantworten Fachleute aus Informatik, Philosophie, Psychologie und Rechtswissenschaft nun grundlegend.

Bereits jetzt übernimmt künstliche Intelligenz Entscheidungen, die das Leben von Menschen ganz massiv beeinflussen können. So entscheidet sie beispielsweise bei der Kreditvergabe, ob der Kreditsuchende entweder gar kein Angebot, einen teuren oder einen günstigen Kredit erhält. Bei Bewerbungsverfahren filtert sie die unpassenden Bewerber heraus.  KI basierende Bildverarbeitungssoftware unterstützt Mediziner dabei, einen Tumor im Körper zu finden.

Sichere Analyse medizinischer Daten mit KI

Regelwerk von Kriterien für die KI-Aufsicht

Damit die Entscheidungen solcher KI-Systeme möglichst gerecht sind, hat die Europäische Kommission kürzlich den AI Act, das Gesetz über Künstliche Intelligenz, erlassen. Darin ist geregelt, dass solche „Hochrisiko-KI-Systeme“, die einen großen Einfluss auf das Leben von Menschen haben können, auch von Menschen „wirksam beaufsichtigt“ werden können. Was das im Einzelnen bedeutet, was also wirksame von unwirksamer menschliche Aufsicht unterscheidet, hat der Gesetzgeber allerdings nicht genau bestimmt.

AI Act: Klarheit und Mehraufwand für KI in der Medizin

Eine Gruppe aus Wissenschaftlern der Informatik, Philosophie, Psychologie und Rechtswissenschaft, verteilt über ganz Deutschland, hat sich diese komplexe Frage vorgenommen. Sie hat nun ein Regelwerk von Kriterien vorgelegt, die den Entwicklern und Anwendern von KI-Systemen genauso wie Gesetzgebern und Gerichten einen Rahmen geben soll, um wirksame Aufsicht zu gewährleisten.

Vier Kriterien sind zu erfüllen

„Im Grunde genommen haben wir vier Kriterien definiert, die ein Mensch erfüllen muss, um diese ‚wirskame Aufsicht‘ eines KI-Systems zu gewährleisten“, erläutert Erstautorin Sarah Sterz den Kern des vielbeachteten Aufsatzes. „Zum einen muss eine menschliche Aufsichtsperson kausale Wirksamkeit über das System haben“, beginnt Sarah Sterz. „Konkret heißt das, der Mensch muss in das System eingreifen und dessen Entscheidung überstimmen können.“ In der Praxis kann das ein Not-Aus-Schalter am Roboter sein, der in der Industriehalle hilft, oder die Möglichkeit, eine KI zu überstimmen, die im Bewerbungsverfahren entscheidet, wer eingeladen wird und wer nicht.

Gesetze und Rechtssicherheit: Wenn die KI vor Gericht steht

„Zweitens muss die eine menschliche Aufsicht wissen, wie das System funktioniert und welche Konsequenzen die eigenen Interventionen haben würden. Sie muss epistemisches Verständnis hinsichtlich des KI-Systems und der eigenen Handlungsoptionen haben“, so Sarah Sterz weiter.

Sarah Sterz ist Erstautorin des Papers, das sich mit der Frage nach der menschlichen Aufsicht über KI-Systeme befasst<span class="fotohinweis">(Bild: Universität des Saarlandes, Thorsten Mohr)</span>
Sarah Sterz ist Erstautorin des Papers, das sich mit der Frage nach der menschlichen Aufsicht über KI-Systeme befasst
(Bild: Universität des Saarlandes, Thorsten Mohr)

Nächster Punkt: „Außerdem muss die Person drittens genügend Selbstkontrolle besitzen, um eine KI wirksam zu beaufsichtigen“, führt Sarah Sterz aus. Derjenige muss geistig und körperlich in der Lage sein, diese Aufgabe zu erfüllen. „Man sollte zum Beispiel nicht betrunken, übermüdet oder gelangweilt sein“, nennt die Informatikerin drei Beispiele. „Wer an einem Tag schon 200 Bewerbungen gesichtet hat, macht bei der 201. Bewerbung möglicherweise Fehler. Nach diesem Kriterium wäre er also zu einer wirksamen Aufsicht über ein KI-System nicht mehr in der Lage.“

Wie man KI für die Industrie verständlich macht

KI-Aufsicht: Superschurken fallen durch

Nicht zuletzt sollte er die passenden Absichten hegen, so das vierte Kriterium, das Sarah Sterz und ihre Co-Autoren definiert haben. „Superschurken etwa wären demnach per se ungeeignet, KI-Systeme zu beaufsichtigen, selbst wenn sie verstehen, wie sie funktionieren, konkrete kausale Macht über sie besitzen und ausreichend Selbstkontrolle mitbringen“, nennt Sarah Sterz ein plakatives Beispiel.

Ein Filmbösewicht à la Dr. Evil aus „Austin Powers“ wäre demnach also ungeeignet, um eine KI zu beaufsichtigen, da es nicht in seinem Wesen läge, die Risiken der KI zugunsten der Menschen, über die sie entscheidet, zu eliminieren. Aber auch unmotiviertes Personal könnte zum Problem werden, denn wer nicht gewillt ist, Risiken abzuwenden, der wird auch keine wirksame Aufsicht über ein System führen.

Personalisierte Medizin: Noch entscheiden Experten besser als die KI

Kevin Baum ist Leiter des Center for European Research in Trusted Artificial Intelligence (CERTAIN) am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Saarbrücken und Co-Autor des Papers. Der Informatiker und Philosoph erklärt, weshalb solche Regeln wichtig sind. „KI-Systeme werden schlichtweg immer Fehler machen, egal, wie weit die Technik voranschreitet“, sagt er. „Schlimmer noch: Es ist mathematisch im Allgemeinen unmöglich, ein KI-System zu entwerfen, das dieselben Fehler mit derselben Wahrscheinlichkeit für alle macht. Daher ist ein Rahmen, wie wir ihn nun geschaffen haben, so wichtig, um es menschlichen Aufsichtspersonen zu ermöglichen, Fehler möglichst früh zu entdecken und schadhafte Ausgaben unwirksam zu machen. Wir wollen mit unseren Kriterien eine Struktur, einen Rahmen anbieten, um dies zu ermöglichen“, führt er aus.

EU-Kommission lädt Forscher ein

Die Komplexität dieser Fragestellung ist an der Vielzahl der beteiligten wissenschaftlichen Disziplinen erkennbar. „Die Frage nach der menschlichen Aufsicht über KI ist keine rein juristische Frage. Sie ist keine rein philosophische Frage. Sie ist keine rein psychologische Frage und sie ist keine rein informationstechnische Frage. Vielmehr ist es eine Frage, deren Antwort die Perspektiven all dieser Fachrichtungen darauf miteinander verknüpfen muss“, erläutert Kevin Baum.

KI: Für Unternehmen ein zentraler Wettbewerbsfaktor

Wie wichtig die EU-Kommission die Frage findet, hat sie inzwischen selbst beantwortet: Sarah Sterz, Kevin Baum und ihre Kollegen sind vom „Europäischen Amt für Künstliche Intelligenz“ im September zu einer Konferenz nach Schweden eingeladen, um den dortigen Teilnehmern ihr Grundsatzpapier zu erläutern.

Kontakt:
Universität des Saarlandes
Sarah Sterz
E-Mail: sterz@depend.uni-saarland.de

Kevin Baum
E-Mail: kevin.baum@dfki.de
https://doi.org/10.1145/3630106.3659051
www.uni-saarland.de

Unsere Whitepaper-Empfehlung
Aktuelle Ausgabe
Titelbild medizin technik 5
Ausgabe
5.2024
LESEN
ABO
Newsletter

Jetzt unseren Newsletter abonnieren

Titelthema: 6G in der Medizin

6G in der Medizin: Vitalparameter in Echtzeit überwachen

Alle Webinare & Webcasts

Webinare aller unserer Industrieseiten

Aktuelles Webinar

Multiphysik-Simulation

Medizintechnik: Multiphysik-Simulation

Whitepaper

Whitepaper aller unserer Industrieseiten


Industrie.de Infoservice
Vielen Dank für Ihre Bestellung!
Sie erhalten in Kürze eine Bestätigung per E-Mail.
Von Ihnen ausgesucht:
Weitere Informationen gewünscht?
Einfach neue Dokumente auswählen
und zuletzt Adresse eingeben.
Wie funktioniert der Industrie.de Infoservice?
Zur Hilfeseite »
Ihre Adresse:














Die Konradin Verlag Robert Kohlhammer GmbH erhebt, verarbeitet und nutzt die Daten, die der Nutzer bei der Registrierung zum Industrie.de Infoservice freiwillig zur Verfügung stellt, zum Zwecke der Erfüllung dieses Nutzungsverhältnisses. Der Nutzer erhält damit Zugang zu den Dokumenten des Industrie.de Infoservice.
AGB
datenschutz-online@konradin.de