Im Gesundheitswesen gewinnen Sprachmodelle an Aufmerksamkeit, da sie große Mengen unstrukturierter oder halbstrukturierter Daten automatisiert verarbeiten können. Man muss allerdings auch für die KI im Sprachmodell die Aufgabe richtig formulieren, gerade für die Medizin: Unter anderem darum soll es um Projekt Auto Prompt gehen, das im Forschungsbereich Interaktives Maschinelles Lernen im DFKI Niedersachsen läuft.
KI in der Medizin: Optimierte Anweisungen für das Sprachmodell
In einem ersten Schritt will die Computerlinguistin Siting Liang, die das Projekt vorantreibt, das Prompting optimieren, also die Anweisung an den Chatbot, um eine bestimmte Antwort zu erhalten. Dazu erforscht sie verschiedene Strategien wie beispielsweise Chain-of-Thoughts-Methoden. Dabei werden Anweisungen mit Zwischenschritten gegeben, die bestimmten Pfaden folgen und Gedankenketten auslösen. So soll dem Bot ein gewisses Maß an Argumentationsfähigkeit entlockt werden. „ChatGPT mag zwar in der Lage sein, relevante Sätze aus einem Kontext zu erkennen, aber genaue logische Schlussfolgerungen zu ziehen, erfordert ein tieferes Verständnis von Domänenwissen und natürlicher geschriebener Sprache“, sagt Liang.
KI im Gesundheitswesen: Neues Zentrum in Kaiserslautern eröffnet
Ihr Vorgehen mit der KI erläutert sie an einem Beispiel. Ausgangspunkt ist die Behauptung, dass Patienten mit Hämophilie, die also an der Bluterkrankheit leiden, von einer Studie im Bereich Medizin ausgeschlossen sind, wenn bestimmte Prämissen zutreffen wie beispielsweise ein erhöhtes Risiko zu einer Blutung. „Diese Aufgabe erfordert, dass die Sprachmodelle den Inhalt der Behauptung verstehen, relevante Hinweise aus wissenschaftlichen Artikeln extrahieren und die Übereinstimmung zwischen der Behauptung und den Hinweisen bewerten, um auf den Wahrheitsgehalt der Behauptung zu schließen“, erläutert sie.
Natural Language Inferenz (NLI): den Sinn erkennen und zum richtigen Schluss kommen
In einem zweiten Schritt wird die Forscherin die Leistung von ChatGPT bei NLI-Aufgaben unter Verwendung verschiedener Datensätze bewerten und Verbesserungen vorschlagen. Bei der Natural Language Inferenz (NLI) gehe es laut Liang darum, zu bestimmen, „ob eine Behauptung angesichts einer Prämisse oder einer Reihe von Fakten eine zutreffende Schlussfolgerung oder aber einen Widerspruch darstellt“.
„Unser Ziel ist es, den Sprachmodellen mehr domänenspezifische Quellen als Kontext zur Verfügung zu stellen“, so die Wissenschaftlerin. Dazu wollen sie die am besten geeigneten Prompting-Strategien und einen Generierungsrahmen implementieren, der einen effizienteren Zugang zu zusätzlichem Wissen ermöglicht.
KI in der Medizin: Chatbot besteht Medizin-Examen – Diagnosen aber fragwürdig
Studie mit Medizinstudierenden soll Sprachmodell verbessern
AI Human Collaboration, also die Zusammenarbeit zwischen System und Mensch, in diesem Falle Medizinstudierenden, spielt im Projekt eine große Rolle. Dafür hat Siting Liang eine Studie innerhalb des Projektes angelegt, für die sie derzeit noch etwa zehn Teilnehmende sucht.
Gegeben ist die Behauptung, dass Patienten mit der Diagnose eines bösartigen Hirntumors von einer Primärstudie ausgeschlossen sind, sofern Kriterien wie zum Beispiel eine Chemotherapie zutreffen. Die angehenden Mediziner werden in zwei Gruppen eingeteilt, innerhalb derer sie zwei Stunden lang ihr Wissen einbringen und Entscheidungen treffen über die Beziehung zwischen der Behauptung und den Kriterien. Gruppe 1 bewertet die vom KI-System vorgegebenen Entscheidungen und Gruppe 2 korrigiert Fehler des Systems.
„Wenn wir die KI-Systeme verbessern wollen, benötigen wir das Feedback durch den Menschen“, sagt Siting Liang, die sich schon in früheren Projekten des Forschungsbereiches mit medizinischen Daten beschäftigt hat. Systeme könnten medizinische Texte und Daten in der Regel sehr gut analysieren, weiß Liang: „Aber ebenso ist es möglich, dass sie halluzinieren und uns falsche Schlussfolgerungen liefern. Auto Prompt soll helfen, eine höhere Genauigkeit der Antworten zu erzielen.“
(Bild: Jaron Hollax, DFKI)
Kontakt:
DFKI
Siting Liang
E-Mail: Siting.Liang@dfki.de
Prof. Daniel Sonntag
E-Mail: Daniel.Sonntag@dfki.de
www.dfki.de
