ChatGPT bei Fragen zu Krebs: Wie zuverlässig ist die KI?

Krebs ist ein sehr komplexes und umfassendes Thema. Deshalb muss man Hintergründe ausführlich, genau und auf Basis der bestverfügbaren Daten (evidenzbasiert) erklären, wenn man Interessierte dazu informieren möchte.

Auf direkte Nachfrage verweist ChatGPT bei Fragen zum Thema Krebs zwar letztlich auf Ärztinnen und Ärzte, hält sich aber durchaus für fähig, zuverlässige Antworten zu liefern.

Der Krebsinformationsdienst hatte ChatGTP dahingehend auf die Probe gestellt (ChatGPT-Version vom 13. Februar 2023). Nun zeigen 2 Studien zum Thema, dass das mit der evidenzbasierten Information – zumindest in Bezug auf Krebstherapien – mit ChatGPT noch nicht so gut funktioniert.

Rückblick: Unser erster Eindruck von ChatGPT

In unserem Test zeigte sich: Nicht alle Informationen von ChatGPT zum Thema Krebs sind korrekt. Die Antworten hatten zwar fast keine groben Fehler – betrachtete man aber die Feinheiten, so waren Details oder Formulierungen nicht immer einwandfrei.

Fehlende Einordnung: Die Frage, ob die Krebsfrüherkennung Krebs vorbeugen kann, beantwortete ChatGTP in unserem Test wie folgt: "Es ist auch wichtig, regelmäßige Untersuchungen durchführen zu lassen, um das Risiko für Krebs zu verringern und eine frühzeitige Erkennung zu ermöglichen." Hierzu wäre jedoch wichtig anzumerken, dass Untersuchungen zur Krebsfrüherkennung das Krebsrisiko nur dann senken können, wenn sie Krebsvorstufen erkennen können und diese dann frühzeitig behandelt werden, bevor Krebs entsteht.

Hinzu kommt: Wer bei Fragen zu Angeboten der Krebsfrüherkennung nicht konkret zur Situation in Deutschland fragt, bekommt auch Informationen zu Untersuchungen, die in Deutschland nicht im Rahmen der gesetzlichen Früherkennung angeboten werden.

Sprachlich ungenau: Auf die Frage "Was ist ein duktales in-situ Karzinom?" bekamen wir vom Chatbot zunächst die Antwort, das sogenannte DCIS sei "eine Form von Brustkrebs". Und auch wenn ChatGPT im weiteren Textverlauf klarstellte, dass es als "nicht-invasiver Krebs eingestuft" wird, ist die erste Formulierung falsch – ein DCIS gilt als mögliche Vorstufe von Brustkrebs. Dies kann Nutzende verängstigen.

Kritisch hatten wir auch folgende Punkte eingeordnet:

• Aktualität und Quellen: ChatGPT arbeitet mit einem zeitlich begrenzten Wissensstand. Erkenntnisse zu Krebs ändern sich jedoch vergleichsweise schnell, weshalb die Informationen, mit denen ChatGPT antwortet, veraltet sein können. Zudem legt ChatGPT genutzte Quellen nicht offen. Nutzende können dadurch nicht nachvollziehen, woher die Informationen kommen – und daher auch nicht beurteilen, wie zuverlässig sie sind.
• Datenschutz: Es ist nicht auszuschließen, dass die KI möglicherweise persönliche Daten speichert und verarbeitet. Wer ChatGPT nutzen möchte und dahingehend Bedenken hat, sollte sich vorab gründlich dazu informieren.

Studienergebnisse zu Krebsinformationen durch KI-Chatbots

2 neue Studien^2,3 im Fachmagazin JAMA Oncology haben untersucht, wie gut die Qualität medizinischer Ratschläge von Chatbots mit künstlicher Intelligenz sind, wenn es um das Thema Krebs geht. Das Ärzte-Netzwerk coliquio hat die wichtigsten Erkenntnisse daraus zusammengefasst¹:

• Vergleicht man gängige krebsbezogene Google-Suchanfragen mit KI-Chatbots wie ChatGPT, Bing und Co. zeigt sich: Die Verbraucher erhalten von der künstlichen Intelligenz im Allgemeinen die richtigen Informationen. Dabei zitieren manche KIs seriöse Quellen. Der Nutzen kann jedoch durch zu fachsprachlich formulierte Antworten eingeschränkt sein. Hinzu kommt: Visuelle Hilfsmittel, die komplexe Sachverhalte besser einordnen können, fehlen.
• Bei Empfehlungen zur Krebsbehandlung von Brustkrebs, Prostatakrebs und Lungenkrebs verfehlten die KI-Chatbots ihr Ziel: Etwa zwei Drittel der Antworten waren zwar im Einklang mit den US-amerikanischen Behandlungsrichtlinien des National Comprehensive Cancer Networks (NCCN). Dies restlichen Empfehlungen wichen jedoch davon ab oder waren schlicht nicht korrekt.

Wichtig zu wissen: Der Autor des Leitartikels zum Thema⁴ weist darauf hin, dass die hier zitierten Studien nicht frei von Mängeln waren. Darüber hinaus könne man davon ausgehen, dass die KIs mit der Zeit besser werden. Um das zu erreichen, fordert er, zukünftig KI-Algorithmen mit wissenschaftlich hochwertigen Daten zur Gesundheitsinformation zu trainieren.

Fazit für Informationssuchende

ChatGPT ist einfach zu bedienen und als erste Orientierung für allgemeine Fragen zu Krebs sind die Antworten häufig nicht schlecht. Nutzende sollten sich jedoch bewusst sein, dass die KI nicht immer Antworten gibt, auf die man sich sicher verlassen kann. Wer richtige, genaue und unmissverständliche oder gar individuelle Informationen zum Thema Krebs sucht, sollte nicht bedenkenlos auf ChatGPT und andere Chatbots vertrauen.

Wenn Sie ChatGPT dennoch zu Krebs befragen möchten, sollten Sie Folgendes beachten:

• Sie teilen der KI eventuell persönliche Informationen mit, die Rückschlüsse über Ihren Gesundheitszustand (oder den Ihrer Angehörigen oder Freunde) zulassen.
• Stellen Sie möglichst klar formulierte Fragen.
• Schauen Sie genau hin, hinterfragen Sie die Antworten kritisch. Überprüfen Sie diese anhand einer weiteren, wissenschaftlich fundierten Quelle, insbesondere dann, wenn es um individuelle Themen wie Krebstherapien geht.
• Holen Sie sich zusätzlich stets einen ärztlichen Rat ein.

Selbstverständlich können Sie sich bei Fragen zu Krebs jederzeit auch an die Ärztinnen und Ärzte des Krebsinformationsdienstes wenden.