Forschung gegen Krebs: Ein langer Weg

Zentrale Fakten zum Projekt RP:CB

Im Jahr 2013 gegründet, arbeiten bei diesem Projekt das "Center for Open Science" (COS) und das Unternehmen "Science Exchange" zusammen¹.

• Ziel des RP:CB war, die Ergebnisse aus 193 Grundlagen-Experimenten zu reproduzieren. Diese waren in 53 hochrangigen Veröffentlichungen in den Jahren 2010 bis 2012 in den Zeitschriften Nature, Cell und Science erschienen.
• Finanziert wird das Projekt durch die Arnold Foundation (heute Arnold Ventures), eine wohltätige private Stiftung der US-amerikanischen Milliardäre Laura und John Arnold.
• Eigenständige Auftragsforschungsinstitute und Dienstleistungslabore akademischer Forschungsinstitute führten die Experimente durch.
• Das Journal eLife veröffentlichte kürzlich Arbeiten mit detaillierten Ergebnissen des Projektes^2,3. Auch das Magazin Science berichtete in einer News über die Arbeiten⁴.

Ergebnisse und Herausforderungen

Das Ziel des RP:CB wurde deutlich verfehlt: Von den geplanten 193 konnten nur 50 Experimente aus 23 Veröffentlichungen reproduziert werden. Welche Herausforderungen stellten sich dabei und welche Faktoren beeinflussten die Reproduzierbarkeit?

• Statistische Angaben waren meist unvollständig.
• Keines der Experimente war in der Veröffentlichung so genau beschrieben, dass es im Labor wiederholt werden konnte.
• Während der Durchführung waren in über der Hälfte der Protokolle Änderungen notwendig. Diese Änderungen konnten oft gar nicht umgesetzt werden, zum Beispiel weil bestimmte Reagenzien fehlten.
• Die Kontaktaufnahme mit den Autoren, um fehlende Informationen und Reagenzien zu erhalten, war unterschiedlich erfolgreich.
• Beschriebene Effekte, die im Rahmen der aktuellen Studie wiederholt und bestätigt werden konnten, waren in über 90 Prozent der Experimente quantitativ geringer als in der Originalveröffentlichung.

Das RP:CB zeigt falsche Anreize im Wissenschaftssystem auf

"Wir haben eine Forschungskultur kreiert, in der Reproduzierbarkeit nicht belohnt wird. Im Gegenteil, Reproduzierbarkeit ist unnötig schwierig und potenziell Karriere-schädigend," so die Autoren der Reproduzierbarkeitsstudie.

• Tatsächlich sind die Neuheit und Tragweite von Ergebnissen entscheidend, damit Publikationen in (hochrangigen) Journalen angenommen werden. Negative Ergebnisse verschwinden oft in der Schublade. Außerdem sind Veröffentlichungen nach wie vor der Maßstab im wissenschaftlichen Wettbewerb.
• Forschende arbeiten mit hohem zeitlichen und finanziellen Aufwand daran, Protokolle für neue Experimente zu etablieren. Dabei detaillierte und allgemeinverständliche Protokolle zu verfassen, bedeutet jedoch einen erheblichen zusätzlichen Aufwand. Und: Diese Protokolle freiwillig mit Wettbewerbern zu teilen, ist (im derzeitigen Wissenschaftssystem) viel verlangt.

Ein Projekt mit Limitationen, das zum Nachdenken anregt

Generelle Zweifel an der tumorbiologischen Forschung per se lassen sich aus der aktuellen Reproduzierbarkeitsstudie aber nicht ableiten, denn sie bildet nur einen sehr kleinen Ausschnitt der tumorbiologischen Forschung ab.

Forschende meist die besten Experten: Ob ein Auftragsforschungsunternehmen tatsächlich auch bei detailliert vorliegendem Protokoll über das Know-How verfügt, Experimente nachzukochen, ist zumindest fraglich. Denn Forschende sind oft die einzigen Experten in ihrem hochspezialisierten Feld. Sie haben zum Beispiel viel Erfahrung damit, wie sich bestimmte Zellkulturen verhalten.

Wissenschaft ist nicht schwarz-weiß: Nicht replizierbar bedeutet nicht, dass das veröffentlichte Ergebnis falsch sein muss. Umgekehrt ist ein im RP:CB reproduziertes Ergebnis auch nicht zwangsläufig richtig. Wissenschaftliche Ergebnisse werden durch verschiedenste Faktoren beeinflusst: von der Kulturdauer einer bestimmten Zelllinie bis hin zur Chargennummer eines verwendeten Antikörpers.

Tragfähige Annahmen schaffen: Replikation in der Wissenschaft bedeutet, mehr Sicherheit zu gewinnen. Meist werden dadurch neue Fragen aufgeworfen und weitere Hypothesen müssen entwickelt werden. So kommt die Wissenschaft Schritt für Schritt voran.

Wie kann ein Wandel in der Wissenschaft gelingen?

Dieser Fortschritt ließe sich durch mehr Transparenz und Kooperation wahrscheinlich beschleunigen. Ideal wäre ein Wissenschaftssystem, das anstelle von Wettbewerb Zusammenarbeit fördert.

TOP-Richtlinien: Ein Schlüssel liegt bei den Journalen. Hunderte von Journalen haben ihre Regeln bereits verschärft, um das Teilen von Daten und Codes zu fördern. Hierzu wurden gemeinsame "Transparency and Openness Promotion Guidelines" (TOP Guidelines, Website des Centers for Open Science) eingeführt. Der TOP-Faktor eines Journals gibt Auskunft, in wieweit die Politik des Journals mit den TOP-Richtlinien übereinstimmt.

Begutachtung im Vorfeld: Ein weiterer Lösungsansatz soll Fehlanreizen entgegenwirken. Dabei sollen experimentelle Ansätze im Vorfeld der Durchführung begutachtet und prinzipiell von Journalen zur Veröffentlichung akzeptiert werden. Für die Durchführung werden gleichzeitig Fördermittel bereitgestellt. Dieses sogenannte "Registered Report (RR) Grant Model" wurde zuerst vom Journal PloS in Zusammenarbeit mit der Children´s Tumor Foundation umgesetzt.

Konsequenzen für den Praxisalltag

Modelle wie das RR-Modell sind bisher jedoch noch die Ausnahme. Wie geht man also mit hochrangig veröffentlichten Ergebnissen aus der onkologischen Grundlagenforschung um? Denn gerade bei Krebspatientinnen und -patienten wecken vielversprechende Ergebnisse aus der vorklinischen Forschung oft große Hoffnungen.

Einordnung der Daten wichtig: Behandelnde Ärzte oder Ärztinnen sind damit konfrontiert, die Aussagekraft dieser Studien aus dem Labor einzuordnen. Und sie müssen den Betroffenen erklären, dass erste Ergebnisse aus dem Labor nicht sofort auf die Situation beim Menschen übertragbar sind. Klinische Studien der Phasen I bis III sind erforderlich, bevor etwa ein neues Medikament eine Zulassung bekommen kann.

Um Geduld werben: Grundsätzlich sind Daten aus der Vorklinik mit Vorsicht zu betrachten. Verschiedene Experten des Forschungsfeldes müssen die beschriebenen Effekte erst bestätigen. Damit steigt die Aussicht auf Erfolg in nachfolgenden klinischen Studien.

Fazit

Forschende befassen sich jahrelang mit einer Thematik und arbeiten mit geeigneten Modellen. Sie können am besten Ergebnisse einordnen und Hypothesen und Experimente weiterentwickeln. Zahlreiche Ergebnisse aus der vorklinischen Forschung konnten in der Vergangenheit erfolgreich in die Klinik übertragen werden.

Die aktuelle Studie zeigt jedoch: Die vorklinische Forschung kann (muss) transparenter und damit die Arzneimittelentwicklung noch effizienter werden. Der Anstoß für einen Systemwandel in der Wissenschaft ist gegeben. Bis dahin braucht gute Forschung vor allem eines: Zeit.