BildrechteGetty
Wissenschaftsredakteur Parab Ghosh
Auf dem Gelände einer ehemaligen Uhrenfabrik im Zentrum von London sind Reihen weißer Gefrierschränke still in Betrieb. Darin befinden sich Dutzende kleiner Kisten mit Glasröhrchen mit Barcode. Insgesamt enthält die Glasröhre 100 Milliarden Gene. Laut dem Mitbegründer der Einrichtung, Dr. Oliver Vince, könnten bereits zwei dieser Kästchen zehnmal mehr Informationen enthalten als der gesamte Text im Internet.
Dr. Vinces Unternehmen, Basecamp Research, plant, so viel DNA wie möglich zu sammeln und eine künstliche Intelligenz (KI) zu entwickeln, die die Sprache der Biologie sprechen kann. Dies ist die gleiche Methode, mit der amerikanische und chinesische Technologieunternehmen riesige Mengen an Literatur im Internet sammeln und groß angelegte Sprachmodelle (LLMs) erstellen, die die Grundlage für heutige KI-Systeme bilden.
Dr. Vince glaubt, wie viele andere in der Wirtschaft und im akademischen Bereich, dass KI die wissenschaftliche Forschung dramatisch beschleunigen wird. Gleichzeitig mehren sich jedoch Kritik und Warnungen vor KI.
Letzten Monat gab Open AI, das Unternehmen, das den generativen KI-Chatbot Chat GPT entwickelt und betreibt, bekannt, dass es eines der ungelösten Probleme der Mathematik namens Millennium Sweepstakes Problem gelöst hat. Das Unternehmen gibt an, dass sein KI-Agent ein Problem mit den Navier-Stokes-Gleichungen in 88 Stunden gelöst hat. Das Clay Mathematics Institute, das das „Millennium-Gewinnspiel-Problem“ auswählt und Preisgelder an diejenigen vergibt, die es lösen, sagte, es „scheint es gelöst zu haben“, sagte jedoch, dass es einige Zeit dauern würde, das Problem zu prüfen.
Doch Stunden vor der Ankündigung von Open AI äußerte Tristan Buckmaster, ein Mathematiker an der New York University, öffentlich seine Bedenken. Buckmaster hatte ein unabhängiges Team mit Levent Alpoge gebildet, einem Mathematiker, der für OpenAIs Konkurrenten Anthropic arbeitet.
Dieses Team arbeitete auch an der Lösung der Navier-Stokes-Gleichungen und hatte einen Entwurf seiner Ergebnisse im offenen KI-Codierungstool Codex gespeichert.
Buckmaster erklärte, dass seine Co-Forscher darüber informiert worden seien, dass der Fortschritt der Forschung an Open AI „übermittelt“ worden sei, er ging jedoch nicht näher auf die Umstände ein. Obwohl er in Frage stellte, ob seine im Codex gespeicherten Forschungsergebnisse dazu beigetragen hätten, die KI-Forschung zu eröffnen, betonte er, dass er „niemandem die Schuld für irgendetwas vorwerfe“.
OpenAI sagte, dass weder Menschen noch KI die Ergebnisse anderer Teams sehen, bevor sie veröffentlicht werden. Allerdings sagte das Unternehmen zunächst, es könne die Möglichkeit „nicht ausschließen“, wenn auch unwahrscheinlich, dass anonyme Daten aus der Nutzung seiner Produkte zur Verbesserung seiner Modelle beigetragen hätten. Ein paar Tage später sagte Buckmaster jedoch, dass Buckmasters Codex-Eingabeaufforderungen in den zwei Monaten vor der Ankündigung keinerlei „Auswirkungen auf das System“ gehabt hätten.
Das ist eine komplizierte Geschichte und wir verstehen immer noch nicht ganz, was passiert ist. Dies verdeutlicht jedoch ein wachsendes Problem beim Einsatz von KI in der Wissenschaft. Wenn wir das Wort „KI“ hören, denken wir normalerweise an Roboter, die schreckliche gentechnisch veränderte Viren oder chemische Waffen erzeugen, die die Menschheit auslöschen. Es gibt jedoch subtilere Probleme, denen weniger Aufmerksamkeit geschenkt wurde. Das Problem besteht darin, dass KI das Vertrauen in den wissenschaftlichen Prozess untergraben und Fragen zur Neuheit und Genauigkeit der Forschung aufwerfen könnte.
Es gibt noch ein anderes Problem. Es ist eine bekannte Tatsache, dass KI-Chatbots wie Claude und Googles Gemini manchmal Dinge sagen, die nicht wahr sind und wie Halluzinationen erscheinen. Manchmal reden wir über Filme, die es nicht gibt, oder über berühmte Zitate, die niemand gesagt hat. Und jetzt gibt es Hinweise darauf, dass dieses Phänomen in der Wissenschaft immer deutlicher wird, was die Sorge aufkommen lässt, dass es irgendwann schwierig werden könnte, echte wissenschaftliche Entdeckungen von KI-generierten Fiktionen zu unterscheiden.
All diese Bedenken drohen, die Vertrauensgrundlagen, die der wissenschaftlichen Forschung zugrunde liegen, zu untergraben oder zu untergraben.
"Wendepunkt"
Wissenschaftliche Zeitschriften, die Hüter der wissenschaftlichen Integrität, sind durch KI bedroht. Man geht davon aus, dass diese Zeitschriften nicht in der Lage sind, das enorme Ausmaß an Verzerrungen anzugehen, die die KI erzeugen wird.
„Generative KI hat den gesamten wissenschaftlichen Prozess gestört“, sagte Dalmeet Singh Chawla, ein Wissenschaftsjournalist, der seit einem Jahrzehnt über Forschungsbetrug berichtet.
Herr Chawla sagte gegenüber der BBC, dass die Ethikprüfer der Verlage – also die Leute, die Beiträge auf Richtigkeit und Vertrauenswürdigkeit überprüfen – „ihre Zahl und Ressourcen erheblich erhöhen müssen, wenn sie sich auch nur annähernd an diesem Kampf beteiligen wollen“. Er fügte hinzu: „So wie es aussieht, sieht es nicht danach aus, dass sie dies tun.“
Auf den ersten Blick scheint KI das perfekte Werkzeug zu sein, um die wissenschaftliche Forschung voranzutreiben. Wissenschaftler beschäftigen sich mit riesigen Informationsmengen. Beispielsweise sammeln Teleskope und Teilchenbeschleuniger Milliarden von Datenpunkten, die für das menschliche Gehirn zu groß sind, um sie zu verstehen. KI kann aus den sie umgebenden alltäglichen Informationen wissenschaftlich wichtige Punkte herausgreifen.
Das führende wissenschaftliche KI-Unternehmen ist Google DeepMind mit Sitz in Großbritannien. Im Jahr 2020 löste das Unternehmen eines der größten Rätsel der Biologie: Wie sich Proteine in lebenden Organismen in präzise Formen falten.
Proteine, die man als winzige Maschinen bezeichnen kann, die die Aktivitäten des Lebens unterstützen, spielen je nach ihrer gefalteten Form unterschiedliche Rollen, vom Aufbau von Zellen über die Bekämpfung von Infektionen bis hin zur Bildung von Körpergeweben und Organen.
Vor der KI mussten Wissenschaftler zeitaufwändige Experimente im Labor durchführen. Später entwickelte Google DeepMind ein KI-Modell namens „Alphafold“ und gelang es, in nur einem Jahr die Faltstruktur von 200 Millionen Proteinen genau vorherzusagen.
Dies auf herkömmliche Weise zu erreichen, hätte Hunderte Millionen Jahre gedauert. Das Unternehmen stellte den Forschern die Forschungsergebnisse kostenlos zur Verfügung. Im Jahr 2024 wurden der CEO und der Chefwissenschaftler von Google DeepMind gemeinsam mit dem Nobelpreis für Chemie ausgezeichnet.
Bei dieser Veranstaltung umarmten sich alle Beteiligten freudig.
Dr. Pushmeet Kohli, der die wissenschaftliche Forschung des Unternehmens leitet, sagte mir, dass die Alpha-Falte als „Wendepunkt“ angesehen werden könne.
Zweifel an der Funktionsweise von KI?
Der Einsatz von KI in der Wissenschaft stößt allerdings auch auf Kritik, da er überbewertet sei. Einigen Computermodellen wurde vorgeworfen, die Bedeutung ihrer Ergebnisse zu übertreiben, und die menschlichen Forscher, die sie beaufsichtigten, glaubten einigen ihrer Behauptungen, ohne ausreichend skeptisch zu sein.
Ermutigt durch den Erfolg mit Alphafold konzentriert sich Google DeepMind seit kurzem auf die Vorhersage der Struktur neuer Materialien. Diese Forschung könnte zur Entwicklung besserer Batterien, billigerer Solarzellen und elektronischer Komponenten führen, die nicht auf Seltenerdelementen basieren. Im Erfolgsfall würde es theoretisch nie wieder zu Streitigkeiten über Bergbaurechte kommen und Dänemarks autonomes Territorium Grönland wäre vor der Gefahr einer Invasion geschützt.
BildrechteJose Sarmento Matos/Bloomberg über Getty Images
Die KI-Modelle des Unternehmens haben mehr als 2 Millionen neue Kristallstrukturen erzeugt, was das Unternehmen als „Enthüllung von fast 800 Jahren Wissen auf einen Schlag“ bezeichnet. Etwa 380.000 davon galten als vielversprechend genug, um im Labor synthetisiert zu werden.
Doch dann gaben zwei Chemiker der University of California eine Warnung heraus. Anthony Cheetham und Ram Seshadri untersuchten eine zufällige Probe des neuen Kristalls. In einem in der Zeitschrift Chemistry of Materials veröffentlichten Artikel kamen die beiden zu dem Schluss, dass sie „keine auffallend neuen Verbindungen“ gefunden hätten, und argumentierten, dass es sich bei vielen um „geringfügige Modifikationen bekannter Materialien“ handele. Sie wiesen darauf hin, dass die Analysemethode nicht falsch sei, die Ergebnisse jedoch noch weiter von menschlichen Chemikern untersucht und verifiziert werden müssten.
Google DeepMind bestreitet ihre Behauptungen und gibt an, jede Verbindung auf Neuheit getestet zu haben. Das Unternehmen argumentiert, dass es den Sinn verfehle, zu dem Schluss zu kommen, dass die Struktur nicht neu sei, nur weil sie bekannt sei. Viele der heute nützlichsten Materialien, von Mobiltelefonteilen bis hin zu Sonnenschutzmitteln, wurden durch den Austausch nur eines einzigen Atoms hergestellt.
Forschung wie „Müll“
Zumindest in diesen Fällen stimmten die wissenschaftlichen Erkenntnisse im Allgemeinen, und das Problem bestand darin, dass die KI ihre Bedeutung möglicherweise überschätzt hatte.
Eine vielleicht noch ernstere Sorge ist jedoch das zunehmende Risiko, dass wissenschaftliche Zeitschriften durch sogenanntes „Slop“ der KI kontaminiert werden. In diesem Fall bedeutet KI-Slop, dass Computer und nicht menschliche Wissenschaftler Forschungsarbeiten verfassen und darin plausibel gefälschte Zitate und fiktive Arbeiten erstellen.
Im Jahr 2024 durchsuchte Professor Dmitry Kovak, Informatiker an der Universität Gent in Belgien, mehr als 1 Million biomedizinische Forschungsarbeiten nach Schlüsselwörtern, die von LLMs bevorzugt werden, die KI zur Satzgenerierung nutzen. Bis Dezember letzten Jahres hatte sein Team herausgefunden, dass fast 90 % der Papiere Spuren von KI aufwiesen. Die KI-Erkennungstechnologie ist nicht perfekt und manche Software kann die US-Verfassung, die in den 1780er Jahren verfasst wurde, fälschlicherweise als „KI-generiert“ identifizieren. Doch Professor Kobach war schockiert, als er sah, dass KI in so großem Umfang eingesetzt wurde.
„Welche Voreingenommenheit das LLM auch hat, es durchdringt plötzlich die gesamte (wissenschaftliche) Literatur“, sagte er gegenüber Nature.
Professor Kobach ist einer von vielen Forschern, die befürchten, dass KI wissenschaftliche Fachzeitschriften langsam untergräbt.
Das ist wichtig. Forschungsarbeiten sind die Lebensader des wissenschaftlichen Fortschritts. Wenn eine Entdeckung veröffentlicht wird, erhält möglicherweise ein anderes Forschungsteam in einem anderen Teil der Welt Mittel, um auf dieser Entdeckung aufzubauen.
Bildrechte: Universal History Archive/Universal Images Group über Getty Images
Auch der Peer-Review-Prozess, bei dem Forschungsarbeiten vor ihrer Veröffentlichung von anderen Wissenschaftlern begutachtet werden, wird untergraben.
Nach der Analyse von Peer-Review-Berichten, die bei vier großen Informatikgesellschaften eingereicht wurden, stellte ein Team unter der Leitung von Weixin Lian und James Zou von der Stanford University fest, dass bis zu 17 % des Textes mithilfe von Sprachmodellen erheblich verändert wurden.
Ein wichtiges Element zur Gewährleistung der Glaubwürdigkeit einer wissenschaftlichen Arbeit besteht darin, dass der Erstautor frühere Forschungsergebnisse auflistet und nachweist, dass seine Arbeit wirklich neu ist. Dies wird als Zitat bezeichnet. Ein anderes Team der Cornell University stellte fest, dass die KI gefälschte Forschungsergebnisse erstellte, wenn Forscher KI zum Zusammenstellen von Zitaten verwendeten. Im vergangenen Jahr wurden rund 147.000 fiktive Studien zitiert.
Wenn KI weiterhin die Integrität des akademischen Prozesses auf diese Weise verzerrt, werden Forscher auf der Strecke bleiben, öffentliche Gelder werden verschwendet und legitime Forschungsergebnisse, wie neue Medikamente und grüne Technologien, werden verzögert oder gar nicht realisiert.
„KI auf Forschungsniveau“
Einige Verlage wissenschaftlicher Zeitschriften wie Elsevier unternehmen Maßnahmen, um diese sich verschärfende Vertrauenskrise zu vermeiden.
Das Forschungsethikteam von Elsevier hat rund 100 Indikatoren entwickelt, um festzustellen, wann eine Arbeit einer genaueren menschlichen Überprüfung bedarf. Nature verbietet die Verwendung von KI-generierten Bildern und weist Gutachter an, keine Manuskripte auf KI-Systeme hochzuladen. Darüber hinaus hat arXiv, eine Website, auf der Wissenschaftler Forschungsergebnisse im Frühstadium teilen, angekündigt, Forscher, die fiktive Referenzen einreichen, für ein Jahr zu sperren.
Verantwortliche von Elsevier erforschen Möglichkeiten für einen verantwortungsvollen Einsatz von KI in der Forschung. Vizepräsidentin Professorin Sarah Main ist eine von ihnen. „Was wir ‚Forschungsqualitäts-KI‘ nennen, konzentriert sich darauf, Forschern die Kontrolle über ihre Forschung zu geben“, sagt Professor Mayne.
BildrechteDaily Herald Archive/SSPL/Getty Images
Können wir sicher sein, dass KI-Agenten bei der Verarbeitung riesiger Datenmengen aus Teilchenbeschleunigern, dem Weltraum und der Natur gute Arbeit leisten?
Und es gibt noch einen weiteren Punkt, der Anlass zur Sorge gibt. Wie können wir sicher sein, dass unsere KI-Agenten wichtige Ergebnisse nicht als Ausreißer übersehen? Die Entdeckung von Penicillin, Radioaktivität und seltsamen Sternen, sogenannten Pulsaren, resultierte allesamt aus seltsamen Ergebnissen, die leicht ignoriert werden konnten. Diese durch menschliche Intuition gemachten Entdeckungen wurden zum größten wissenschaftlichen Ereignis des letzten Jahrhunderts.
Kann KI wirklich den menschlichen Sinn für Zufall und Einfallsreichtum reproduzieren?
Professor Kohli von Google DeepMind glaubt nicht, dass es die Lösung ist, der KI den Rücken zu kehren. „Das ist so, als würde man sagen, man solle ohne Taschenrechner rechnen“, sagte mir der Professor. Allerdings räumt der Professor ein, dass eine menschliche Aufsicht notwendig sei. „Aktuelle KI-Agenten sind unvollkommen. Jemand muss Verantwortung übernehmen.“
Professor Kohli forderte die Forscher auf, einfache Regeln zu befolgen. „Man muss verstehen, was der Agent getan hat, und die Verantwortung dafür übernehmen. Man kann nicht einfach auf das Problem hinweisen und dann eine Maschine einen Aufsatz schreiben lassen und ihn als Wahrheit vorlegen.“
Professorin Andrea Pauli vom Vienna Biocenter in Österreich hat sich in ihrer Forschung an diese Regel gehalten.
Professor Pauli hat fast ein Jahrzehnt damit verbracht, eine bisher unbeantwortete Frage zu lösen: Wie Spermien in Eizellen gelangen, und der richtige Einsatz von KI hat ihm geholfen, der Antwort näher zu kommen. Das Labor von Professor Pauli hat Proteine auf der Oberfläche von Zebrafischeiern entdeckt, die auf einen Schlüssel-Schloss-Mechanismus schließen lassen, der den Spermieneintritt ermöglicht.
Dieser Fall ist ein Hoffnungsschimmer inmitten einer Flut scheinbar unbrauchbarer KI-Forschung. KI kann nützlich sein.
Dies ist auch eine Geschichte über Menschen. Kurz nach der Gründung von Basecamp Research, einem Forschungsinstitut, das ich auf dem Gelände einer ehemaligen Uhrenfabrik in London besuchte, wurde Mitbegründer Professor Vince mit Leukämie ins Krankenhaus eingeliefert (er ist inzwischen genesen). Diese Erfahrung veranlasste den Professor zu der Entscheidung, ein KI-System zu entwickeln, das die Chancen einer Krebsbehandlung verbessern würde. „Ich weiß nicht, ob es funktionieren wird oder nicht, aber einen Versuch ist es wert“, sagt der Professor.
„Wir sind auf dem Weg zu einer technologisch machbaren Krebsbehandlung.“
Dies ist kein Versprechen von Professor Vince, sondern eine Richtung. Wird die KI diese Richtung also wissenschaftlich umsetzen oder wird sie stillschweigend ihr Fundament untergraben? Das ist das große Problem.
(Englischer Artikel: Ein Streit zwischen Mathematikern schürt Ängste, dass KI die Wissenschaft untergraben könnte)
