Künstliche Intelligenz folgt nicht der Logik des wissenschaftlichen Fortschritts
Wir haben in MT oft über Forscher und Spezialisten geschrieben, die maschinelle Lernsysteme selbst für diejenigen, die sie entwickeln, als „Black Boxes“ (1) bezeichnen. Dies macht es schwierig, Ergebnisse auszuwerten und neue Algorithmen wiederzuverwenden.
Neuronale Netze – die Technologie, die uns intelligente Konvertierungs-Bots und geniale Textgeneratoren beschert, mit denen sogar Gedichte entstehen können – bleibt für außenstehende Beobachter ein unverständliches Rätsel.
Sie werden immer größer und komplexer, verarbeiten riesige Datenmengen und nutzen riesige Rechenarrays. Dies macht die Replikation und Analyse der resultierenden Modelle für andere Forscher kostspielig und manchmal unmöglich, mit Ausnahme großer Zentren mit riesigen Budgets.
Viele Wissenschaftler verstehen dieses Problem gut. Unter ihnen ist Joel Pinault (2), Vorsitzender von NeurIPS, der führenden Konferenz zum Thema „Reproduzierbarkeit“. Experten unter ihrer Leitung wollen eine „Reproduzierbarkeits-Checkliste“ erstellen.
Die Idee, sagt Pino, besteht darin, Forscher zu ermutigen, anderen eine Roadmap anzubieten, damit sie die Möglichkeit haben, die bereits geleistete Arbeit neu zu erstellen und darauf aufzubauen. Sie staunen vielleicht über die Eloquenz eines neuen Textgenerators oder die übermenschliche Beweglichkeit eines Videospielroboters, aber selbst die besten Experten haben keine Ahnung, wie diese Wunderwerke funktionieren. Daher ist die Reproduktion von KI-Modellen nicht nur wichtig, um neue Ziele und Forschungsrichtungen zu identifizieren, sondern auch als rein praktischer Leitfaden für die Anwendung.
Andere versuchen, dieses Problem zu lösen. Google-Forscher schlugen „Musterkarten“ vor, um detailliert zu beschreiben, wie Systeme getestet wurden, einschließlich der Ergebnisse, die auf mögliche Fehler hinweisen. Forscher am Allen Institute for Artificial Intelligence (AI2) haben ein Papier veröffentlicht, das darauf abzielt, Pinaults Reproduzierbarkeits-Checkliste auf andere Phasen des experimentellen Prozesses auszudehnen. „Zeigen Sie Ihre Arbeit“, drängen sie.
Manchmal fehlen grundlegende Informationen, weil das Forschungsprojekt proprietär ist, insbesondere für Labore, die für Unternehmen arbeiten. Häufiger ist es jedoch ein Zeichen für die Unfähigkeit, sich verändernde und zunehmend komplexere Forschungsmethoden zu beschreiben. Neuronale Netze sind ein sehr komplexes Gebiet. Um die besten Ergebnisse zu erzielen, ist oft die Feinabstimmung Tausender „Knöpfe und Knöpfe“ erforderlich, die manche als „schwarze Magie“ bezeichnen. Die Auswahl des optimalen Modells erfordert oft die Durchführung einer großen Anzahl von Experimenten. Magie wird sehr teuer.
Als Facebook beispielsweise versuchte, AlphaGo, ein von Alphabets DeepMind entwickeltes System, zu replizieren, erwies sich die Aufgabe als äußerst schwierig. Der enorme Rechenaufwand, Millionen von Experimenten auf Tausenden von Geräten über viele Tage hinweg, kombiniert mit einem Mangel an Code, machten es laut Facebook-Mitarbeitern „sehr schwierig, wenn nicht unmöglich, das System neu zu erstellen, zu testen, zu verbessern und zu erweitern“.
Das Problem scheint spezialisiert zu sein. Wenn wir jedoch weiterdenken, untergräbt das Phänomen der Probleme mit der Reproduzierbarkeit von Ergebnissen und Funktionen zwischen einem Forschungsteam und einem anderen die gesamte Logik der Funktionsweise von Wissenschaft und Forschungsprozessen, wie wir sie kennen. Im Allgemeinen können die Ergebnisse früherer Forschung als Grundlage für weitere Forschung verwendet werden, die die Entwicklung von Wissen, Technologie und den allgemeinen Fortschritt anregt.
