„Go Explore“ versucht sich an alten Atari-Spielen – mit Erfolg. Bisher waren viele künstliche Intelligenzen daran gescheitert.

Klassische Atari-Spiele aus den Anfängen der Computerspiel-Ära werden gerne dazu benutzt, künstliche Intelligenzen zu testen: Ziel ist es, möglichst viele Punkte zu erreichen. Die Systeme lernen dabei durch das Versuchen und Scheitern selbstständig. Reinforcement Learning oder Verstärkungslernen heißt dieser Ansatz. Die künstliche Intelligenz „Go Explore“ schaffte nun das, woran viele andere Systeme zuvor scheiterten: Fortschritt bei Jump & Run Spielen. 

„Go Explore“ wurde von den Uber AI Labs und der Firma OpenAi entwickelt. Die Entwickler erklärten, dass sie dem System eine Art Gedächtnis verpassten hatten, der nun den gwünschten Erfolg beim Atari-Test brachte. Denn bei simplen Spielen wie „Pitfall“ und „Montezuma’s Revenge“ liegen gelungene Aktionen und Belohnungen so weit auseinander, das Systeme mit reinem Reinforcement Learning nicht funktionieren. „Go Explore“ merkt sich dagegen konkrete Zustände und geht immer wieder zum letzten erfolgreichen Punkt  zurück, um von dort aus erneut alles zu erkunden. Daher auch der Name „Go Explore“, zu deutsch etwa „Entdecke die Welt“. 

Zeitenwechsel in der KI-Forschung 

Mit dieser Logik erzielte „Go Explore“ in bestimmten Spielen Weltrekordniveau. Wurde dem System zuvor zusätzlich Hintergrundwissen über die Spiele vermittelt, verbesserte sich die Leistung noch einmal erheblich, erklärten die Entwickler. All diese Faktoren zusammen – statistische KI-Ansätze wie Reinforcement Learning oder Deep Learning sowie wissensbasierte Ansätze –, verschafften „Go Explore“ den Durchbruch, ist sich Jan Peters sicher, der KI-Experte der TU Darmstadt: „Sollte sich diese Aussage als verallgemeinerbar herausstellen, kann dies ein Zeitenwechsel in der KI sein. Für viele KI-Forscher wäre das ein fast 70 Jahre alter Traum.“ 

Die Entwickler sehen eine Anwendungsmöglichkeit ihrer KI in der Robotik. Innerhalb ihrer Studie simulierten sie, wie ein Roboterarm Gegenstände in Fächer einsortierte. Einige der Fächer konnten nur durch einen komplexen Mechanismus geöffnet werden. Viele Systeme auf Basis des klassischen Reinforcement Learnings scheiterten an dieser Aufgabe, ähnlich wie bei den Atari-Spielen. „Go Explore“ hingegen löste das Problem. 

Bitte beachten Sie

Die Beiträge in der Rubrik "Trends und Innovationen" sind Inhalte unseres Medienpartners Vogel Communications Group GmbH & Co. KG. Sie spiegeln nicht unbedingt die Meinung von DATEV wider.

Vogel Communications Group