Beispiel Q-Learning

Autospiel

Um zu demonstrieren wie man eine KI erstellt sind hier beispielhaft alle benötigten Schritte gegeben. In diesem Beispiel wird gezeigt wie man eine, auf Q-Learning basierte, KI programmiert, die ein Fahrzeug in einer 2D Simulation steuern kann.

1.Schritt - Das Spiel

Zunächst brauchen wir eine Eintwicklungsumgebung für die Künstliche Intelligenz. Dazu werden die Grundlagen einer Simulation erstellt zudem das Auto, die Steuerung und das Fahrverhalten des Autos gehören. Werte wie größe des Autos oder Stärke der Reibung können beliebig gewählt werden. Das resultierende Ergebnis hängt davon ab.

2.Schritt - Kollisionserkennung

Im nächsten Schritt müssen wir mit einer Methode bestimmen können, ob das Auto in eine Wand gefahren ist. Die erziehlen wir, indem wir ein mathematisches Formular anwenden die erkennt ob zwei Linien sich schneiden. Wir könnne nun dieses Formular auf die äußeren Linien des Autos und der Wand anwenden. Bei einer erkannten Kollision kann dann die KI "bestraft" werden.

3.Schritt - Die Strecke

Im dritten Schritt wird mit vielen Linien eine Strecke erstellt. Das Fahrverhalten der KI hängt von der Beschaffenheit der Runden ab.

4.Schritt - Drifting

Um etwas Realismus hinzuzufügen und das Ergebnis spannender zu machen können Funktionen wie beispielsweise Drifting ergänzt werden.

5.Schritt - Distanzsensor

Das menschliche Gehirn nimmt die Informationen der Strecke mit seinen Augen wahr. Unsere KI besitzt jedoch keine Augen, weshalb wir Distanzsensoren als Ersatz nehmen. Mit dem im Schritt 2 beschriebenen Formular kann man nicht nur zeigen ob sich zwei Linien sich schneiden, sondern auch an welcher Stelle. Wir können nun mehrere Linien vom Automittelpunkt nach außen richten, die dann wie Fühler agieren. Dadurch erhält die KI ein Gefühl für ihr Umfeld.

6.Schritt - Belohnungs-Tore

In Schritt 2 erstellten wir eine Methode um die KI zu bestrafen. Jedoch muss die KI auch wissen was Richtig ist. Die Entscheidung wann die KI belohnt werden soll ist sehr kritisch, denn würde man sie nur belohnen wenn sie eine Runde macht würde sie dieses Ziel nie erreichen und deshalb sich lieber garnicht bewegen damit sie nicht bestraft wird. Um dem entgegenzuwirken erstellen wir mehrere Belohnungs-Tore wobei die KI belohnt wird, wenn sie durch sie fährt.

7.Schritt - Trainieren

Im letzten Schritt ist die Arbeit getan und der Computer ist dran. Die KI hat Inputs(Distanzsensoren,Belohnungen/Bestrafungen) und Outputs(Steuerung des Autos). Sie geht nun die Simulation mehrere tausend male durch und verbessert sich dabei jedes mal.

8. Ergebnis

Das Ergebnis, nach 1 tausend Generationen, ist eine auf diese Simulation angepasste Inelligenz, die besser als ein durchschnittliche Mensch ist.

Autospiel

Sie wollen das Spiel selber ausprobieren?
Öffnen sie das Spiel im neuen Tab indem sie unten auf den Link klicken!

AutoSpiel