Autonome Optimierung des Verhaltens von Fahrzeugsteuerungen auf der Basis von Verstärkungslernen

Abstract

Fahrsysteme oder Fahrerassistenzsysteme sind bereits seit einigen Jahren Bestandteil von Forschungsprojekten. Dabei umfassen diese meist zwei wesentliche Bestandteile: die Erfassung der Umwelt sowie die Generierung von Steuerungsbefehlen. Die Lernfähigkeit solcher Projekte gewinnt zunehmend an Bedeutung und ist der Hauptfokus der vorliegenden Forschungsarbeit - wobei Lernfähigkeit als Optimierung von Fahrverhalten verstanden wird, d.h. die Auswahl vom optimalen Verhalten für eine jeweilige Situation.

Die vorliegende Arbeit setzt für die Lernfähigkeit erstmals ein System basierend auf Verstärkungslernen (Reinforcement Learning) ein – dies im Gegensatz zu bisherigen Arbeiten im ähnlichen Umfeld basierend auf Modellierung oder Neuronalen Netzen. Im Kern der Arbeit werden Situationen klassifiziert und für jede Situation eine mögliche Anzahl von Verhalten ermittelt. Durch Verstärkungslernen werden diese Verhalten bewertet und die entsprechenden Situationsbewertungen konvergieren über die Zeit. Fazit: es wird autonom ermittelt, welche Verhalten in einer Situation angemessen sind und welche nicht.

Neben einer mathematischen Abhandlung über das Konvergenzverhalten von Verstärkungslernen-Systemen wird mit unterschiedlichen Testreihen die Funktionsweise des o.g. Ansatzes im Rahmen einer konkreten Implementierung nachgewiesen und die Konvergenz der Situationsbewertungen untersucht.

Driver and Driver Assistance Systems move more and more into the focus of research projects. Corresponding research areas consist of two main parts: the understanding of the environment as well as the generation of steering commands. Learning capabilities gain more and more importance and is the main aspect of this research. In detail: the term “learning capability” represents the optimization of driving behaviour, i.e. the optimized situation-specific selection of actions.

The current research implements first-time a system based on Reinforcement Learning (RL) – in contrast to many other research work using modeling or neural nets. In the light of Reinforcement Learning, situations are being classified and possible actions are being identified for each situation. Rewards following such actions are used for cumulated ratings which in turn converge over time. In the end, the cumulated ratings indicate as to how much an action was appropriate for the determined situation.

After a mathematical analysis of Reinforcement Learning methods in general, test-series are being analyzed within the framework of a real implementation and convergence behaviour as well as driving capabilities are being achieved.